在上一篇文章中已经通过请求的url地址把html页面爬取下来了，这里分别以网易微博的html和新浪微博的html为例来分析如何提取微博数据。

一、网易微博解析

        相比新浪微博的html结构，网易微博的比较容易明显地看出来，也容易找到微博数据。查看其html结构不是网页里右键→“查看网页源代码”，那里的微博正文是以html标签形式显示的，而程序实际请求返回得到的html的微博正文是以json格式，这个在控制台里输出看的很清楚。

        其实解析就是关键把要解析对应位置找到，总之对网易微博的解析是个json串解析，这里可以正则匹配回json，甚至可以直接用正则匹配相应字段，可以匹配userid、content、prettyTime等，最后写入到txt文件里。便于项目后期的处理，这里直接爬取微博正文content，其它像userid、prettyTime等直接在程序里用Vector<String>处理，这个在系列的第一篇文章里写的了，代码也给出了，此处不再赘述。

        最后解析出来正文的txt形式的微博数据：（已用字符串替换的方式去除”content”字段名称，直接保留正文）

二、新浪微博解析

        相比之下新浪的html就要复杂得多，这个在第一篇文章里谈到过，其微博不是以json格式展现而是以javascript形式，每条微博包含在<em>…</em>元素里。依据关键字标红快速定位：color:red。

        首先把em元素及其中间的文本都匹配出来，匹配的正则表达式：<em>.+?color:red.+?</em>，然后再去掉所有<…>的标签得到utf8，最后用.parseInt(utf8CodeStr, 16)把所有utf8的十六进制换成char。

private Vector
    
      getTweet(String htmlPath) throws IOException {		File f = new File(htmlPath);		FileReader fr = new FileReader(f);		BufferedReader br = new BufferedReader(fr);		Vector
     
       tweets = new Vector
      
       ();		String html = "";		Pattern p = Pattern.compile("
       .+?color:red.+?");		String tweetTemp = "";		while(br.readLine() != null) {			html += br.readLine();		}		br.close();		Matcher m = p.matcher(html);		while(m.find()) {			tweetTemp = m.group();			tweets.add(tweetTemp);		}		Vector
       
         realTweets = new Vector
        
         ();		for(int i=0; i
         
           labels Pattern pdel = Pattern.compile("<.+?>"); Matcher mdel = pdel.matcher(tweetTemp); Vector
          
            del = new Vector
           
            (); while(mdel.find()) { if(!del.contains(mdel.group())) { del.add(mdel.group()); } } for(int j=0; j
           
          
         
        
       
      
     
    

原创文章，转载请注明出处：