Log4Classicning

好读书 不求甚解 每有会意 便欣然忘食

抓Google和Baidu的搜索结果
2008年3月12日

今天成功的用HttpClient+正则抓取了Google和Baidu的搜索结果。挺有成就感。

原本是很自然地想到用XML API去抓取的,但是读下来Google和Baidu的页面都不是标准的xml,甚至连html标准都没有满足。Google省流量省到了极致,整个页面文件只有4行。用Notepad++打开,再开启自动换行,非常卡。不过Google也挺那啥的,少了很多换行符,但是页面里却充满了用处不大的table,难以想想吧,在我们谴责M$的时候,其实Google这个最大的互联网公司本身在自己最最基础的产品里都没有应用xHTML+CSS这一套东西。具体的原因我就不得而知了。Baidu也一样,但是Baidu的页面代码换行符多一些,看起来毕竟舒服一点,不过也不是非常好的xHtml+CSS。

指望XML API是不行了,只好用正则去配了。java.util.regex包中的API,主要用到的是Matcher的find方法和group方法,一个用来配,一个用来抓。对于Google和Baidu我都是先把每一个条目块抓出来,然后在在这一小段String中抓取url、title和description。

对于Google.com的搜索结果,抓条目块用到的正则为

<div class=g((.*?)|)>(.*?)</div>

抓具体信息的正则为

<a href=\"(.*?)\".*?>(.*?)</a>.*<td class=\"j\">(.*?)<br>


对于Baidu.com的搜索结果,抓条目块用到的正则为

<td class=f>(.*?)</td>

抓具体信息的正则为

<a.*?href=\"(.*?)\".*?>(.*?)</a><br>(.*?)<br>


其实或许可以直接用第二个正则表达式抓整个页面的信息,不过我没有测试过,不知道会不会存在问题。

« 近些年做过的东西(部分)鼠年大吉 »

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

Search

站点统计

  • 文章总数:745
  • 评论总数:2630
  • 引用总数:4
  • 浏览总数:5693
  • 留言总数:42
  • 当前主题:ClassicningDailyLog Style
  • 当前样式:footoo

网站收藏

图标汇集

  • Creative Commons License
  • Widgetize!
  • visitor stats

Powered By Z-Blog 1.8 Spirit Build 80722

2004 - 2007 Classicning.com. 苏ICP备06039259号.