服务器端做爬虫我是使用Jsoup这个jar包来对网页源码进行分析,但是在使用getElementsByClass获取新闻列表的时候,却始终为空。我直接查看了网页源码,发现源码上根本没有新闻列表的信息。然后我使用firebug去分析新闻列表的ajax地址,直接访问改地址,Access denied。。。

使用firebug分析请求头信息发现居然还有我的qq号在Cookie属性里面,直接复制请求头的所有信息,放入HttpURLconnection的setProperty里面,再次访问,成功获取qq新闻列表的json格式信息。

版权声明:本文为jackwuyongxing原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.cnblogs.com/jackwuyongxing/p/4389092.html