一、使用Selenium+Phantoms来抓取数据

　　　　1.登录：最重要的是设置User-Agent，否则无法转跳链接　

from selenium.webdriver.common.desired_capability import DesiredCapabilities
user_agent=(
　　"Mozilla/5.0()"

)

　　　　2.输入用户名和密码：

<input id="loginname"
type="text"
class="W input" maxlength="128"
autocomplete="off"
action-data="text=........"
name="username"
node-type="username" 
tabindex="1">

　　　　(1)为了与微博内容交互，需要用到javascript

　　　　　　相关的javascript代码：

　　　　　　document.getElementById(\’loginname\’).value=\’abc\’

　　　　　　document.getElementsByName(\’password\’)[0].value=\’abc\’

　　　　　　通过Selenium提供的send_keys来进行传递value

　　　　　　driver.find_element_by_id(\’loginname\’).send_keys(username)

　　　　　　driver.find_element_by_name(\’password\’).send_keys(password)

二、微博接口分析

 

 

三、直接调用微博API来抓取

 

四、表单及登录

 

 

四、表单及登录

 

版权声明：本文为bigdata-stone原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/bigdata-stone/p/9861479.html