Python爬虫(二十三)_selenium案例：动态模拟页面点击

miqi1992 2021-08-27 原文

本篇主要介绍使用selenium模拟点击下一页，更多内容请参考:Python学习指南

#-*- coding:utf-8 -*-

import unittest
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from bs4 import BeautifulSoup
import time

class douyuSelenium(unittest.TestCase):
    #初始化方法
    def setUp(self):
        self.driver = webdriver.PhantomJS(service_args=[\'--ignore-ssl-errors=true\', \'--ssl-protocol=any\'])

    #具体的测试用例方法，一定要以test开头
    def testDouyu(self):
        self.driver.get("http://www.douyu.com/directory/all")

        while True:
            #指定xml解析
            soup = BeautifulSoup(self.driver.page_source, "lxml")

            #返回当前页面的所有房间标题列表和观众人数列表
            titles = soup.find_all(\'h3\' , {\'class\':"ellipsis"})
            print(len(titles))
            nums = soup.find_all(\'span\', {\'class\': "dy-num fr"})

                # #使用zip()函数把列表合并，并创建一个远相对的列表[(1, 2), (3, 4)]
            for title, num in zip(nums, titles):
                print(u\'观众人数： \'+num.get_text().strip(), u\'\t房间标题： \'+title.get_text().strip())
            #page_source.find()未找到内容则返回-1
            if self.driver.page_source.find(\'shark-pager-disable-next\') != -1:
                break
            self.driver.find_element_by_class_name(\'shark-pager-next\').click()
            time.sleep(1)

    # 退出时的清理方法
    def tearDown(self):
        print("加载完成...")
        self.driver.quit()


if __name__ == \'__main__\':
    unittest.main()