2018-05-04 12:35 by JerremyZhang, … 阅读, … 评论, 收藏, 编辑

不要相信前端是安全的，今天简单验证一下，但是希望大家支持正版，支持原作者，毕竟写书不易。

  1.  npm install --save puppeteer

我们这里选择胡子大哈大神的网站 http://huziketang.mangojuice.top ；
爬取所有文章

  • 实现方案

爬取书籍目录->根据目录爬取没个章节的内容

  • 注意的地方

本书有付费章节和免费章节，爬取付费章节需要禁用javascript执行，然后移除对应的mask的dom节点

  1. const path = require('path');
  2. const fs = require('mz/fs');
  3. const puppeteer = require('puppeteer');
  6. const pdfDir = path.resolve(__dirname, './pdf/');
  7. const targetHost = "http://huziketang.mangojuice.top"
  10. //保存pdf 文件
  11. const savePdf = async (page, link) => {
  12.     let fileName = link.substring(link.lastIndexOf('/')) + '.pdf';
  13.     await page.goto(link);
  14.     await page.evaluate(() => {
  15.         //隐藏左侧菜单栏 以及下方部分内容
  16.         let allNeedHidens = document.querySelectorAll('#table-of-content,.PageNavigation,.share-block,hr,blockquote,.post__back>a,#wrapper>h1');
  17.         let elCount = allNeedHidens.length;
  18.         for (let i = 0; i < elCount; i++) {
  19.             allNeedHidens[i].style.display = 'none';
  20.         }
  21.     });
  22.     await page.pdf({
  23.         path: pdfDir + fileName
  24.     });
  25.     console.log(`${link} saved to pdf successfully!!!`);
  26. }
  30. //启动程序
  31. const start = async () => {
  32.     //创建一个browser 实例
  33.     let browser = await puppeteer.launch({
  34.         headless: true,
  35.         devtools: false
  36.     });
  38.     //创建一个空白page实例
  39.     let page = await browser.newPage();
  40.     //设置禁用js,当前必须设置，否则会导致页面无法处理
  41.     //说明：只是禁用page原有javascript,但是page.evaluate 中可以继续使用
  42.     await page.setJavaScriptEnabled(false);
  44.     //获取书目录标题
  45.     await page.goto(targetHost + '/books/react/');
  47.     let result = await page.evaluate((targetHost) => {
  48.         //获取目录链接
  49.         let ulArray = document.querySelectorAll('ul.table-of-content>li>a');
  50.         let array = Array.prototype.slice.call(ulArray, 0);
  51.         let links = array.map((v) => {
  52.             let href = v.getAttribute('href');
  53.             return `${targetHost}${href}`;
  54.         })
  55.         return {
  56.             links: links
  57.         }
  58.     }, targetHost);
  60.     for (let link of result.links) {
  62.         await savePdf(page, link);
  64.     }
  67.     await page.close();
  68.     await browser.close();
  71. }
  73. start();

代码比较简单，不做过多解释。

版权声明：本文为Johnzhang原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/Johnzhang/p/8990084.html