爬虫是什么？爬虫可以做什么？
平时生活中会听到很多关于爬虫的信息，但是好像还是很多人很懵逼
爬虫，即网络爬虫，也叫做网络机器人，可以代替人们自动地在互联网中进行数据信息的采集与整理，大家可以理解为在网络上爬行的一只蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛，如果它遇到自己的猎物（所需要的资源），那么它就会将其抓取下来。
所以我们经常说，爬虫能通过网址获得网络中的数据、然后根据目标解析数据、存储目标信息，可以节省大量的人力物力，简单地说，网络爬虫就是获取互联网公开数据的自动化工具，像百度、google本质上就是超级爬虫
百度搜索引擎的爬虫叫作百度蜘蛛（Baiduspider）。百度蜘蛛每天会在海量的互联网信息中进行爬取，爬取优质信息并收录，当用户在百度搜索引擎上检索对应关键词时，百度将对关键词进行分析处理，从收录的网页中找出相关网页，按照一定的排名规则进行排序并将结果展现给用户。
大数据时代也离不开爬虫。比如在进行大数据分析或数据挖掘时，我们可以去一些比较大型的官方站点下载数据源。但这些数据源比较有限，那么如何才能获取更多更高质量的数据源呢？此时，我们可以编写自己的爬虫程序，从互联网中进行数据信息的获取。所以在未来，爬虫的地位会越来越重要。
知道了爬虫是什么，那爬虫可以做些什么？
爬虫获取各种食物的热量、各种美食的食材配料，掌握了爬虫，就可以建立自己的数据库，然后写一个程序，筛选符合自身热量要求的食物，再用随机函数生成菜单供自己选择即可。
爬虫可以抓取某个网站或者某个应用的内容，批量提取有用的价值，比如想把知乎上某一个问题的高赞答案全部抓取到本地并保存，或者搜集众多机票网站的航班价格信息做价格对比，各种论坛、股吧、微博、公众号的舆情分析，爬出四级的高频单词等。这些都归属于爬虫类，至少前期的数据搜集是属于爬虫的范畴，比如说投票神器、点赞神奇、预测（股市预测、票房预测）、社交关系网络、等等一系列以上都可以用爬虫实现，还可以用python爬虫一键爬取热门公众号文章，几千个爆款标题瞬间抓取，除了上面说的可以爬取新媒体的爆文，再来说说大家工作上的，举一些例子，评论一下就批量爬取下来了或设计师搜集素材，这是之前爬取食物图片，几千张图片，还自动保存在指定文件夹，而这些只用了大概40行左右的代码，
同时，网络爬虫也可以用于金融投资领域，比如可以自动爬取一些金融信息，并进行投资分析等。
有时，我们比较喜欢的新闻网站可能有几个，每次都要分别打开这些新闻网站进行浏览，比较麻烦。这时就可以利用网络爬虫，将这多个新闻网站中的新闻信息爬取下来，集中进行阅读。
平常我们在浏览网页上的信息的时候，会发现有很多广告。同样可以利用爬虫将对应网页上的信息爬取过来，这样就可以自动的过滤掉这些广告，方便对信息的阅读与使用，有时，我们需要进行营销，那么如何找到目标客户以及目标客户的联系方式是一个关键问题。我们可以手动地在互联网中寻找，但是这样的效率会很低，这时，我们可以利用爬虫，可以设置对应的规则，自动地从互联网中采集目标用户的联系方式等数据，供我们进行营销使用。
这是爬虫的应用分布
大家随随便便去网上搜“爬虫可以做哪些好玩的事”都可以看的到，总之，爬虫可以代替手工做很多事情，把你从重复性工作中解放出来
总之，爬虫能做很多事，能提高工作效率，能做商业分析，也能做生活助手，说了这么多爬虫的用处，你也可以去想想自己的工作生活中可以利用爬虫去完成哪些辅助工作！
一秒合并excel，快速生成word文件，批量替换关键词，自动发邮件等等。