课程：
什么是网络爬虫以及怎么做它？
网络爬虫：是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。
做法：传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。
爬虫可以爬微信联系人吗
可以的，
网络爬虫抓取微信好友总数量和微信好友男女性别的分布情况。
代码实现蛮简单的，可以自定义一个函数，获取性别信息，也可以直接调用value_counts()方法，可以更方便统计各项出现的次数。小编的微信好友男女数量情况如下图所示，在这里，1代表男士，2代表女士，0代表未知性别(因为有的好友并没有设置性别这一项)。
怎么通过网络爬虫查获人口分布数据
荐你个好使的软件，叫ForeSpider数据采集软件，我之前是使用这个软件抓取过数据，分分钟搞定，只用笔记本就能实现一天好几百万条的数据采集，而且操作起来很简单，有详细的帮助文档和视频教学，还不会用还有专门的客服解答所有的问题，态度是很好滴。要是懒得自己弄，也可以直接从他那购买模板，他都给配好了，拿过来直接按个按钮搞定。
现在他有免费版的，而且不限制时间，随便用。你可以下一个，先用着感受一下。
大数据是怎么查到个人轨迹的
大数据是通过大量数据分析来得到你的个人信息，比如你使用的手机APP，你的习惯，你经常坐的公交等等。
数据成指数爆炸成长，每个人每天都在产生数据，你使用的手机APP每时每刻都在搜集你的数据，当你在购物软件浏览或者购买商品时，购物软件会为你推荐你感兴趣的商品、你想买的商品，或者是你浏览过的商品，收藏的商品打折了或者降价了。
大数据的隐患
通过对你的数据分析，软件可以对你画像归类贴标签，所以每个人的软件都一样，但是首页一定不一样，不信你可以让旁边的人打开购物软件，你可以对比一下，看看你俩的软件首页推荐是不是一样的。通过大数据分析可以知道你的工作地点，通过时间分析可以分析出来你从事什么工作。
是公务员还是厂里打工的，通过你上班乘坐的交通工具可以判断出你有没有汽车，有车的人会收到保险公司的推销电话，贷款公司的电话等等，因为大数据知道你需要什么，所以它就给你推荐什么，你产生的数据被软件收集加工再反馈给软件首页，这是一套完整的机制。
大数据分析让我们没有隐私而言，每天都有网络爬虫从网上爬取个人信息，比如姓名电话身份证号码等等，数据分析的恐怖让人感到害怕
爬虫软件怎么检查
1、限制单个ip/api token的访问量，比如15分钟限制访问页面180次，具体标准可参考一些大型网站的公开api，如twitter api，对于抓取用户公开信息的爬虫要格外敏感。
2、蜜罐资源。爬虫解析离不开正则匹配，适当在页面添加一些正常浏览器浏览访问不到的资源，一旦有ip访问，过滤下头部是不是搜素引擎的蜘蛛，不是就可以直接封了。
3、定期分析日志。系统分析的效果肯定要强过过滤单条日志，比如装一个awstat之类的专门分析web服务器日志的应用。
QQ客服
新浪微博