做过一年的爬虫，大约日数据千万级。 说一下“技术含量”，有点偏题 1.python!=爬虫;我不会python，以前的爬虫也是用java写的，python也可以写很多别的东西。 2.爬虫不是想拿什么就拿什么;事实上爬虫拿来的数据只是一个html，但实际上业务需求和有营养的数据，都是需要通过读取html里的内容，然后再去重，去噪。尤其遇到一些古老的网站，各种层级结构，不规范的，写一个解析模板一天就过去了，而且大部分时候不是从一个网站上取数据，时间成本非常大。 3.对用户开放的网站，对爬虫不一定开放;实际上大部分爬虫为了节省网络资源，用最少的带宽获取最多的数据，肯定是不会加载css/js这些，但反爬技术普遍的今天，很多有警惕的网站分分钟 …