这是一个创建于 229 天前的主题，其中的信息可能已经有所发展或是发生改变。
类似于这种网站，明显是把所有数据都爬了下来
如果只是普通的爬虫的话，上千万个页面岂不是要爬到死？ 还是说他们是 N 台机器一起爬？
我从没碰过爬虫，所以想在这里问一问，知道 V 站大神多，谢谢各位啦
 |
1
EsWann 229 天前  1
都是集群爬虫啊
|
 |
2
gaobh 228 天前 via iPhone 1
无头浏览器，虚拟机等等
|
 |
3
justfun 228 天前
爬虫会涉及到法律问题 听别人说是买的官方数据
|
 |
4
JustZzer 228 天前
爬虫做的，相对购买数据爬虫成本低，除了榜单和热销数据，其他的适当控制请求量级即可
|
Select Language