V2EX › binux 的所有回复 › 第 243 页 / 共 339 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 239 240 241 242 243 244 245 246 247 248 ... 339

❮

❯

2014-11-27 14:57:40 +08:00

回复了 hillw4h 创建的主题 › 问与答 › 用 pyspider 抓取苹果团的主题标题乱码怎么解决？

```
doc = pyquery.PyQuery(response.text)
return {
"url": response.url,
"title": doc('.header h1').text(),
}
```

这就是 lxml 的蛋疼之处，给它 unicode 它有的时候它不认，给它 bytes 它又处理不好
间 https://github.com/binux/pyspider/pull/24

2014-11-25 12:30:53 +08:00

回复了 baskice 创建的主题 › 问与答 › 百度搜索为什么会对一个被墙掉的网址不离不弃 3 年不删？

@baskice 因为是人工的

2014-11-25 11:54:20 +08:00

回复了 baskice 创建的主题 › 问与答 › 百度搜索为什么会对一个被墙掉的网址不离不弃 3 年不删？

@baskice 以前是PM配的啊，现在把 wiki. 当做死链处理掉了

2014-11-24 15:52:28 +08:00

回复了 baskice 创建的主题 › 问与答 › 百度搜索为什么会对一个被墙掉的网址不离不弃 3 年不删？

@baskice 现在对 wiki.moegirl.org 停止DNS解析了吗。。

2014-11-23 22:30:05 +08:00

回复了 binux 创建的主题 › 分享创造 › 再次分享 pyspider 爬虫框架

@benjiam 我觉得没有必要，pyspider是人工写模板的，而不是说页面上所有的链接都需要去检测一次是否在库中。实际上只有列表页有这样的检测。

再加上需要做按照时间判断是否重抓取的检测，bloomfilter 是不够的，还是得查库。