写了一个采集 google ip 的程序

2014-06-14 11:52:44 +08:00
 kqz901002
fork 别人的项目,原来用w3m
现在主程序用的requests
目前只能输出ip,在输出domain name结果是None

各位大神帮忙看看

https://github.com/kqz901002/m2conf
8865 次点击
所在节点    Google
51 条回复
xinhugo
2014-06-16 11:34:57 +08:00
对我来说,最繁琐的,是手工检查HTTPS证书。
kqz901002
2014-06-16 13:05:59 +08:00
@xinhugo 这里是自动检查的
xinhugo
2014-06-16 22:57:57 +08:00
好用,特别是能检查HTTPS证书这一功能。
kqz901002
2014-06-16 23:37:47 +08:00
@kamisamayo 你现在试试。。我已经把bug修复的差不多了。osx/windows/linux基本只要安装python就能运行,
运行之前读取readme 或者 通过-h 获取帮助
webfury
2014-06-17 17:08:15 +08:00
这个是要安装goagent先的吧?!运行出错
kqz901002
2014-06-17 17:44:29 +08:00
@webfury 不需要啊。什么错误?
kqz901002
2014-06-18 23:28:59 +08:00
@webfury 你现在运行试试呢?
deddey
2014-06-19 13:49:31 +08:00
出现很多这样的错误,python2.7.7 64bit,windows8.1 64bit,最后没有得到任何的地址

Exception in thread Thread-216952:
Traceback (most recent call last):
File "c:\Python27\lib\threading.py", line 810, in __bootstrap_inner
self.run()
File "set_goagent.py", line 252, in run
a = get_host(self.ip_address)
File "set_goagent.py", line 59, in get_host
ping_list = ping.quiet_ping(ip_addr)
File "C:\Users\u\Desktop\goagent-goagent-44210f6\local\ping.py", line 250, in
quiet_ping
delay = do_one(dest_addr, timeout, psize)
File "C:\Users\u\Desktop\goagent-goagent-44210f6\local\ping.py", line 195, in
do_one
my_socket = socket.socket(socket.AF_INET, socket.SOCK_RAW, icmp)
File "c:\Python27\lib\socket.py", line 187, in __init__
_sock = _realsocket(family, type, proto)
error: [Errno 10013]
kqz901002
2014-06-19 14:44:53 +08:00
@deddey 我把thread limit 降低到800 你试试?如果有错误就直接停止
deddey
2014-06-19 16:59:06 +08:00
@kqz901002 还是一样的问题
Fdkqeo
2014-06-19 18:36:56 +08:00
run 4012.61854776 s , 得到了一个2294行的文件。
good_ipaddr从可怜的个位数增加到了200多个。
kqz901002
2014-06-19 21:07:14 +08:00
@deddey 这个我就不知道了 我在osx和win8都测试过了
deddey
2014-06-20 14:30:41 +08:00
@kqz901002 Sorry,是我的问题。没有注意到需要在管理员账号下使用
昨天在ubuntu上试过,能够得到地址,不过有些错误提示
今天在windows8.1下很正常

不过每次运行网络不好的时候耗时很长,而且得到的ip地址是不是太多了,有那么几十个保证goagent能运行就行了,没有必要把所有的ip地址都揪出来
kqz901002
2014-06-20 15:01:26 +08:00
@deddey 你可以到GGC.py里面去注释掉
kamisamayo
2014-06-22 15:08:14 +08:00
想问一下, go agent里面这样配置可以么- -虽然我这样改了之后可以用了...可是速度龟速...
就是把所有后面=google的ip地址,替换进去,cn和hk都一个地址...

大致形式如下....
[iplist]
google_cn =74.125.22.114|74.125.21.114|74.125.22.31|74.125.21.188|74.125.21.31|74.125.22.251
google_hk =www.google.com|mail.google.com|www.google.com.hk|www.google.com.tw|www.l.google.com
google_hk = 74.125.22.114|74.125.21.114|74.125.22.31|74.125.21.188|74.125.21.31|74.125.22.251
google_talk =talk.google.com|talk.l.google.com|talkx.l.google.com
google_ipv6 = 2404:6800:4005:c00::64|2404:6800:4005:c00::65|2404:6800:4005:c00::5e|2404:6800:4005:c00::67|2404:6800:4005:c00::2f
google_tw =www.google.com.tw|www.google.com.sg|www.google.co.jp|www.google.sg|www.google.cat|mail.google.com|mail.l.google.com
kqz901002
2014-06-22 16:53:20 +08:00
@kamisamayo 配置hk就可以了 cn不要配置,而且要将原来的hk注释
88250
2014-06-24 10:50:50 +08:00
已经使用,大赞一个!
kamisamayo
2014-07-07 12:42:56 +08:00
LZ还在吗!我想问生成的结果最后有个[iplist]
google_hk =
google_talk =

后面是空的///这个怎么回事
kqz901002
2014-07-07 13:58:26 +08:00
@kamisamayo google_talk应该没什么用的~~
kamisamayo
2014-07-07 15:13:49 +08:00
@kqz901002 生成的文件里面不是有一堆地址吗,替换go agent里面的iplist,我试了几个都不行,那个列表里面那些是可以替换的IP,似乎不是全部都行...

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://tanronggui.xyz/t/117454

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX