想不通自建的 Google 镜像是怎么被镜像导航站发现并收录的

可能分享给了某人然后用 360 浏览器访问过，然后…

@wwqgtxx #1 假设确实是第三条我自己健忘，但那最多也就是三五个人用用，也不至于直接进了镜像导航站呐

@also24 你试试在 360 搜索中能不能搜到你的网站，如果能，应该就是 360 浏览器干的好事了

@wwqgtxx #3 试了，啥都没有……

加上白名单跳转机制即可。比如我的 g.adminhost.org 非允许网站来源不可访问 直允许直接访问。

@arnofeng #5 限制已经加了，比你这个要严格一些。主要是不明白为什么会被抓到。

另外日志里还频繁出现 PhantomJS 的身影，也不知道想干啥

111.202.27.182 - - [30/Apr/2017:20:16:56 +0800] "GET / HTTP/1.1" 401 693 "-" "Mozilla/5.0 (Unknown; Linux x86_64) AppleWebKit/538.1 (KHTML, like Gecko) PhantomJS/2.1.1 Safari/538.1"

确实可能是第四条，因为我经常从我的网站统计里翻翻来源，然后就找到了一堆 Google 镜像，当然我不会公开出去

我也发现了我的镜像站被收录了。。。

@also24 请问怎么加限制呢

@HXM #9 我有用 verynginx，自己给自己的浏览器加了个 cookie 特征，在 verynginx 上配置放行策略

@ZE3kr #7 hhhh 我就知道会有人看这个

被扫到的，太正常了

@bkmi #12 好奇这个扫是按什么来的，那些扫端口的我能理解，毕竟 IP 和端口就那么多，但是扫子域名？这工作量感觉有些大啊。

@arnofeng 为毛你比我更严格 我也加了 cookie 特征 nginx 自带就可以设置的 +同时判断后台 host+前端判断 host。手动滑稽。

bing 爬虫在先还是那些网站收录在先？网站收录了肯定有爬虫。

谷歌必应都收录了，必应国内版触关键词被和谐了，国际版还可以看到

@arnofeng #14 这里的 “更严格” 指的是 “开放范围更小” 啦，毕竟你的站还是开放给其它人使用的。而我只需要保证自己能用，所以只是在 cookie 里加了一段表明自己身份用来校验的信息啊。

@taineric #15 bing 在先，而且非常非常的快，站点刚上线 8 个小时 bing 就来了。比 bing 更早的是 trustnet 的证书扫描请求

208.93.152.79 - - [17/Apr/2017:10:06:36 +0000] "HEAD / HTTP/1.0" 301 0 "-" "-"
208.93.152.79 - - [17/Apr/2017:10:06:37 +0000] "HEAD / HTTP/1.0" 301 0 "-" "TLSProbe/1.0 (+https://scan.trustnet.venafi.com/)"
40.77.167.62 - - [17/Apr/2017:15:09:07 +0000] "GET / HTTP/1.1" 301 178 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

@arnofeng #14 另外我这里没有直接用 nginx 自带的一个原因是 nginx 似乎无法自定义 401 错误页面，verynginx 我本身就装的有，配起来又方便，自然就直接用了。


@taineric #16 你这里的收录指的是收录了网址么？我在各家搜索引擎看到的都只收录了网址，但是没有收录任何页面信息。

在 dns 服务商把搜索引擎 A 到 127.0.0.1

@just1 #19 蛤？屏蔽搜索引擎也不至于这样啊。。。我直接把蜘蛛的请求也 401 掉就好了