[todo.01] 新增谷歌搜索引擎

[1925888818]

[midisec]

好的，近期会添加。

[1925888818]

好的，近期会添加。

好的 幸苦了 我搜索的URL导入数据库之后报这个错误 NoneType' object has no attribute 'group'是啥原因呀

[midisec]

目测的搜索引擎更新，有部分XPATH不能使用，可以直接在./module/Engine/bing/bing.py下20-23行修改下XPATH数组，尝试删除第一个xpath可以正常使用。

[1925888818]

目测的搜索引擎更新有部分XPATH不能使用直接在./module/Engine/bing/py下20-23-23下XPATH，可以试行删除第一个xpath使用。

还是一样URL导入数据库后就报错了

[midisec]

嗯，我这边查看了下，是因为bing搜索引擎在短时间多次访问会触发相应的反爬机制，因此会查询不到页面中的相应的数据（导致这个匹配不到信息的报错），在代码中也做了相应的延迟处理，这个报错可以不予理睬，还是能够正常采集的。

[1925888818]

嗯，这件事发生了，是因为bing搜索在短时间内我会多次访问会触发下一个引擎的相应反爬机制，因此查询中的相应数据（导致匹配信息小于报错），在这个代码中也能做相应的延迟处理，可以不予理睬，还是理睬的。

好滴 谢谢 那谷歌搜索引擎大概啥时候更新呀

[midisec]

这周内吧，需要测试下是否有反爬机制以及其他问题~

[1925888818]

这周内反吧，需要测试下是否有爬虫机制以及其他问题~
辛苦了 给你点个大赞 如果我要使用国际版的Bing要怎么切换呀

[midisec]

在main_tools.py 里面注释相应的类即可

[1925888818]

哦哦 懂了 谢谢啦 给你比个心 哈哈

[midisec]

目前google流量异常之后人机验证绕不过~爬虫效率很低。

[1925888818]

好吧 那如果加个代理IP功能呢？