使用cloak技术的第一步：屏蔽谷歌在内，如谷歌广告等所有的 爬虫IP，User-agent

大家好！我是青云！

最近，在和一个做仿牌独立站的兄弟，聊了很多，主要都是聊 cloak技术。

cloak技术，就是在，一个域名，在一定的规则下，实现安全页和目标页的跳转。

并且，他们在投谷歌广告都是用新的谷歌广告账户。

可能，做谷歌广告投放都知道，现在的谷歌新户，不是说，没有认证的链接，都不能跳转了吗？

其实，我自己研究之后，发现，新户确实也能跳转。

青云自己做国外广告联盟media buy项目，能够实现，谷歌新户也能正常跳转链接，那就非常的好了。

谷歌新户也能正常跳转链接，设置起来比较复杂，成本也需要一些。

但是，跳转的规则，都是先屏蔽谷歌的爬虫IP，谷歌的信息头来抓取。

为什么要先屏蔽谷歌的爬虫IP，谷歌的信息头？

因为，谷歌广告一般是机器审核，审核过之后，还会派爬虫，24小时，拉去检测你的网页信息，状态等。

如果，我们能成功的把谷歌的爬虫IP，谷歌的信息头的屏蔽掉，在没有人工干预的情况下，广告正常跑着是没有问题的。

有人工干预就不一定。

下面是青云整理的关于要屏蔽的谷歌的爬虫IP，谷歌的信息头等信息。

需要屏蔽以下东西：

1：User-agent：

​ Googlebot 、Googlebot-Mobile、Googlebot-Image、Mediapartners-Google、Feedfetcher-Google

2：收集到的谷歌开放爬虫的 IP 地址段：

上述 IP 地址段，几乎涵盖了目前经常出现的谷歌爬虫，具体清单有：

• Google-Display-Ads-Bot
• FeedFetcher-Google
• Google-adstxt
• Googlebot
• Googlebot-Image/1.0
• Googlebot/2.1
• Mediapartners-Google

更多的谷歌IP段，可以查看：

https://www.gstatic.com/ipranges/goog.json

https://developers.google.com/search/apis/ipranges/googlebot.json

谷歌爬虫 UA更详细的图，参考：

这个是一篇技术性文章，看得懂的，应该帮助很大，可以持续关注青云的公众号：青云学社，我会分享更多关于国外广告联盟media buy项目相关的知识。