使用Gemini可以过CloudFlare保护的网站/部分付费网站直接爬取内容,原理是CloudFlare判断Gemini用是Google的SEO爬虫IP给予放行,可以用这个小技巧收集更多信息,再交给性能更强的GPT或者Claude处理。
Google 垄断实锤了
Gemini对Android适配非常领先,Android8旧机型也可以体验到几乎完整的live和数位助理,对比竞争对手,它做的很好,目前主力Claude opus4,Gemini不听话且幻觉强,代替不了Claude code
我在说 Google 垄断
作为全球最大的内容分发网络之一,Cloudflare上周推出了一项新功能:允许客户一键阻止AI公司的爬虫抓取网站数据。
这本该是让网站主们欢呼的事,但背后却有个巨大的漏洞——它对Google无效 。
为什么Google是例外?
这个问题的答案既简单又复杂:Google用同一个爬虫干两件事 。
Google的Googlebot既负责为搜索引擎建立索引,也负责为Gemini大语言模型收集训练数据。这两个任务使用完全相同的HTTP头和IP地址,Cloudflare在技术层面无法区分哪个请求是为了搜索排名,哪个是为了AI训练。
如果Cloudflare强行阻止Googlebot,那么所有使用Cloudflare的网站都会从Google搜索中消失,这对大多数网站来说无异于自杀 。
小白应该都还在云里雾里。。
这不准确吧,Google-Extended 是给 Gemini 用的。搜索用的 Googlebot,只是说也用来生成 google.com 搜索结果里的 AI Overview 了
是啥?z
电脑白痴求举例
现在coding和reasoning是Gemini最强吗?
显然不是,coding我用的Claude opus4,复杂代码Gemini 2.5pro会答非所问,reasoning我用的chatgpt deep research,注意免费用户和team/plus用户的模型不一样,极长文本用Gemini 2.5pro也会出现幻觉问题
我现在都把付费新闻网页url扔给ChatGPT总结