使用类似 Hugo Hexo 静态生成的网站注意了

问了 google 的 genimi 说是静态生成的网站，比如：

首页：

domain.com
domain.com/
domain.com/index.html

pages:

domain.com/about
domain.com/about/
domain.com/about/index.html

blog:

domain.com/blog/article-name
domain.com/blog/article-name/
domain.com/blog/article-name/index.html

对于 GOOGLE 来说每一个 URL 都是不同的实体，就算多一个/也是不同的，GOOGLE BOOT 会判你大量内容重复，降低你的权重。

用 sitemap 或许能解决，让爬虫只抓取特定 URL ？

@shuangbiaog 八百年前 GOOGLE 就不爬 SITEMAP 了

我记得网页里设置 canonical 就可以，上面三种都设置成一个 canonical url ，就没事。

@Pipecraft genimi 说 GOOGLE BOOT 有概率会忽略 canonical

@2bad4u #4 这太坑了

有文档来源吗，你的消息来源全是不加验证地问大模型？

并不会，会放入"已发现，尚未编入索引"里面

@w568w GEMINI 是免费用的，你问它就是了。验证的话，请问怎么验证 GOOGLE 的规则？

@yangzair 如果你有自己的服务器，看过 GOOGLE BOOT 的抓取规则，你就不会这么说了，GOOGLE 真的什么都爬，不仅仅是你 SITEMAP 或者是内链上的 URL ，它自己会爬很多 URL 有点像暴力破解那种