# 把中文路径写进 robots.txt：一次编码核对怎么做

- Author: REBASE-SG
- Published: 2026-10-29 11:44:57
- Modified: 2026-10-29 11:44:57
- Canonical URL: https://rebase-sg.com/robots-txt-multilingual-path-encoding-zh/

---

中文网址复制出来，有时会变成一长串百分号。把这样的路径写进 robots.txt 时，该用浏览器里看到的汉字，还是复制出来的编码？这次 Google 文档给出的解释，重点在工具之间能否一致处理，不能读成“中文链接突然失效了”。



Google 在 2026 年 10 月 23 日的抓取文档更新中，补充了规则路径使用百分号编码的建议。本文讨论这次说明对 WordPress 多语言网站的影响，不是今天新上线的一项抓取功能。



两种写法可能表示同一个路径



当前规则说明明确写到，Google 可以处理原始 UTF-8 路径，也会把它转换为百分号编码形式后比较；建议使用编码形式，是为了方便第三方工具和服务处理。因此，只看到规则里有中文，就断言 Google 无法识别，并不符合这份文档。



封面用了一个便于读清的例子：/café/ 与 /caf%C3%A9/。示意图展示的是同一路径的两种表示，不是两篇内容，也不是把页面搬到了新地址。图中没有进行线上抓取测试。



对 WordPress 站长，先找出正在核对的真实页面，再讨论规则写法。不要从文章标题重新手打一条路径；标题、后台编辑字段和最后公开的网址，可能并不是同一段文字。把当前 URL 和打算使用的规则放在一起，才有明确的比较对象。



检查规则时，留一个应该放行的例子



假设你只想限制某个资料目录。除了检查目标页面，还应选一个相邻、仍然希望抓取的页面。这样能问出两个具体问题：目标有没有被规则覆盖？正常页面有没有被误伤？只验证“某一条规则被工具接受”，无法回答第二个问题。



再把所用工具的名字和测试对象记下来。有的工具负责读取文件，有的负责解释某一类爬虫的规则。工具显示通过，需要弄清它通过的是什么检查；不能把一次解析成功，当成所有 AI 爬虫都会照此执行的证据。



如果编码形式在工具之间表现不同，先检查从复制、保存到导出之间有没有变化，再决定改哪里。不要为了让两段文字看起来一样，连站点 URL 也一起重命名。路径表示的核对，和页面地址迁移，是不同的维护任务。



在公开文件里核对最终结果



编辑入口可能在插件里，也可能由服务器提供文件。完成必要修改后，应重新打开公开的 robots.txt，检查实际输出，而不是只看后台保存提示。保留修改前的版本和具体改动，方便发现范围不对时恢复。



这次说明也不支持一套通用的“AI 优化编码技巧”。它解释的是 Google 的路径匹配以及与第三方工具的配合。对于别的服务，应查它自己的规则说明；对于 Google，这项文档建议本身不承诺收录、引用或流量变化。



如果网站没有需要调整的规则，读完这条更新也可以什么都不改。若确实在排查中文路径，就把真实 URL、规则内容、工具结果和期望范围保存在同一份维护记录中。下一位接手的人才能知道，当初验证过什么。



English: Checking multilingual paths in WordPress robots.txt rules.