预设顺序不能颠倒
羊城书局新站要上线,冼嘉言既想拦常见 AI 爬虫,又得给搜索引擎留 sitemap。预设下拉四项:"通用(只拦后台)""WordPress 站点""拦截 AI 爬虫""全站开放",她取第三项。切换的 change 回调把左侧整段换成预设原文,点名"GPTBot"、ChatGPT-User、ClaudeBot、anthropic-ai、Google-Extended、"Bytespider",末尾两行给搜索引擎放行。先选预设再手改,反过来刚写的内容会被整段冲掉。

简写规则里改一处域名
左侧"规则配置(可手改)"用的是"UA:""Disallow:""Allow:""Sitemap:"这套简写。她把一长串爬虫精简成 GPTBot 与 Bytespider 两段,保留通配那段放行,再把地址换成自家 sitemap,最终 126 字符、组间留了空行。左侧 input 会自动重跑,右侧跟着变,不必专门按生成。键名得写对,"Disalow:"这种拼错的会被静默丢掉,不给报错。

右侧把简写翻成标准写法
"生成的 robots.txt"里是 151 字符,比左侧长,变化只有两处:简写的 UA: 被展开成"User-agent:",三处都换了;工具再按 UA 重新分组,段与段之间自动补空行。Disallow: /、Allow: / 和 Sitemap 那行左右写法一致,原样带过来,没有添新规则。点"生成"只是手动重跑一次,不点也早算好了。

复制进站点根目录
三个按钮里"生成"管重跑,"复制 robots.txt"把右侧那段 151 字符送进剪贴板,"下载 robots.txt"给同一份内容套个文件壳。冼嘉言用的是复制,粘进新站根目录的文件里就行。下载与复制拿到的都是右侧标准写法,不是左侧那些简写,交付前别把两栏搞混。

企业知识网( www.qiyezhishi.com )提供的结果为参考性内容,不构成法律、税务或投资建议。具体请以主管部门口径与最新法规为准。