コメントが有効になっているnode / 123というノードがあるとします。コメントが作成されると、/ comment / 1、/ comment / 2 ...、/ comment / reply / 2/1などの追加のURLが生成されます。残念ながら、これらの新しいURLは、コンテンツの完全なコピーを含むページです元のページ/ node / 123または返信のコメント。Coreのrobots.txtにはDisallow: /comment/reply/
robots.txtファイルに以下を追加することには何らかの影響がありますか?これは推奨されますか(または、この問題を指摘する主要な問題を投稿しますか?)
# Paths (clean URLs)
Disallow: /comment/
Disallow: /comment*/
Disallow: /comment/reply/
Disallow: /comment/reply*/
...
# Paths (no clean URLs)
Disallow: /?q=comment/
Disallow: /?q=comment*/
Disallow: /?q=comment/reply/
Disallow: /?q=comment/reply*/