これは私のrobots.txtです:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: http://www.example.org/sitemap.xml.gz
しかし、Googleウェブマスターツールは、ロボットがサイトマップへのアクセスをブロックしていることを教えてくれます:
サイトマップへのアクセス中にエラーが発生しました。サイトマップがGoogleのガイドラインに従っており、指定した場所からアクセスできることを確認してから、再送信してください:robots.txtにより制限されたURL。
Googleウェブマスターツールがrobots.txtをキャッシュすることを読みましたが、ファイルは36時間以上前に更新されています。
更新:
TESTサイトマップを押しても、Googleは新しいサイトマップを取得しません。SUBMITサイトマップだけがそれを行うことができました。(ところで、現在のサイトマップをそこに貼り付けない限り、「テストサイトマップ」の要点はわかりません。テスト前に入力を要求するアドレスからサイトマップの新しいコピーを取得することはありませんが、それは別の日の質問です。)
新しいサイトマップを(テストではなく)送信した後、状況が変化しました。「robots.txtによってブロックされたURLです。サイトマップにはrobots.txtによってブロックされたURLが含まれています」と表示されます。44 URL。サイトマップには正確に44のURLがあります。このGoogleは新しいサイトマップを使用しているが、それはまだ(立ち入り禁止のすべてを保持する)古いロボット規則によって起こっていないことを意味 44のURLのいずれもしている/wp-admin/
か/wp-includes/
いるので、とにかく種類が不可能のである(robots.txtのは、上に構築されますサイトマップを作成するのと同じプラグインによるフライ)。
アップデート2:
さらに悪いことに、Google検索結果ページでは、ホームページの説明に「このサイトのrobots.txtがあるため、この結果の説明はありません–詳細」と表示されます。他のすべてのページには詳細な説明があります。ホームページのrobots.txtまたはrobotsメタブロックインデックスはありません。
行き詰まっています。