Googleに新しいrobots.txtファイルの読み取りを促す方法はありますか？

22

新しいサイトでrobots.txtファイルを更新しました。Googleウェブマスターツールは、前回の更新の10分前にrobots.txtを読み取ったと報告しています。

Googleにrobots.txtをできるだけ早く読み直すよう促す方法はありますか？

更新：サイト構成| クローラーアクセス| robots.txtをテストします。

ホームページアクセスショー：

Googlebotはhttp://my.example.com/からブロックされています

参考までに、Googleが最後に読んだrobots.txtは次のようになります。

User-agent: *
Allow: /<a page>
Allow: /<a folder>
Disallow: /

私は自分の足を撃ちましたか、それとも最終的にhttp：///robots.txt（前回読んだときのように）を読むでしょうか？

私が何をする必要があるかについてのアイデア

google robots.txt google-webmaster-tools

— qxotk
ソース

参考：サイトは新しく、このメッセージは[設定] | [クロールレート]に表示されます： "サイトには特別なクロールレート設定が割り当てられています。クロールレートを変更することはできません。"

— qxotk

参考：Googleがrobots.txtを「少なくとも1日に1回」読むというGoogleグループの投稿を見つけました-誰でも確認できますか？[Googleグループの投稿はこちら：groups.google.com/group/google_webmaster_help-indexing/… ]

— -qxotk

参考までに1日が経過しましたが、Googleは更新されたrobots.txtをまだ読んでいません。

— qxotk

ここで同じ問題、これは「機能」ではありません

— ...-mate64

25

他の誰かがこの問題に遭遇した場合、google-botにrobots.txtファイルを強制的に再ダウンロードさせる方法があります。

Health-> Fetch as Google [1]に移動し、/ robots.txtを取得します

それはファイルを再ダウンロードし、グーグルもファイルを再解析します。

[1]以前のGoogle UIでは、「診断-> Fetch as GoogleBot」でした。

— マット
ソース

11

残念ながら、robots.txtがに設定されている場合、これは機能しませんDisallow: /。その代わり、フェッチは「robots.txtによって拒否されました」と報告します：/。

— スタッドギーク

3

次回はこの行を追加します。許可：/robots.txt

— jrosell

「診断」が見つかりません。UIが変更された可能性がありますか？

— デヴィッドリッチテッリ

2

[OK]、[ヘルス]> [Fetch as Google]になりました。

— デヴィッドリッチテッリ

robots.txtを取得しようとしても機能しません。エラー：「このページは、Googlebotがダウンロードした最新のrobots.txtファイルによってブロックされているため、現時点ではクロールできませんでした。robots.txtファイルを最近更新した場合、更新されるまで最大2日かかる場合があります。詳細については、robots.txtに関するヘルプセンターの記事をご覧ください。」

— インドレック

4

これは非常に古いことはわかっていますが、...間違ったrobots.txtをアップロードした場合（すべてのページを許可しない場合）、次のことを試すことができます。

最初にrobots.txtを修正して正しいページを許可してから、
sitemap.xmlをページとともにアップロードします

Googleがxmlサイトマップを読み取ろうとすると、robots.txtで再度チェックされ、Googleにrobots.txtの再読み取りが強制されます。

— フッサム
ソース

これはうまくいきませんでした。サイトマップがrobots.txtによってブロックされたと言う

— James

1

OK。これが私がやったことです。数時間以内に、Googleはrobots.txtファイルを再読み取りしました。

実行するサイトごとに2つのサイトがあります。それらを標準サイト（www.mysite.com）およびベアドメインサイト（mysite.com）と呼びましょう。

mysite.comが常にwww.mysite.comにリダイレクトする301を返すようにサイトをセットアップしています。

Google Webmasterツールで両方のサイトをセットアップしたら、www.mysite.comが正規サイトであると伝え、すぐに正規サイトのrobots.txtファイルを読み取ります。

理由はよくわかりませんが、それが原因です。

— qxotk
ソース

3

私はこれが古いことを知っていますが、あなた自身の答えを受け入れることは100％正当です

— マーク・ヘンダーソン

0

Googleスキャンの間隔を数日間短くします。

また、robots.txtを確認するためにbuttomを確認しました。これにより、Googleが強制的にGoogleに強制される可能性がありますが、わかりません。

— バーズモンスター
ソース

もっと具体的に教えてください。表示：サイトの構成| クローラーアクセス| robots.txtをテストしますが、実際のrobots.txtファイルではなく、ボックスに貼り付けたテキストをテストします。また、これは、最後にダウンロードされた日時を示します。あなたが言う「検証」ボタンはどこにありますか？

— qxotk