Googleを呼び出してrobots.txtをチェックできますか？

私はこの質問の回答を読みましたが、それでも私の質問は開いたままです：Googleはrobots.txtをキャッシュしますか？

Googleウェブマスターツールでrobots.txtの再ダウンロードを呼び出す方法が見つかりませんでした。

エラーが発生したため、robots.txtは次のように置き換えられました。

User-agent: *
Disallow: /

そして今、私のすべてのコンテンツがGoogleの検索結果から削除されました。

明らかに、私はこれをできるだけ早く修正することに興味があります。robots.txtは既に置き換えましたが、Googleにキャッシュバージョンを更新させる方法が見つかりません。

必要なときにrobots.txtを再ダウンロードさせることはできません。Googleはそれを再クロールし、サイトに適していると思われる場合は常に新しいデータを使用します。彼らはそれを定期的にクロールする傾向があるので、更新されたファイルが見つかり、ページが再クロールされてインデックスが再作成されるまでに長い時間がかかることはないと思います。新しいrobots.txtファイルが見つかってからページが再クロールされるまでには時間がかかる場合があり、ページがGoogleの検索結果に再表示されるまでにはさらに時間がかかることに注意してください。

www.satyabrata.com6月16日に新しいウェブサイトを開設したときも、同じ問題に直面しました。

オリバーとまったく同じようDisallow: /に、robots.txtにがありました。また、ブロックされたURLに関する警告メッセージがGoogleウェブマスターツールにありました。

問題は昨日6月18日に解決されました。私は次のことを行いました。どのステップが機能したかわかりません。

1. 健康-> Fetch as Google：robots.txtとホームページ。次に、インデックスに送信します。
2. 設定->優先ドメイン：表示URL www.satyabrata.com
3. 最適化->サイトマップ：XMLサイトマップが追加されました。

ブロックされたURLに関する警告メッセージがなくなり、Google Webmaster Toolsにダウンロードされた新しいrobots.txtが表示されます。

現在、Googleでインデックスに登録されているのは、ホームページとrobots.txtの 2つのページのみです。ウェブサイトに10ページあります。残りはすぐに索引付けされることを望みます。

画像が別のCNAMEサーバーに移動され、画像フォルダーに禁止が設定されるという問題がありました。私がそれを明確にした方法は、ウェブマスターツールで取得したrobots.txtにウェブページをGoogleツールとして読み取らせることでした。robots.txtを取得して読み取ったことが通知されたら、送信しました。これにより、Googleがrobots.txtファイルを読み取っていたが、画像フォルダを許可するように変更されたルールに一致するようにスパイダーを変更していないと報告した画像のスキャンに対する3か月の禁輸措置を破りました。1週間以内に、画像のインデックスが再作成されました。

試してみる価値があるかもしれません。Googleは時々行き詰まり、ファイルの再読み取りに失敗することが知られています。

このリンクがウェブサイトのクロールに役立つことを願っています：https : //support.google.com/adsense/answer/10532?hl=ja。

robots.txtファイル/から削除します。

私の場合、問題はafraid.orgと呼ばれる無料のDNSサービスを使用していたことでした。

（私の無料ドメインはで終わりました.us.to）

TLDに移行すると、機能し始めました。