7 Googleはrobots.txtをキャッシュしますか？ 1 週間前にrobots.txtファイルを自分のサイトの1つに追加しました。これにより、Googlebotが特定のURLを取得できなくなりました。ただし、今週の週末には、Googlebotがそれらの正確なURLを読み込んでいるのを見ることができます。 Googleはrobots.txtをキャッシュしますか？ 17 googlebot robots.txt google-cache