GoogleプレビューはRobots.txtに従いますか？

確かにそうですから。私のサイトでは、画像ディレクトリを許可していません。プレビューはすべて画像が欠落しているため、サイトが不安定に見えます。

これは事実ですか？プレビューボットだけがrobots.txtを使用して画像にアクセスできるようにする方法はありますか？

編集：プレビューは、通常のGoogleボットと、ウェブマスターセントラルブログで（簡単に）言及されているオンザフライボットのGoogle Webプレビューの両方によって生成されているようです。

サイトを使用することにより、ボットが私のサイトにヒットしたとき、およびこれが発生したときに、画像がプレビューに正常に表示されたことがわかりました。ですから、私の推測では、通常のクローラーはrobots.txtごとの画像を無視しますが、プレビュークローラーはとにかく画像を取得します。

私のオプションは次のように見えるので、この実装は一種の不器用に見えます：

1. グーグルボットが私の画像をクロールすることを許可する（私はしたくない）
2. プレビューをブロックするnosnippetタグを使用しますが、ALSOスニペット（私はしたくありません）
3. クリックスルーに悪影響を与える可能性のある不安定なプレビューを表示させます

ジョン・ミュラーはコメントでそれを正しかったと思う。

画像にインデックスを付けないだけの問題であれば、クロールを許可し、 "noindex"を指定したx-robots-tag HTTPヘッダーを使用して画像を提供できます。

Googleがインデックスを作成せずにコンテンツをクロールできるようにすることができることを知りませんでした。私は彼のテクニックを導入し、それが機能するかどうかを確認するためにクロールされるのを待っています。

ジョンが担当者を獲得できるように回答セクションにコメントを追加したくない場合を除いて、数日以内にこれを回答として受け入れます。

プレビューの大部分はGoogleボットクローラーによって行われるため、サイトの一部のクロールをブロックすると、プレビューに影響します...

Googleボットに画像のクロールを許可したくないのですか？

以下は、単にサイトに適用するだけの場合とそうでない場合がある技術的な解決策です。

Googleがメタデータまたはrobots.txtにほんの少しのヒントを使用してこれを実行する方法を発表する可能性がありますが（それも）、それまでは...

ステップ1。

フロントページイメージ用のリダイレクトサービス/サーブレットを作成します。

すなわちURLのような

/frontpageimages/[image name]

それはサーバー側にリダイレクトします

/images/[image name]

ステップ2。

画像に直接リンクするのではなく、ステップ1からリダイレクトサービスを経由するように、フロントページ（およびフロントページのみ）のすべての画像リンクを書き換えます。

ステップ3。

robots.txtがgooglebotのクロールを許可していることを確認してください /frontpageimages/

これにより、Googleが他のページにある画像をそのままにして、フロントページにあるすべての画像をクロールできるようになります。

リダイレクトサービスは、理論的にはrobots.txtに技術的に違反せずにすべての画像をクロールするために使用できますが、（googlebotなどの）正常に動作するロボットが行うことではありません。また、動作不良のロボットはrobots.txtを心配する必要はありません。