Googlebotは、認証されたユーザーにのみ表示されるURLをどのように検索しますか？

これは私のアカウントの1つで、アカウントにログインした後に何らかのアクションを実行しています。一意のトークンは、単に暗号化されたユーザーID +タイムスタンプです。

94.254.xxx.xxx--[02 / Jul / 2011：22：25：46 +0200] "GET / some-action / unique-token-123abc HTTP / 1.1" 200 410 "-" "Mozilla / 5.0（互換性あり; MSIE 9.0; Windows NT 6.1; Trident / 5.0） "

さて、Googlebotはどういうわけかこのユニークなリンクを見つけ、1週間後にまったく同じURLにアクセスしようとしました。

66.249.71.179--[10 / Jul / 2011：09：56：01 +0200] "GET / some-action / unique-token-123abc HTTP / 1.1" 302-"-" "Mozilla / 5.0（互換性; Googlebot / 2.1; + http：//www.google.com/bot.html） "

（トークンの有効期限が切れていたため、ステータスコードは302です）

これが一意のURLであり、ユーザーがクリックしてそのページにアクセスする前に、2秒間だけ1回だけ表示されたことを強調します。電子メールで送信されたり、一般公開されていません。

ここで何が起こっているのですか、Googleがこの一意のURLを見つけた可能性はありますか？

確かに言うのは難しいですが、可能性の高いシナリオは次のとおりです。

• ユーザーには、ブラウザのツールバーまたは拡張機能がインストールされており、GoogleにアクセスしたURLを報告します。

• 誰かがそのURLにリンクし、Googleはそのリンクを含むページをクロールしてそれを見つけました。

ユーザーがこの認証済みページでアウトバウンドリンクを見つけて、Referer他のWebサイトにクリックスルーするときのようにプライベートURLをリークしているに違いないことに気付きました。これが唯一の可能な説明であり、本当に最初から明らかだったはずです。

漏洩したプライベートURLは、さまざまな方法でGoogleに公開されている可能性があります。たとえば、ターゲットサイトがアクセスログを公開している可能性があります。注：アウトバウンドリンクはいずれもGoogleアナリティクスを使用していないため、GooglebotがアナリティクスのリファラーURLを使用していることを示しているわけではありません。

再学習したレッスン： httpsを使用しない限り、URLに機密データを決して入れないでください。httpsを使用すると、ブラウザーはReferer空のままになります。