2
Googlebotは、認証されたユーザーにのみ表示されるURLをどのように検索しますか?
これは私のアカウントの1つで、アカウントにログインした後に何らかのアクションを実行しています。一意のトークンは、単に暗号化されたユーザーID +タイムスタンプです。 94.254.xxx.xxx--[02 / Jul / 2011:22:25:46 +0200] "GET / some-action / unique-token-123abc HTTP / 1.1" 200 410 "-" "Mozilla / 5.0(互換性あり; MSIE 9.0; Windows NT 6.1; Trident / 5.0) " さて、Googlebotはどういうわけかこのユニークなリンクを見つけ、1週間後にまったく同じURLにアクセスしようとしました。 66.249.71.179--[10 / Jul / 2011:09:56:01 +0200] "GET / some-action / unique-token-123abc HTTP / 1.1" 302-"-" "Mozilla / 5.0(互換性; …