Googleはどのようにして403ページをクロールしましたか？

学校のフォルダのディレクトリにいくつかのプライベートファイルがありました。myschool.edu/myusername/myfolderに移動するとファイルが存在することがわかりますが、myschool.edu / myusername / myfolder / myfile.htmlを介してファイル自体にアクセスしようとすると、403エラーが返されます。

それでも、Googleはなんとかしてこれらのプライベートファイルのコンテンツを取得し、キャッシュに保存することができました。これはどのようにして可能ですか？[私はそれらのファイルを削除したので、Googleがこれをどうやって管理したのか興味があるだけです。]

最も可能性の高い理由は、ページが403ヘッダーを返さないことです。

これは、FirefoxまたはChromeのWeb開発ツールバーを使用して確認できます。このツールは、[情報]-> [応答ヘッダーの表示]にあります。

また、エラーページを作成する方法は次のとおりです。

1. ダミーのエラーページを作成します。403.phpとしましょう。
2. 実際のエラーページを作成します。たとえば、error403.phpです。
3. ダミーエラーページに、次のコードを追加しました。 <?php header("Location: /error403.php",TRUE,301); ?>

4. 私の.htaccessには、次のように記述します。

   Options -Indexes

   ErrorDocument 403 /403.php

これにより、すべてのリダイレクトが適切な方法で追加され、エラーページからジュースが確実に得られます。

GETリクエストを使用する検索エンジンがWebサイトにある場合、これは実際には非常に優れた方法で拡張できます。