私の知る限り、ボットやアプリはsitemap.xmlをリクエストする必要があります。ほとんどのサイトはおそらく持っていないでしょうし、持っているサイトの多くはgzipを使っており、多くの人はファイルを別のものと呼ぶか、サイトマップをサブフォルダーに入れています。
ここに私が知っているすべてのものがあります:
- favicon.ico
ページにタブ、ブックマークなどのアイコンを付けます。
- robots.txt
検索エンジンからのページをブロックする必要がある場合に役立ちますが、すべてにアクセスできるように空白にすることができます。サイトマップの場所を含めることもできます。
- ウェブマスターツールの検証ファイル検証
の最も簡単な方法(HTMLコードに不要なメタタグを保存する)。そこだgoogle[hash].html
とBingSiteAuth.xml
。私のルートにもYahoo用のものがありますが、おそらくそれはもう必要ありません。
- crossdomain.xml
このファイルは、Flashがサイトに接続する必要があるときにAdobe Flashによって要求されます。おそらく、小さなサイトではログにこのファイルが表示されることはありませんが、1つのサイトでたくさんのリクエストがありました。デフォルトでは外部サイトへのアクセスをブロックするため、空のファイルを作成できます。
- .htaccess(Apache)
明らかにブラウザ/ボットからは要求されませんが、ほとんどのサイトにとって不可欠です。
最後に、iPhoneが要求することを主張するアイコンに関して:要求されるかもしれないいくつかのサイズがあります。iPhone 3G(iOS 5)が57x57バージョンを要求し、エラーログに72x72および114x114(最も一般的)が表示されます。したがって、ログからすべての404を削除したい場合は、気が遠くなるほどこれらすべてを提供する必要があります。
/apple-touch-icon-57x57-precomposed.png
/apple-touch-icon-57x57.png
/apple-touch-icon-72x72-precomposed.png
/apple-touch-icon-72x72.png
/apple-touch-icon-114x114-precomposed.png
/apple-touch-icon-114x114.png
/apple-touch-icon-precomposed.png
/apple-touch-icon.png