CSSとJavaScriptのクロールに関するGoogleの発表後、Joomla robots.txtを変更する必要がありますか？

Googleからのお知らせを見つけました：http : //googlewebmastercentral.blogspot.in/2014/10/updating-our-technical-webmaster.html

それは述べています：

最適なレンダリングとインデックス作成のために、新しいガイドラインでは、ページが使用するJavaScript、CSS、および画像ファイルへのGooglebotのアクセスを許可する必要があることを指定しています。これにより、サイトに最適なレンダリングとインデックス作成が提供されます。サイトのrobots.txtでJavascriptまたはCSSファイルのクロールを禁止すると、Googleのアルゴリズムがコンテンツをどのようにレンダリングおよびインデックス化するかに直接悪影響を及ぼし、結果としてランキングが最適化されない可能性があります。

デフォルトでは、Joomlaのrobots.txtファイルには以下が禁止されています：

Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

Googleの発表に基づいて、robots.txtファイルから以下の項目を削除しますか？

Disallow: /components/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/

これはJoomlaベースのサイトの発表に従って推奨されるものですか？

正直なところ、robots.txtからすべてを削除する方がよいでしょう。私が見る限り、JoomlaのすべてのPHPファイルには次の行が含まれています

defined('_JEXEC') or die;

つまり、ブラウザに直接PHPファイルをロードすると、空のファイルしか得られず、検索エンジンはこれを無視します。（あなたがそれらを直接リンクしない限り、彼らはとにかくこれらに遭遇するべきではありません。）

これらのディレクトリの一部をブロックしたままにしておくことの問題は、一部のコンポーネントおよびモジュールがCSS / JSファイルをそれぞれのディレクトリ内に保持し、優先メディアまたは画像フォルダー内に保持しないことです。

したがって、GoogleからJoomlaファイルをブロックする理由はありません。

robots.txtよく管理されたJoomlaサイトでの、全体的な使用/不足とは別に、「優れた」サードパーティ拡張機能— CSS、JS、または画像を含める必要がある場所は次のとおりです。

/images
/media
/templates

そしてもちろん、それらのサブディレクトリ。

したがって、それらをから削除するだけrobots.txtです。

Joomla 3.3では、これらの行はrobots.txtファイルから削除されました：

Disallow: /templates/
Disallow: /media/

詳細はこちら：http : //www.energizethemes.com/blog/joomla/have-you-updated-the-joomla-robots-txt-file.html

WMTでGoogleとしてフェッチするときにエラーなしでページが表示される場合は、おそらく問題ありません。ただし、将来的には、Webサイトの一部のコンテンツをアップグレードする可能性があります。これにより、一部のブロックされたフォルダーからのスクリプト/ CSSが必要になります。したがって、CSS / JavaScriptを含むこれらすべてのフォルダーを検索エンジンでクロールできるようにするとよいでしょう。

Joomlaの最新バージョンでは、/media/および/templates/フォルダーがブロックされなくなりました。

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

すべての拡張機能がCSSやJSファイルなどを配置する場所のガイドラインに準拠しているわけではないため、適切な回避策は、Googleがこれらのファイルの場所に関係なくアクセスできるようにすることです。

これを行うには、次のrobots.txtようにファイルの先頭に数行を挿入します。

#Googlebot
User-agent: Googlebot
Allow: *.css
Allow: *.js

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

編集：

フィードバックをありがとう@ w3dkと@Stephen Ostermiller！たしかにそれは正しいね。次のようなことをする方が良いです：

User-agent: *
Allow: *.css
Allow: *.js
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

残念ながら、これは意図したとおりに機能しないようです。長い（より具体的な）ルールが短いルールをオーバーライドし、許可行が無視されるためです。allow行がdisallow行に従うか、またはその逆かは、違いはないようです。

これを回避できるように思える唯一の方法は、ウェブマスターツールでテストすると機能するように見える次のようなことを行うことです。

User-agent: *
Allow: /************************************************************.css
Allow: /************************************************************.js
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

編集2-最善の解決策：

OK、それで私はもう少し調査をして、https：//stackoverflow.com/a/30362942/1983389で答えを見つけました

すべてのウェブクローラ全体で最も正しいとほとんどのサポートソリューションは、以下のようなもので表示されます（許可へのアクセス*.cssと*.js内のファイル/bin、/cache、/installation、/language、/logs、および/tmpフォルダと、おそらく他のフォルダのいくつかは、ほとんど意味がありません）。

User-agent: *
Allow: /administrator/*.css
Allow: /administrator/*.js
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Allow: /cli/*.css
Allow: /cli/*.js
Disallow: /cli/
Allow: /components/*.css
Allow: /components/*.js
Disallow: /components/
Allow: /includes/*.css
Allow: /includes/*.js
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Allow: /layouts/*.css
Allow: /layouts/*.js
Disallow: /layouts/
Allow: /libraries/*.css
Allow: /libraries/*.js
Disallow: /libraries/
Disallow: /logs/
Allow: /modules/*.css
Allow: /modules/*.js
Disallow: /modules/
Allow: /plugins/*.css
Allow: /plugins/*.js
Disallow: /plugins/
Disallow: /tmp/