Robots.txt-CSSの許可または禁止

robots.txtで CSSとテンプレートを使用できますか？

それは問題を引き起こすべきですか？

Joomlaでは、CSSとテンプレートはrobots.txtで許可されていません。今後のWebサイトのCSS、テンプレートなどのロボットに禁止を設定するかどうかの解決策を見つけてください。

Googleはごく最近、ガイドラインを更新して、robots.txtの CSSまたはJSファイルへのアクセスをブロックしないように公式に述べています。これにより、Googleがサイトをクロールするときに、ブラウザーとまったく同じようにレンダリングできます。

CSSまたはJSファイルをブロックすると、ランキングでWebサイトのパフォーマンスが低下する可能性があります。

詳細はこちら：技術的なウェブマスター向けガイドラインの更新とこちら：ウェブマスター向けガイドライン

これは最近の推奨事項であるため、多くのWebサイトおよびCMS（Joomlaなど）では、このようなファイルがrobots.txtでブロックされることがよくあります。この背後にある理由は通常、検索エンジンがこれらのファイルをクロールまたはインデックス付けする必要がないため、不要なファイルとディレクトリのインデックス付けを停止し、「クロール予算」を節約するために、これらがrobots.txtでブロックされることが多いことです。

あなたのための戦略のrobots.txtは、私のWebのセクションは：常に質問で答えられるべきではいけないロボットによってクロールされ、どのセクションがあり、ロボットがクロールすること。

ロボットは独自のロジックを実装し、複数の目的を持っています（Googleにクローラーがあるだけではありません...）ロボットの現在の実装と現在の意図は次のとおりです。これは有用な長期戦略ではありません。

ロボットの領域で考えるのではなく、Webのコンテンツ領域で考えるようにしてください。

robots.txtファイルはセキュリティメカニズムではないことを指摘したいと思います。

テンプレートはブログまたはコンテンツ管理ソフトウェア（CMS）アプリケーションで使用され、CSSがブラウザーおよび検索エンジンによって読み取られ、読み取られる必要があるため、外部からアクセスできないようにする必要があります。そうは言っても、どちらもブロックしませんが、CMSによるものは変更しません。検索エンジンとボットはテンプレートを気にしません。インデックス作成や読み取りを望まないURL / URIでサイトへのアクセスをブロックするだけで、robots.txtをセキュリティツールとは見なしません。そのためには設計されていません。