robots.txtの「Noindex：」はどのように機能しますか？

今日、私のSEOニュースでこの記事に遭遇しました。robots.txtのNoindex:標準Disallow:ディレクティブに加えて、ディレクティブを使用できることを暗示しているようです。

Disallow: /page-one.html
Noindex: /page-two.html

検索エンジンがページ1をクロールしたり、ページ2のインデックスを作成したりできないように思われます。

このrobots.txtディレクティブはGoogleや他の検索エンジンでサポートされていますか？うまくいきますか？文書化されていますか？

— スティーブン・オスターミラー
ソース

わからないけど、これは一部の人にとって非常に役立ちます。また、サイトマップを拡張してコミュニケーションを強化してほしい。ロボットとサイトマップの間で、これはサイトについて検索エンジンや他の人々に通信する絶好の機会になるはずです。また、Googleのサイトレビュアーと直接話をする機会を得たかのように、概要ページなどの検索で利用できるのとは別の方法で検索エンジンにサイトについて通知するテキストベースの機会にも賛成です。それはいくつかの心の痛みと誤解を救うことができます。おおっっっっっっっっっっっっっっっっっっっきりと言ってのチャンスです。

— closetnoc

disallow親ページと子ページにリンクが存在する場合、Googleがリンクを検出するのを止めるような印象を受けています。一方でnoindex、単純にリストされているページを停止不許可はありませんが、それは発見を停止しません。

— Simon Hayter

@SimonHayter私はそれがnofollowメタタグに対してどのように機能するかを知っています。それがrobots.txtにも当てはまるかどうかを知っておくとよいでしょう。

— スティーブンオスターミラー

@StephenOstermillerはメタタグだけでなく、同じ<a rel="no-follow">ことです。それが異なって扱われる理由は私にはわかりません。明らかにこれは公式ではなく、John Mullerがrobots.txtで使用しないことを推奨していますが、彼のツイートを除いて、私はそれについて多くの情報を見つけることができませんでした。

— Simon Hayter

GoogleがファイルNoindex内のディレクティブにrobots.txtエラーとしてフラグを立てなくなったことは注目に値します。

— アラン

以前Google Noindexはrobots.txtのディレクティブを非公式にサポートしていましたが、2019年にそのディレクティブが機能しないと発表しました。

GoogleのJohn Mueller Noindex:がrobots.txtで次のように言っています。

以前は、実験的な機能としてrobots.txtのno-indexディレクティブをサポートしていました。しかし、それは私が頼りにしないものです。そして、私は他の検索エンジンがそれをまったく使用していないと思います。

Googleが機能の廃止を発表する前に、deepcrawl.comは機能のいくつかのテストを行い、次のことを発見しました。

2019年以前は、Googleと連携していた
URLが検索インデックスに表示されないようにしました
robots.txtでインデックスが作成されていないURLは、Google Search Consoleでそのようにマークされました

Googleがこの機能を廃止したことを考えると、この機能はもう使用しないでください。

代わりに、十分にサポートされ、文書化されているrobotsメタタグを使用して、インデックス作成を防止します。

<meta name="robots" content="noindex" />

— スティーブン・オスターミラー
ソース