4
特定のURLのインデックス作成を停止する方法
入力するとsite:example.com（明らかにドメインを使用して）、リストにいくつかのリンクエラーが表示されます。通常、これらの形式は次のとおりです。/some/fixed/path/admin/unblockUser/11 次の行をrobots.txtファイルに追加することを考えています： Disallow: /some/fixed/path/admin/*
Robots.txtは、Webサイトの所有者が自分のサイトに関する指示をWebロボットに提供するために使用するテキストファイルです。基本的に、サイトのどの部分が開いていて、どの部分が閉じているかをロボットに伝えます。これはロボット排除プロトコルと呼ばれます。