8
ロボットがページの特定の部分をクロールしないようにする
フォーラムのある小さなサイトを担当するウェブマスターとして、内部検索エンジンと外部検索(Googleを使用している場合など)の両方がユーザーの署名によって完全に汚染されている(長い間使用している)私のフォーラムでは署名が非常に理にかなっているので、署名とそれはフォーラムの経験の一部です。 だから基本的に私は今のところ2つのオプションを見ています: 署名を画像としてレンダリングし、ユーザーが「署名画像」をクリックすると、実際の署名(署名内のリンクなど)を含むページに移動し、そのページは検索でクロール不可として設定されます。エンジンスパイダー)。これはいくらかの帯域幅を消費し、いくつかの作業が必要になります(画像を生成するHTMLレンダラーなどが必要になるため)が、明らかにそれは問題を解決します(署名がユーザーは、しかし私のユーザーは、カスタムフォント/色/サイズなどを使用して、とにかく署名で非常に創造的ですので、それほど問題ではありません)。 署名を含むWebページのすべての部分をクロール不可としてマークする。 しかし、私は後について確信がありません:これはできることですか?Webページの特定の部分をクロール不可としてマークすることはできますか?