まず、私はそこにいるすべてのプロのウェブマスターに大いに謝罪しますが、このOPのために、私は1つの黄金の提案があります:
検索エンジンのガイドラインに違反する
そして、重要なコンテンツが複雑なjavascriptにあり、コンテンツロボットがクロールできるコンテンツが適切なHTMLにないところまでやります。これには、悪い説明タグ、悪いタイトルタグなどが含まれます。ヘック、コンテンツ全体をフラッシュで作成されたビデオに変換するか、コンテンツ全体を1つの画像として表示することもできます。それは本当に検索エンジンのクローラーをしつこくさせるでしょう。
コードで例を示します。
インデックスを作成する方法を次に示します。
<!DOCTYPE html>
<html>
<head>
<title>Web page</title>
<meta name="description" content="This is a wonderful web page">
</head>
<body>
<h1>A wonderful web page</h1>
<h2>By John Smith</h2>
<p>This is a wonderful page. ya de ya de ya de ya de ya de ya de</p>
<p>This is wonderful. ya de ya de ya de ya de ya de ya de</p>
</body>
</html>
わかりました、テキストは完璧ではありませんが、あなたは私の言っていることを理解しています。
クローラーから非表示にして簡単な方法で実行したい場合は、これを試すことができます:
<!DOCTYPE html>
<html>
<head>
<title>Private</title>
</head>
<body>
<img src="mywebsite.jpg" width=1024 height=768>
</body>
</html>
次に、mywebsite.jpgという名前の画像を作成し、上記のHTMLではなく、その中にすべてのテキストを含めます。次に、実物を見ることを許可されていないユーザーに透かし入りのバージョンを作成して、mywebsite.jpgを保護する必要があります。ユーザーエージェントの文字列またはIPアドレスを、イメージに対して許可/禁止するものと比較するだけです。このタイプのことは、いくつかの書き換えルールを使用して.htaccessで実行できます。
たとえば、googlebotに本物ではなく透かしの入った画像を表示させるには、次のルールを使用します。
RewriteCond %{HTTP_USER_AGENT} ^googlebot$ [NC]
RewriteRule ^mywebsite.jpg$ specialrobotimage.jpg [L]
ここでは、mywebsite.jpgが画像としての実際のWebサイトであり、specialrobotimage.jpgが透かしであるか、実際のユーザーのみが情報を表示できることを示すメッセージとしての画像であると想定しています。また、ルールはすべてが同じフォルダーにあると想定しています。