＃！ありませんが

当社は、AngularJSとそのルーティングを使用して単一ページアプリケーションを開発しました。GoogleはJavaScriptを使用してサイトを適切にインデックス化しましたが、一部のページを適切にインデックス化しなかったため、HTMLのみのバージョンを開発しました。

我々は続いているAjaxのクロール仕様は、ここに掲載して持っている<meta name='fragment' content='!'>タグや正規のURLを。http://www.example.com/foo/barから取得されることを期待していますhttp://www.example.com/?_escaped_fragment_=/foo/bar。

ただし、AJAX仕様をロールすると、すべてのページに2回インデックスが作成されていることがわかりました。1回はJavaScriptバージョンとしてhttp://www.example.com/foo/bar、もう1回は新しいバージョンとしてhttp://www.example.com/#!/foo/barです。コンテンツが重複していて、サイトを誤って表示しているため、これは私たちにとって有害です。

こことGoogleプロダクトフォーラムで同様の質問を探してみましたが、何も思いつきませんでした。

— ベンジャミン・グレンバウム
ソース

Googleでこの問題を提起しましたか？彼らのフォーラムで？

— ジェローム・Verstrynge

@JVerstryはい-私はこの質問を投稿した直後にそれを行いました：productforums.google.com/forum/…しかし、私の最初の仮定は、製品に問題があるのではなく、プロトコルを正しく理解していないため、ここのヘルプは、この質問がここの大規模な対象読者に関連していることに加えて、かなりまともです（URLで＃！を使用せず、Googleにそれらをインデックスに登録させたい単一ページアプリケーションを持つすべての人）。ところで提案をありがとう。

— Benjamin Gruenbaum 2014

正規URLを定義しましたrel="canonical"か？

— kqw 2014

＃！URLと醜いURLのクローキングは、仕様に従っているようには見えません。

— Tony McCreath 14

#!URL を使用していないのに、なぜ_escaped_fragment_Google AJAX仕様を使用しているのでしょうか。

— MrWhite 2014

回答:

疑問がある場合は、を使用してくださいrel="canonical"。置くように、これは簡単なようかもしれない<link rel="canonical" href="http://blog.example.com/dresses/green-dresses-are-awesome" />あなたに<head>。詳細については、Googleをご覧ください。

これにより、ボットが両方の「バージョン」をクロールするのを防ぐことはできませんが、Google（および他のSERP）に正規のドキュメントのみにインデックスを付けるよう指示します。

— フィル・チューン
ソース

同じように、彼はrobots.txtファイルを使用できますか？

— eyoung100 2014

私たちはそれらを持っています、彼らはこの場合助けにはなりませんでした。

— Benjamin Gruenbaum 2014

私はjavascriptについて本当に理解していません。
では、Googleのインデックス、米国では正規のURL <head>@philtuneが言うように。ただし、http://www.example.com/foo/barからの取得が期待できない場合http://www.example.com/?_escaped_fragment_=/foo/bar。

Google Fetchがcanonical url。

この場合、URLはhttp://www.example.com/foo/barです。Googleもインデックスに登録しhttp://www.example.com/foo/barます。

あなたがページであるGoogleインデックスが必要な場合は、次のスクリプトを追加します<head>。

<meta content = 'index、follow' name = 'googlebot' />

を使用して再度フェッチしGoogle Fetchます。

Note：
グーグルはウェブサイトをクロールしてフォローし、クロールし、ページ上のすべてのリンクをフォローします。あなたにしているページは、リンクのようにしている場合http://www.example.com/?_escaped_fragment_=/foo/barに、リダイレクトをhttp://www.example.com/foo/bar、意志のインデックスをgoogleのhttp://www.example.com/foo/barためhttp://www.example.com/?_escaped_fragment_=/foo/barにリダイレクトされていますhttp://www.example.com/foo/bar。

— ミッチェル
ソース