301の監督ドメインを明らかにする方法をオンラインコンテストで知っている

ニッチに入るウェブマスターは、オンライン競争を事前に調査し、彼らが何に直面しているかを知り、彼らの目標が時間とお金の両方で現実的で手頃な価格であるかどうかを確認する必要があると本当に信じています。

ご存知かもしれませんが、オンラインで競争を調査する方法はいくつかあります。ランキング、ローカルランキング、引用、ソーシャルメンション、そしてもちろんバックリンク。この質問は、上記のいずれにも関連していませんが、少しの間関連しています。これは、最終的な目標がすぐに表示されるためです。

したがって、私の質問とそれに続く回答が、同じ問題に遭遇する他のウェブマスターを助けることを願っています。私はこの問題をシナリオとして例証し、私が信じていることと私が求めていることのアイデアをあなたに与えることを願っています。

シナリオ

あなたのウェブサイトは、かなり競争の激しいニッチの中でほぼ2年間トップにランキングされています。そして、どこからともなくランキングを落とすと、10ページに掲載されたことのないサイトが10位を気にすることなく、突然トップに立ちます。

即座の反応は不正行為であり、コンテンツとバックリンクを調査しますが、コンテンツが非常に薄く、バックリンクがゼロであることがわかります。そのため、ここでの可能性は、これらのチェックに使用するツールを使用して、そのサイトのバックリンクがまだインデックス付けされていないことです。または、何らかの理由でGoogleがエラーを発生させ、それが解決される場合があります。

4か月後、0のバックリンク（予想されるボット/スクレイパーからのみ-webstatsなど）の同じシンサイトは、依然としてランキングでトップです。

そのため、このサイトはここにとどまるように見え、あなたのサイトが上位になっている他の理由について考え始めます。

考えられる理由の1つは、他の多くのサイトとともにあなた自身のランキングが落ちたが、それらのすべてのサイトのランキングを落とすことは非現実的であるため、今後の唯一の方法は、Googleの評判またはファウルプレイのいずれかによってランキングを獲得したと信じることです。ここでの結論は、問題のサイトが最近、あるドメインから別のドメインに移動したということです。あるドメインから別のドメインへの単純な301リダイレクトだけがある場合もあれば、サイトを移動したことをGoogleウェブマスターツール内でGoogleに伝えている場合もあります。シナリオオーバー。

質問

私の質問は非常に単純であり、テキストの長い段落をおaびしますが、ここで何が達成されようとしているのかについて良いアイデアが欲しいです。十分なタイピング、ここに質問があります！

301リダイレクトを使用するか、Googleウェブマスターツールで移動することで、あるドメインが別のドメインに移動したかどうかを調べることはできますか？

301リダイレクトされたURLを知ることはいくつかのケースで可能ですが、常にではありません。

AhrefsやMajesticSEOなどのいくつかのオンラインツールは、この種の情報を表示できます。「リダイレクト」ステータスの下に分類されたバックリンクを見るだけです。

Ahrefの例：

ただし、ほとんどの場合、リダイレクトされたURLは良いSEOの場所（たとえば、PageRankの高いWebサイト）から非常に良いバックリンクを受け取っているため、人々は301リダイレクトを見つけたくない優れたSEOの専門家を知る必要があります。
一般的に、これらの良いSEOの場所を隠すため（そしておそらく非常に良いバックリンクを得る良い機会）、オンラインツールでリダイレクトされたURLを見つけることができません。実際、専門家はリダイレクトされたURLに対して、Googleを除くすべてのロボット（特にAhrefs、MajesticSEOのロボット）をブロックしています。
結果として、301リダイレクトはSEOにとって強力であり、人々にとっては隠されています。

PS：プロがクローキングを適用して、リダイレクトされたURLへのバックリンクを訪問者に隠すこともできます。したがって、SEOのこれらの良い場所はさらによく隠されています。

次のようなサイトに関するあらゆる種類の情報を提供するサイトがいくつかあります。

• サイトのページ数
• サイトのトラフィックの見積もり
• 同じIPアドレスでホストされている他のサイト（ほぼ必要なもの）
• 同じ所有者に登録されている他のサイト（ここでも、ほぼ希望どおり）

他のドメイン名がサイトにリダイレクトすることを伝えるものを見つけることができませんでした。これらのサイトの1つがこの種の機能を追加することは、おそらくそれほど大きな問題ではないでしょう。

この質問に答えるためのツールを作成しようとした場合、次のようにします。

• DNSエントリがあるドメイン名のリスト全体をダウンロードします。これ自体がプロジェクトです。各レジストリにアクセスを申請するか、そのレッグワークを行ったブローカーに支払う必要があります。 stackoverflowに関するこの質問には、両方のアプローチに対する答えがあります
• 1億5000万の各ドメイン名からページをダウンロードして、他のサイトにリダイレクトされるかどうかを確認します。1秒間に約50を実行できるはずで、クロールには1か月以上かかります。このタスクはシャーディング可能であるため、複数のマシンで作業することで高速化できます。このクローラーの帯域幅とホスティングコストはかなり大きくなる可能性があり、50サイトのプレダウンロードの平均ダウンロードを想定すると、1秒あたり50サイトの帯域幅はおそらく約20 mb / sになります。

クロスドメインの標準タグを使用すると、これがより効果的であると思われます。canonicalタグを使用すると、インデックスが作成されていないサイトがアクティブなままになり、マネーサイトに渡されるリンクの構築を続けることができます（既に301になっているページのリンクリクエストを送信するのは困難です）。

301を検出するための自動化された/既製の方法はありません。そして、あなたがそれらすべてを見つけたと確信する方法があるとは思いません。いくつかを見つけるのに役立つかもしれないいくつかのオプションは次のとおりです。

DNSルックアップ。同じ所有者が他のドメインを見つけることができるかどうかを確認します。これを見つければ、良い出発点になります。spyonweb.comAdSense ID、アフィリエイトID、DNS情報などを使用するサイトのネットワーク（私はそう思う）を見つけるために使用されるいくつかのウェブサイトがあります。この場合、所有者がこれらのフットプリントのいずれかを残すとは思わないでしょうが、まだわからない。

オープンソースのWebクローラーは、301のリンクのみをたどり、目的のドメイン名の結果を返すように調整できる必要があります。

あなたのニッチでリンク売り手を探してください。これはおそらくお金のサイトと可能性のある悪いリンクの間にバッファを作成するために行われています（単一のリダイレクトされたサイトをシャットオフする方がはるかに簡単です、ペナルティを受けた場合はあなたのサイトへのリンクを削除するために数百のウェブマスターを取得することです）。彼らがリンク購入に参加していることを意味している可能性があります。Xenuのようなものを販売者サイトで使用すると、301が表示されます。

inanchor:Googleで検索します。アンカーテキストでブランドを使用しているが、別のドメインに移動するリンクを見つけた場合、適切にランク付けされる識別ブランドがある場合は（希望するドメインにリダイレクトされます）。

これらの方法を使用して1つまたは2つのサイトを見つけた場合は、さらに多くを見つけるために使用できるパターンを見つける可能性があります。

ただし、301の代わりに標準タグを使用している場合、これらはすべて意味がありません。追加のクリエイティブ検索を実行できると確信していますが、これらは良いスタートを切るはずです。

-幸運を