削られないようにするには?


8

検索可能なデータベース(DB)があり、結果はページごとに15に制限されていますが、結果は100にすぎませんが、それでも人々はサイトをこすり取ろうとします。

十分な速さでヒットするサイトを禁止しています。他に何かできることはないかと思っていました。Flashは結果を多分レンダリングしますか?


ええ、私は誰の名誉、それを知らない...あなたはrobots.txtのを持っていることを確認し..しかし、一部にはまだやる
トレント

回答:


6

AJAXを介してレコードを取得し、AJAX呼び出しに認証ID(APIキーなど)を使用することで、少し難しくすることができます。

もちろん、IDを読み取り、それを使用してAJAXリクエストを行うことで、これを回避できます。

ご指摘のとおり、Flashでのレンダリングは、PDFでのレンダリングと同じように代替手段です(ただし、100%解読できないわけではありません)。


13

データベースへの要求は明らかにあるので、それを好転させ、スクレイパーが望むものを提供することを考えましたか?スクレイパーとのビジネス上のつながりを形成し、APIで適切な使用を奨励しますか?


1
はい、私はAPIが大好きです
Isaac Waller、

+1 APIの使用に少額の料金を請求して、スクレイパーに転向したクライアントからいくつかの支払いを行うこともできます
Sander Marechal

はい、タイマーを設定し、ページのヒットが速すぎる場合は、情報を販売する可能性が低いと思われる場合は禁止しました。以前は、その情報を使用して別のサイトに配置し、クリック収入を得ました。
ランディン


4

やる気のある個人があなたの公にアクセス可能なコンテンツをこすることを防ぐ技術的解決策はありません。

ただし、次の方法で知的財産を合法的に保護できます。

  • サイトに明確にマークされた著作権があることを確認する
  • スクレイピングを明確に禁止する利用規約をフッターに投稿する
  • サイトのすべてのコンテンツに電子透かしを埋め込むことを検討してください。テキストにも透かしを入れることができることを忘れないでください!

2

認証(およびキャプチャ)の設定、使用状況の追跡、およびいくつかのレコードまたは検索へのアクセスの制限は、一定の期間ですか?


1

さまざまなテクニックを適用すると、スクレーパーがスキャッパーを改善することがわかります。おそらく、キャプチャやその他の混乱をこすって提示するユーザーの行動を分析する方法はありますか?おそらく、一定期間、結果を少数に制限して、スクレーパーを10日間待機させることができます。彼らが間にログオンしない場合、彼らはスケイパーであると思いますか?

あなたが何をするにせよ、彼らにもう少し長寿を与えるためにあなたの技術を混合することを確認してください。


1

スクレーパーがWebページとフォームを使用していない可能性があることを考慮する必要があります。スクレイパーは単にサイトをhttpレベルで呼び出しているだけかもしれません。

最善の解決策は、IPアドレスが特定のリクエストしきい値を超えてリクエストした後にキャッチパをスローアップすることだと思います。

ただし、実際のユーザーに対するアプリケーションのスケーラビリティに影響を与えないように、十分に注意する必要があります。

質問で説明するようにページごとのデータ量を制限すると、クライアントがサーバーに対して行う要求の数が増えるだけです。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.