回答:
データベースへの要求は明らかにあるので、それを好転させ、スクレイパーが望むものを提供することを考えましたか?スクレイパーとのビジネス上のつながりを形成し、APIで適切な使用を奨励しますか?
スクレーパーがWebページとフォームを使用していない可能性があることを考慮する必要があります。スクレイパーは単にサイトをhttpレベルで呼び出しているだけかもしれません。
最善の解決策は、IPアドレスが特定のリクエストしきい値を超えてリクエストした後にキャッチパをスローアップすることだと思います。
ただし、実際のユーザーに対するアプリケーションのスケーラビリティに影響を与えないように、十分に注意する必要があります。
質問で説明するようにページごとのデータ量を制限すると、クライアントがサーバーに対して行う要求の数が増えるだけです。