どのような場合に、ブラウザではなくWgetを使用したほうがよいでしょうか?
リチャード・ストールマンは、匿名性の理由でブラウザの代わりにそれを使用していると聞きました。Wgetを使用してファイルを取得すると、サーバーは何を確認しますか?
どのような場合に、ブラウザではなくWgetを使用したほうがよいでしょうか?
リチャード・ストールマンは、匿名性の理由でブラウザの代わりにそれを使用していると聞きました。Wgetを使用してファイルを取得すると、サーバーは何を確認しますか?
回答:
通常、「ブラウザの代わりに」使用することはありません。ブラウザはHTMLをレンダリングし、リンクをクリック可能にします(URLを別のwgetコマンドに手動でコピーするのとは対照的に)など。プライバシーを心配している場合、ブラウザをクリーンアップする方法は数百通りあります(または、人間のユーザーインターフェイスのすべての外観を破壊せずにベアボーンを取得したい場合は、Lynxのような機能性の低いブラウザを使用できます)。
Wgetは主に、ファイルをダウンロードするための迅速で安価なスクリプト可能なコマンドラインの方法が必要な場合に使用されます。そのため、たとえば、wgetをスクリプトに入れて、新しいデータで頻繁に更新されるWebページをダウンロードできます。これは、ブラウザーを実際に使用することはできません。wgetのさまざまなオプションを使用してWebサイトをクロールし、自動的に保存することができます。ほとんどのブラウザーでは、少なくとも拡張機能なしではできません。
要するに、ブラウザはインターネットを見る人間のためのアプリケーションであり、wgetはHTTPを介してデータを移動するマシンとパワーユーザーのためのツールです。彼らが何をするか(ウェブサイトからファイルをプルする)は非常に似ていますが、その使用方法はまったく異なります。
wgetで物事を取得したときにサーバーが「見る」ものについて:すべてのHTTPクライアント(ブラウザー、wget、curl、その他の同様のアプリケーション)は、「ユーザーエージェント」と呼ばれるものを送信します。ブラウザの機能について説明しています)。これは、ユーザーのブラウザに応じて異なるコンテンツを表示するために使用できます(つまり、Googleは既にChromeを使用しているユーザーにChromeを宣伝しないようにします)。一部の愚か者は、wgetのユーザーエージェント文字列をブロックすることで、パワーユーザーの嫌悪感をブロックしようとしますが、Chromeユーザーエージェント文字列を偽造してそれを回避することができます。多くの場合、単純に統計用に使用されるため、さまざまなブラウザの人気を把握し、最も徹底的にテストするブラウザを把握できます。
wgetのクロール機能を使用すると、サーバーは多くの高速リクエストをアルファベット順に表示します。あなたが彼らのサイトをスクレイピングしているのは死んだ景品です。ユーザーのブラウジングとはまったく異なります。人間のユーザーがブラウザーでリクエストを行うと、すべてのページリクエストの後にそのページのすべての画像が続き、その後に遅延が発生し、別のランダムページ(または、明確な目的のページのストリング)のリクエストがあります。
他の人が言及したように、wget
アドオン、Cookie、およびキャッシュがバンドルされていないという利点があり、潜在的に安定性と安全性が向上します。しかし、ブラウザやwget
、実際には非常に異なってい通常の使用法を。
wget
コンテンツを表示するのではなく、コンテンツを取得するためのコマンドラインユーティリティです。FTP、HTTP、およびHTTPSを介して、あらゆる種類のファイル(HTML、画像、バイナリなど)を含むすべてのものを取得およびダウンロードするために使用できます。
サーバーのuser agent
場合--user-agent
、ブラウザの引数を使用して指定しない限り、表示される唯一の違いは異なります。その場合、サーバーは違いを認識しません。
1)人間ではなくスクリプトによって開始されたダウンロード
2)個別のページではなく、サイト全体(またはサイトのフラグメント)をダウンロードする。(Wgetは自動的にリンクをたどることができます。)
Wgetには、サーバーが表示し、考えることができるものを制御するためのコマンドラインオプションがあります。これには、ページのダウンロード要求間の任意の遅延が含まれます。ただし、サイトサーバーにアンチボットポリシーがある場合、許容できる結果が得られるまでに多くの時間とトラフィックを浪費することがよくあります。
ブラウザーを使用する場合、望ましくないアドオンやマルウェアも含めて、ブラウザー内のすべてがアクティブになりますが、wgetは、ものをダウンロードするだけで、他には何もしません。
ブラウザは必ずしも安全ではありませんが、潜在的に安全です。
サーバーは、通常どおり、ダウンロード要求を「認識」します。
ブラウザは、アクティビティを履歴とキャッシュファイルに記録できます。
wgetにはメモリ保持がありません。
つまり、ブラウザの方が便利であり、4.7.2-040702-generic
先週ダウンロードしたNSAの数値がどうであれ、私は気にしません。私はブラウザをオンラインバンキングとペイパルに使用しています。これは、wgetでダウンロードできるファイルの大部分よりも間違いなく重要です。
Ubuntuのリモートインストールを使用する開発者として、OS GUIをインストールする意味はほとんどありません。この「コマンドライン」環境では、wgetはWebからファイルをダウンロードするための不可欠なツールです。
私は、もしあれば、どのブラウザをターミナルから実行できるのかさえわかりません。
wget
「セキュリティ上の理由」で使用していると聞いたのはどこですか?