タグ付けされた質問 「wget」

米国にサーバー（LinuxボックスB）があり、自宅のPC（LinuxボックスA）があり、WebサイトCからファイルをダウンロードする必要があります。 問題は、Aから直接ファイルをダウンロードするのが非常に遅いため、BにログインしsftpてAからファイルを取得するときにファイルをダウンロードする必要があることです。 ファイルをダウンロードし、1行のコマンドだけでBをプロキシとして直接使用する方法はありますか？

31 ssh  wget 

Netscapeのフォーマットは何だwgetのはcookies.txt？ログインが必要なWebサイトをミラーリングする必要があります。その形式でCookieを返すChrome拡張機能を使用し、それらをに保存し、コマンドcookies.txtでインポートしwgetますが、まったくログインしていないようにコンテンツをダウンロードするだけです。 私は助けに感謝します。

31 wget 

できればシェルからのリダイレクトチェーンですべてのURLを表示する方法を探しています。curlでほぼ行う方法を見つけましたが、最初と最後のURLのみが表示されます。それらすべてを見たいです。 これを簡単に行う方法がなければなりませんが、私は人生でそれが何であるかを見つけることはできません。 編集：これを送信してから、Chromeでそれを行う方法を見つけました（CTRL + SHIFT + I-> [ネットワーク]タブ）。しかし、Linuxコマンドラインからどのように実行できるかを知りたいです。

29 wget  curl 

Webサイト全体をダウンロードする方法。ただし、すべてのバイナリファイルを無視します。 wget-rフラグを使用してこの機能がありますが、すべてをダウンロードし、一部のウェブサイトはリソースの少ないマシンには多すぎて、私がサイトをダウンロードしている特定の理由では使用できません。 私が使用するコマンドラインは次のとおりです：（wget -P 20 -r -l 0 http://www.omardo.com/blog自分のブログ）

22 wget  recursive  download  mime-types 

特定のURLパスで見つかったファイルを手動でダウンロードする必要がない場合、どのようなオプションがありますか？ワイルドカードを使用すると失敗します。 $ wget 'http://www.shinken-monitoring.org/pub/debian/*deb' Warning: wildcards not supported in HTTP. .... もちろん、これはファイル名が事前にわからないことを前提としています。

22 wildcards  wget 

wget低速リンクを使用してダウンロードしています。 進行状況バーは次のように見える場合があります。 15% [+++++++++++++++===> ] 10,582,848 --.-K/s in 82s 「+」の意味は何ですか？

21 wget 

現在、Linuxサーバーで実行されているシェルスクリプトを使用して、wgetを使用してリモートWebページをダウンロードしています。これは、特定の時間に実行するようにスケジュールされているcronジョブによって実行されます。 -qオプションを追加すると、コンソールに返されるすべての出力が停止するだけでなく、wgetによるログへの書き込みまたはログファイルの作成の試行もすべて停止することを確認できますか？

19 linux  shell  wget 

wgetRPMをダウンロードしてそれをパイプでsudo rpm -iインストールし、1行でインストールできるかどうか疑問に思っていました。私はちょうど実行できることを理解しています： wget -c <URL> sudo rpm -i <PACKAGE-NAME>.rpm パッケージをインストールするには 私は使用してみました： wget -cqO- <URL> | sudo rpm -i しかし、それは返されました： rpm: no packages given for install

18 pipe  rpm  wget 

私はこれについて話しているこのウェブサイトにつまずいた。 それで、gzipされたバージョンを取得してWebサイト全体をダウンロードするとき、正しいコマンドは何ですか？ このコマンドをテストしましたが、wgetが実際にgzip圧縮されたバージョンを取得しているかどうかはわかりません。 wget --header="accept-encoding: gzip" -m -Dlinux.about.com -r -q -R gif,png,jpg,jpeg,GIF,PNG,JPG,JPEG,js,rss,xml,feed,.tar.gz,.zip,rar,.rar,.php,.txt -t 1 http://linux.about.com/

18 wget 

wgetを使用してOnedriveからファイルをダウンロードする方法は？（および可能であれば、バッチファイルとフォルダー全体）

17 wget  download  batch-jobs 

Webページでwgetを実行しようとすると、ページがhtmlになります。htmlが関連付けられていないファイルのテキストのみを取得することは可能ですか？（HTMLページの一部にはcタグを含むHTMLプログラムがダウンロードされるため、これが必要です。ブラウザで開き、テキストを手動でコピーして.cファイルを作成する必要があります。）

17 linux  wget 

トレントのコンテンツをダウンロードする単一のコマンドに興味があります（ダウンロードを停止するまで、ダウンロードに続くシードとして参加する可能性があります）。 通常、事前に個別に起動する必要のあるtorrent-clientデーモンと、制御するクライアント（などtransmission-remote）があります。 しかし、私はwgetor のシンプルさを探していcurlます：1つのコマンドを与え、しばらくして結果を取得します。

16 command-line  wget  download  bittorrent  protocols 

このWebサイトからファイルをダウンロードしようとしています。 URL：http : //www.ncbi.nlm.nih.gov/geo/download/?acc=GSE48191&format=file このコマンドを使用する場合： wget http://www.ncbi.nlm.nih.gov/geo/download/?acc=GSE48191&format=file index.html?acc=GSE48191ある種のバイナリ形式のみを取得します。 このHTTPサイトからファイルをダウンロードするにはどうすればよいですか？

15 wget 

基本的wgetに、SSHを介してリモートサーバー上のファイルにコマンドをパイプ処理したいと思います。これどうやってするの？単純sshにサーバーに入れてファイルをダウンロードできることは知っていますが、ローカルマシンを使用してダウンロードして送信することをお勧めします。

14 ssh  wget 

次のbashスクリプトでcurlバックグラウンドプロセスを実行しています。 START=$(date +%s) for i in {1..100000} do curl -s "http://some_url_here/"$i > $i.txt& END=$(date +%s) DIFF=$(( $END - $START )) echo "It took $DIFF seconds" done 49Gb Corei7-920専用サーバー（仮想ではない）があります。 topコマンドを使用してメモリ消費とCPUを追跡しますが、それらは限界からはかけ離れています。 ps aux | grep curl | wc -l現在のcurlプロセスの数を数えるために使用しています。この数は2〜4千まで急速に増加し、その後連続的に減少し始めます。 パイピングcurlを介して単純な解析をawk（curl | awk > output）に追加すると、curlプロセスの数は1〜2千に増え、その後20〜30に減少します。 プロセスの数がそれほど劇的に減少するのはなぜですか？このアーキテクチャの境界はどこですか？

14 linux  performance  bash  curl  wget