wgetを使用してディレクトリ全体とサブディレクトリをダウンロードする方法は?


143

を使用してプロジェクトのファイルをダウンロードしようとしています。そのプロジェクトwgetのSVNサーバーがもう実行されておらず、ブラウザからしかファイルにアクセスできないためです。すべてのファイルのベースURLは同じです

http://abc.tamu.edu/projects/tzivi/repository/revisions/2/raw/tzivi/ *

wgetまたはその他の同様のツール」を使用して、このリポジトリ内のすべてのファイルをダウンロードするにはどうすればよいですか。「tzivi」フォルダーはルートフォルダーで、その下にいくつかのファイルとサブフォルダー(最大2または3レベル)があります。


3
サーバーに必要なファイルへのすべてのリンクのリストを含むWebページがない場合は、これを行うことはできません。
Eddy_Em 2013年

1
ファイルの名前を知っていますか?
Karoly Horvath 2013年

いいえ、すべてのファイルの名前がわかりません。再帰オプションでwgetを試しましたが、機能しませんでした。これは、サーバーにすべての内部リンクをリストするindex.htmlファイルがないためです。
code4fun 2013年

wgetのミラーリングオプションを試しましたか?
Tomasz Nguyen

回答:


193

これをシェルで使用できます:

wget -r --no-parent http://abc.tamu.edu/projects/tzivi/repository/revisions/2/raw/tzivi/

パラメータは次のとおりです。

-r     //recursive Download

そして

--no-parent // Don´t download something from the parent directory

コンテンツ全体をダウンロードしたくない場合は、以下を使用できます。

-l1 just download the directory (tzivi in your case)

-l2 download the directory and all level 1 subfolders ('tzivi/something' but not 'tivizi/somthing/foo')  

等々。-lオプションを挿入しない場合は、自動的wgetに使用され-l 5ます。

挿入すると、-l 0インターネット全体をダウンロードします。なぜなら、wget見つけるすべてのリンクをたどるからです。


19
すばらしいので、次の読者のために単純化wget -r -l1 --no-parent http://www.stanford.edu/~boyd/cvxbook/cvxbook_additional_exercises/します。それが私の答えでした。回答ありがとうございます。
同型写像

2
私はすべてのファイルを取得するには、上記のコマンドを試してみましたhttp://websitename.com/wp-content/uploads/2009/05が、私が得たすべてはだったindex.html何も持っていなかったファイル。何を逃したのかわからない。
Vivek Todi

@up:wgetはリンクをたどるので、ディレクトリ一覧が必要です;)

11
これはかなり古いです。しかし、私も便利だと思ったのは-e robots=offスイッチです。;)
Matthias W.

2
「重要なことを忘れた」を削除して、答えを直してみませんか???
user1271772 2017

16

これをシェルで使用できます:

wget -r -nH --cut-dirs=7 --reject="index.html*" \
      http://abc.tamu.edu/projects/tzivi/repository/revisions/2/raw/tzivi/

パラメータは次のとおりです。

-r recursively download

-nH (--no-host-directories) cuts out hostname 

--cut-dirs=X (cuts out X directories)



1

次のコマンドも使用できます。

wget --mirror -pc --convert-links -P ./your-local-dir/ http://www.your-website.com

あなたがダウンロードしたいウェブサイトの正確なミラーを取得できるように



-1

これは機能します:

wget -m -np -c --no-check-certificate -R "index.html*" "https://the-eye.eu/public/AudioBooks/Edgar%20Allan%20Poe%20-%2"
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.