パスワードで保護されたセクションを含むwgetでphpbbフォーラムをダウンロードするにはどうすればよいですか?


4

フォーラムが完全に終了する前に、自分が管理するフォーラムをダウンロードしたい。自分で保存したい有用な情報があり、データを別のWebサーバーにエクスポートしたくないので、ページだけが必要です。私はフォーラムのユーザーであり、管理者ではありません。今、私はこれをグーグルで検索し、wgetで簡単に実行できることがわかりました:( アクティブな)phpbbフォーラム全体をダウンロードするにはどうすればよいですか?

私が使用した:

wget -k -m -E -p -np -R viewtopic.php*p=*,memberlist.php*,faq.php*,posting.php*,search.php*,ucp.php*,viewonline.php*,*sid*,*view=print*,*start=0* -o log.txt http://www.example.com/forum/

私はこれを試してみましたが、ログインする必要のあるセクションではなく、公開されているセクションのみをダウンロードできます。Firefoxプラグインを使用してcookies.txtを作成し(セッションがフォーラムにログインしている間に)、コマンドに--load-cookiesファイルcookies.txtを追加することでこれを達成しようとしましたが、まだ公開されているセクションのみを取得します。

これを機能させるための提案はありますか?


Pythonを知っていますか?
パラドロイド

1
私が想定していることの1つは、wgetが見つけたページ上のすべてのリンクをたどっていることです。フォーラムのインデックスページから開始する場合、コードは上から下に進むと思います。インデックスページのリンクの1つは「ログアウト」リンクです。それに達すると、セッションを自動的にログアウトします。login.php *などを追加および除外しようとしましたが、これまでと同じ結果が得られます。で始まるページを除外するようにwgetに指示する方法は誰でも知っていhttp://www.example.com/forum/login.php*ますか?忙しいときにログアウトしませんか?

回答:


1

多くのWebサイトはCookieを使用してログイン機能とログアウト機能を機能させるため、セッションのCookieを設定する必要があります。

ここで「--load-cookies」オプションが役立つ場合があります。


0

ここで私の答えを参照してください:https : //superuser.com/a/1371654/216033

最初にSIDを取得し、次のリクエストで使用する必要があります。

ログインの例:

PHPBB_URL=http://www.someserver.com/phpbb
USER=MyUser
PASS=MyPass

wget --save-cookies=./session-cookies-$USER $PHPBB_URL/ucp.php?mode=login -O - 1> /dev/null 2> /dev/null

SID=`cat ./session-cookies-$USER | grep _sid | cut -d$'\011' -f7`

echo "Login $USER --> $PHPBB_URL SID=$SID"

wget --save-cookies=./session-cookies-$USER \
 --post-data="username=$USER&password=$PASS&redirect=index.php&sid=$SID&login=Login" \
 $PHPBB_URL/ucp.php?mode=login --referer="$PHPBB_URL/ucp.php?mode=login" \
 -O - 1> /dev/null 2> /dev/null

wget --load-cookies ./session-cookies-$USER -k -m -E -p -np -R memberlist.php*,faq.php*,viewtopic.php*p=*,posting.php*,search.php*,ucp.php*,viewonline.php*,*sid*,*view=print*,*start=0* $PHPBB_URL/viewtopic.php?t=27704

######## loop thru topics see below(but above should get most with the options. 
#wget --load-cookies ./session-cookies-$USER -k -m -E -p -np -R $PHPBB_URL/viewtopic.php?t={1..29700}
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.