連番のＨ画像/動画を一気にダウンロードする2

1 ：前スレ1：2005/12/26(月) 02:56:22

前スレ5年間のご愛顧ありがとうございました。PGFは無事コンプしましたが、これからも皆様の日々
実践されているノウハウを教えていただきたく再度、スレを立てさせてもらいました。
前スレ 連番のH画像を一気にダウンロードする
http://pc8.2ch.net/test/read.cgi/unix/979106537/

102 ：名無しさん＠お腹いっぱい。：2007/04/10(火) 23:16:28

みなさんが、
連番のＨ画像/動画を一気にダウンロードしたものを僕に下さい(>_<)(>_<)

103 ：名無しさん＠お腹いっぱい。：2007/04/21(土) 16:02:05

>>96とはべつの人なのですが、imepitaの画像をダウンロードできません。
ブラウザでは保存可能でした。

wget --referer='http://imepita.jp/20070402/701450' -U='Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)' --header='Accept-Language: ja' 'http://imepita.jp/kp_img/trial/20070402/701450.jpg?FFunc=IConf&FFcom=%22off%22'

としています。
指摘よろしくおねがいします。

104 ：名無しさん＠お腹いっぱい。：2007/05/01(火) 13:54:45

imageFAPの画像を　wgetでおとすのは難しい？　落としかた教えてください

105 ：名無しさん＠お腹いっぱい。：2007/05/01(火) 19:01:17

>>104
とりあえずURLを書きなさいよ

106 ：名無しさん＠お腹いっぱい。：2007/05/05(土) 09:35:29

結構難題(というか出来なかった)

ttp://infostore.org/info/3078906?refer=2257986&rs=2
→ ttp://img44.imagevenue.com/aAfkjfp01fo1i-24835/loc286/27363_004pat060.jpg

107 ：名無しさん＠お腹いっぱい。：2007/05/05(土) 10:51:18

lynx -dump 'http://infostore.org/info/3078906?refer=2257986&rs=2' |
grep -o 'http://[^#]*' |
grep 'imagevenue.com/img.php' |
while read LINE; do
lynx -dump -image_links $LINE |
grep -o 'http://[^#]*' |
grep '/loc[0-9][0-9]*/'
done

108 ：名無しさん＠お腹いっぱい。：2007/05/05(土) 11:08:02

ああ、ここUNIX板だから grep -o はまずいか。perl -ne 'print $& if m{pattern}' とかで。
あとは sleep もいれたほうがいいかも

109 ：名無しさん＠お腹いっぱい。：2007/05/05(土) 12:23:56

俺んとこlynx入ってなかったのでsedとcurlで

$ cat hoge.sh
#!/bin/sh

curl -s "$1" |
grep imagevenue |
sed -n -e "s/href='\\([^']*\\)'/\\
HREF=\\1\\
/gp" |
sed -n -e "/HREF=/s/HREF=//p" |
while read URL
do
dir="`dirname \"$URL\"`"
file=`curl -s "$URL" | sed -n -e '/thepic/ {N; s/.*SRC="\([^"]*\)".*/\1/p;}'`
curl -s --referer "$URL" -O "$dir/$file"
done

$ ./hoge.sh 'http://infostore.org/info/3078906?refer=2257986&rs=2'

110 ：名無しさん＠お腹いっぱい。：2007/05/05(土) 15:07:32

勉強になるなぁ(何の???)

111 ：名無しさん＠お腹いっぱい。：2007/05/05(土) 19:36:37

http://www.imagefap.com/gallery.php?gid=330938
>>105

112 ：名無しさん＠お腹いっぱい。：2007/05/05(土) 23:32:55

>>111
imagefapは
(1) ギャラリーページから全てのギャラリーページのURLを抽出
(2) 各ギャラリーページから画像ページのURLを抽出
(3) 画像ページから画像ファイルのURLを抽出

という手順になると思う。(3) のURLはJavaScriptでブラウザに生成させてるのでwgetとかでは無理っぽい。

113 ：名無しさん＠お腹いっぱい。：2007/05/06(日) 09:10:45

ギャラリーページサムネイルのURLを置換してやればいいんでないの?
http://images.imagefap.com/images/thumb/11/141/1414518509.jpg
http://images.imagefap.com/images/full/11/141/1414518509.jpg

114 ：名無しさん＠お腹いっぱい。：2007/05/06(日) 21:18:14

get_links_from_url() { lynx -dump -image_links "$1" | grep -o 'http://[^#]*'; }

for URL in `seq -f 'http://www.imagefap.com/gallery.php?gid=330938&page=%g' 0 8`; do
echo get: $URL >&2
get_links_from_url $URL | sed -n '/thumb/s/thumb/full/p'
done

115 ：名無しさん＠お腹いっぱい。：2007/10/23(火) 21:46:50

最近ぐっと来るネタがないっすねぇ

116 ：名無しさん＠お腹いっぱい。：2007/10/27(土) 02:27:20

最近のエロ画像はZIPで固めてrapidshareだからなあ

117 ：名無しさん＠お腹いっぱい。：2007/12/30(日) 00:22:46

こういうアドレスが長く、不規則なのってどうやればいいでしょうか

ttp://g.e-hentai.org/g/854/ed9b4c88ddfde2ab2ea93ee162b0ebf6315cef64/5-m-y/

118 ：名無しさん＠お腹いっぱい。：2008/01/02(水) 21:10:52

こういう別サイトの画像ディレクトリを参照している場合って、うまい方法ありますか？

http://exgirlfriendmarket.com/perfect_tits_corina?

119 ：名無しさん＠お腹いっぱい。：2008/01/02(水) 22:24:46

curl -O --referer 'http://exgirlfriendmarket.com/perfect_tits_corina/perfect_tits_corina-00.html' 'http://content1.nudeparadisehotel.com/femjoy/0681/[00-11].jpg'

120 ：118：2008/01/03(木) 01:46:07

>>119

さっそくの助言、ありがとうございます。
とりあえず curl をインストールして試してみました。拝見したところ、外部リンクになっているのを直接指定していますね。

これを Unix のコマンドの組み合わせで
　・画像一覧ページから
　・個別の画像、もしくは画像表示ページへのリンクを辿り
　・自動で巡回して、一定サイズ以上の JPG はダウンロードする
ということはできませんでしょうか？　趣味と実益を兼ねて、こんな感じの Blog を巡回することが多いのです。

だめだったら Win のダウンローダーでも探しますが、やはり Unix で覚えたいので。
お手数ですが、よろしかったらお知恵を拝借させてください。m(_ _)m

121 ：名無しさん＠お腹いっぱい。：2008/01/03(木) 09:38:02

wget -r -l 2 とかで。あとは wget --help の↓に気をつける:
再帰ダウンロード時のフィルタ:
-A, --accept=LIST ダウンロードする拡張子をコンマ区切りで指定する
-R, --reject=LIST ダウンロードしない拡張子をコンマ区切りで指定する
-D, --domains=LIST ダウンロードするドメインをコンマ区切りで指定する
--exclude-domains=LIST ダウンロードしないドメインをコンマ区切りで指定する
--follow-ftp HTML 文書中の FTP リンクも取得対象にする
--follow-tags=LIST 取得対象にするタグ名をコンマ区切りで指定する
--ignore-tags=LIST 取得対象にしないタグ名をコンマ区切りで指定する
-H, --span-hosts 再帰中に別のホストもダウンロード対象にする
-L, --relative 相対リンクだけ取得対象にする
-I, --include-directories=LIST 取得対象にするディレクトリを指定する
-X, --exclude-directories=LIST 取得対象にしないディレクトリを指定する
-np, --no-parent 親ディレクトリを取得対象にしない

122 ：名無しさん＠お腹いっぱい。：2008/02/27(水) 14:12:00

以前に別スレで質問を投げたことがあるのですが、うまい解決方法に行き当たらなかったのと、
今やそのスレが消えてしまったため、もう一度ここで質問させてください。

例えばここに置いてある松金洋子のデスクトップ用壁紙画像をターゲットとします。
http://www.sexydesktop.co.uk/youko.htm
ここには全部で4ページ分48種類の松金洋子の画像があります。

このサイトの画像はすべてデスクトップ用の壁紙を目的としているので、
一つの画像に関して数種類の解像度・縦横比の画像が用意されており、
アクセスしてきた人の使っているディスプレイ解像度を検出しては、
最適な解像度のものを優先的にプッシュするようになっています。

また、画像ファイルの命名ルールは非常に単純かつ形式的で、
たとえば例に挙げた松金洋子の画像の場合、
まず画像の名前を表す youko1 から youko48 までの48種類の画像が用意されています。

さらにそれぞれの解像度を表す 1280x800 や 800x600 の文字列が続き、最後に拡張子 .jpg が付いています。
注意する点は、例えば youko48 に対して youko01 だとか、1280x1024 に対して 0800x0600 といった、
命名上の「桁数合わせ」が一切行われていないという点です。

123 ：122-123：2008/02/27(水) 14:12:23

ここから先が質問です。やりたいことは、

1). サイトがプッシュしてくるこちらのディスプレイ解像度に関係なく、
すべての画像に関して、より解像度の大きい物を、
番号の一番若いものから古いものまで全種類取って来たい。

2). その際、取って来た画像のファイル名を修正して、
youko48 に対しては youko01 、1280x1024 に対して 0800x0600 など、命名上の「桁数合わせ」をしたい。

3). さらに、ファイル名の中の画像名を表す文字列と、解像度を表す文字列とを _ で結ぶようにしたい。
具体的には、youko11600x1200.jpg と名付けられた youko1 という画像の 1600x1200 版のファイル名を、youko01_1600x1200.jpg としたい。同様に、youko481280x1024.jpg と名付けられた youko48 という画像の
1280x1024 版のファイル名を youko48_1280x1024.jpg としたい。

以上をまとめると、参考例の松金洋子の画像で言えば、
youko11600x1200.jpg から youko481280x1024.jpg までの画像を、
youko01_1600x1200.jpg から youko48_1280x1024.jpg として保存したい。

これを実現するスクリプトをどう書けばいいでしょうか？

なお、好みのタレントの画像が何種類用意されているか（松金洋子の場合は48種類）については、
ダウンロードを開始する前に手作業で調べることとします。

124 ：名無しさん＠お腹いっぱい。：2008/02/27(水) 14:31:38

>>123
コントンジョノイコ

スレタイを読んでからスクリプトスレに行け

125 ：名無しさん＠お腹いっぱい。：2008/02/27(水) 14:43:56

>>122
>これを実現するスクリプトをどう書けばいいでしょうか？
変な書きかたをせずに普通に書けばいいと思うよ

126 ：名無しさん＠お腹いっぱい。：2008/02/27(水) 18:52:00

>ダウンロードを開始する前に手作業で調べることとします。

むしろここをやりたいのかと思った… :-P

127 ：名無しさん＠お腹いっぱい。：2008/03/01(土) 03:23:35

とりあえず自分で書いたとこまでうpすればみんなが添削してくれる
まず自分で書くんだ

128 ：名無しさん＠お腹いっぱい。：2008/03/03(月) 14:00:03

wgetでダウンロードすると同名のファイルだと.1, .2とsuffixがついてしまいますが
これを-1.拡張子とすることはできないでしょうか?

通常は hoge.html, hoge.html.1, hoge.html.2 とファイルが出来て行くものを
hoge.html, hoge-1.html, hoge-2.html と名付けられて欲しいのです。

129 ：名無しさん＠お腹いっぱい。：2008/03/03(月) 14:45:41

zsh 記法なら

for i in *.1 *.2
do
j=${i:r}
mv -i ${i} ${j:r}-${i:e}.${j:e}
done

130 ：名無しさん＠お腹いっぱい。：2008/03/03(月) 19:01:42

ありがとうございます。ダウンロードした後でリネームするのがいい方法ということですね。

なるほど、-iをつけて重複したものに上書きするのを防ぐというわけですか。
自動でユニークなファイル名をつけるにはもうちょっとシェルスクリプト書けば良さそうですね。

wgetでダウンロードする時点ではでないんでしょうか。

for i in *.1 *.2
は *.整数 なもの全てに対応するには *.[0-9]* でいいのだろうか。
でもこれだと .3g2 もひっかかるか。

131 ：名無しさん＠お腹いっぱい。：2008/03/03(月) 19:04:22

ああ*.222.htmlなんかも引っかかってしまうから全くだめですね。

132 ：名無しさん＠お腹いっぱい。：2008/03/22(土) 13:38:18

#!/usr/bin/perl
@tmp=("Alina-G", "Anastasia-S", "Anna-T", "Anna-Z", "Iryna-M", "Kateryna-V", "Larisa-H", "Oksana", "Olga-S",
"Olha-D", "Sasha-D", "Sasha-L", "Svetlana-T", "Ulyana-A", "Ulyana-M", "Valeriya-L", "Victoria-D", "Victoria-S", "Yuliya-S", "Yuliya-Z");
$baseurl = "http://www.candydoll.tv/images/";
foreach $f(@tmp){
for ($i=1 ;$i < 7;$i++){
$imgname = sprintf"%s-images%02d", $f, $i
$url = sprintf "%s/%s.jpg",$baseurl,$imgname; system "wget " . $url;
$cnvcmd = sprintf "jpegtopnm %s.jpg > %s.pnm",$imgname,$imgname; system $cnvcmd;

}

$a = "pnmcat -lr ". sprintf "%s-images01.pnm ",$f; $a .= sprintf "%s-images02.pnm ", $f; $a .= sprintf "> %s-images_a.pnm", $f;
system $a;
$a = "pnmcat -lr ". sprintf "%s-images03.pnm ",$f; $a .= sprintf "%s-images04.pnm ", $f; $a .= sprintf "> %s-images_b.pnm", $f;
system $a;
$a = "pnmcat -lr " . sprintf "%s-images05.pnm ",$f; $a .= sprintf "%s-images06.pnm ", $f; $a .= sprintf "> %s-images_c.pnm", $f;
system $a;
$a = "pnmcat -tb ". sprintf "%s-images_[abc].pnm |pnmtojpeg > %s-image.jpg",$f,$f; system $a;
}
system "rm *.pnm";

133 ：名無しさん＠お腹いっぱい。：2008/03/23(日) 09:03:53

なんでpnm介してるの?

134 ：名無しさん＠お腹いっぱい。：2008/03/23(日) 20:41:11

Webには
12
34
56
といった形で分割されてあげられてるんだけど、
これをうまく結合する方法を思いつかなかったんで一旦pnmに変換したんですよ。

なにかいい方法はないもんでしょうか。

135 ：名無しさん＠お腹いっぱい。：2008/03/23(日) 21:13:20

よくわからんが、ImageMagick で
convert -append / +append かな?

136 ：132：2008/03/24(月) 02:21:15

>>132の8行目の末尾にセミコロンがないのを今更見つけたのもありますが、
>>135さんの助言のおかげで無駄な変換をしないように修正したものをあげておきます。

#!/usr/bin/perl
@tmp=("Alina-G", "Anastasia-S", "Anna-T", "Anna-Z", "Iryna-M", "Kateryna-V", "Larisa-H", "Oksana", "Olga-S",
"Olha-D", "Sasha-D", "Sasha-L", "Svetlana-T", "Ulyana-A", "Ulyana-M", "Valeriya-L", "Victoria-D", "Victoria-S", "Yuliya-S", "Yuliya-Z");
$baseurl = "http://www.candydoll.tv/images/";
foreach $f(@tmp){
for ($i=1 ;$i < 7;$i++){
$imgname = sprintf "%s-images%02d", $f, $i;
$url = sprintf "%s/%s.jpg", $baseurl, $imgname; system "wget " . $url;
}

$a = sprintf "convert +append %s-images01.jpg %s-images02.jpg %s-images_a.ppm", $f, $f, $f;
system $a;
$a = sprintf "convert +append %s-images03.jpg %s-images04.jpg %s-images_b.ppm", $f, $f, $f;
system $a;
$a = sprintf "convert +append %s-images05.jpg %s-images06.jpg %s-images_c.ppm", $f, $f, $f;
system $a;
$a = sprintf "convert -append %s-images_[abc].ppm %s-image.jpg", $f, $f;
system $a;
}
system "rm *.ppm";

137 ：名無しさん＠お腹いっぱい。：2008/03/24(月) 06:00:07

10才とか12才とかって部分には誰もつっこまないのね

138 ：単なるスクリプト練習道場：2008/03/24(月) 09:38:42

必ずしも皆サイトの方を見ているとは限らないって

139 ：名無しさん＠お腹いっぱい。：2008/04/20(日) 01:18:07

双葉ちゃんねるの画像をまとめてＤＬ出来るローダーってありますか？
僕の使ってるやつだとサムネイル画像しか落とせないんですが。

140 ：名無しさん＠お腹いっぱい。：2008/04/20(日) 02:24:42

双葉ちゃんねるってものすごく見にくいんだけど
2chブラウザみたいなやつでもあるの？
流れにまかせて適当に見るのが筋なのかな。

141 ：名無しさん＠お腹いっぱい。：2008/05/06(火) 23:35:44

すんませんＨ画像じゃないんだけど、NHKニュースの動画の落とし方分かる人いませんか
http://www3.nhk.or.jp/news/
最近リニューアルしてから、ダウンロード出来なくなりました。
ブラウザのキャッシュにも残りません。swfを間にかましてるみたいです。
宜しくお願いします。

142 ：名無しさん＠お腹いっぱい。：2008/05/07(水) 17:28:51

ちょいと面倒だけど
まず見てるページのソースコードを見ると
wmvHigh = "http://cgi2.nhk.or.jp/news/cgibin/K10099999999_9999999999_0805071653_01t_mh.cgi
てなことが書いてある。次に
view-source:http://cgi2.nhk.or.jp/news/cgibin/K10099999999_9999999999_0805071653_01t_mh.cgi
でさらに見ると
<REF HREF="mms://a669.v90561.c9056.g.vm.akamaistream.net/5/669/9056/48216095/1a1a1ad74ec5f82d5bc9319cca39abd943b3e250b52c9f/K10044234611_0805071619_0805071653_mh.wmv"/>
とか書いてある。こいつを録画すればおｋ

143 ：名無しさん＠お腹いっぱい。：2008/05/10(土) 21:01:38

>>142
うまくいきました。丁寧に教えてもらって感謝です。

144 ：名無しさん＠お腹いっぱい。：2008/05/31(土) 18:03:17

http://jp.youtube.com/watch?v=5SMIgGAHAoU&feature=related
http://jp.youtube.com/watch?v=looALHmz6aA&feature=related
http://jp.youtube.com/watch?v=XlJkpEsaYMY&NR=1
http://jp.youtube.com/watch?v=aJ47PkaeM_M&feature=related
http://jp.youtube.com/watch?v=vsbv9Y-oPxg&feature=related
http://jp.youtube.com/watch?v=srYyLjVihYQ&feature=related
http://jp.youtube.com/watch?v=GyY_GFtj5Tg&feature=related
http://jp.youtube.com/watch?v=9uF85UO9-lg&feature=related
http://jp.youtube.com/watch?v=svH44ZUVE4A&feature=related
http://jp.youtube.com/watch?v=k9OJL0c-CBg&feature=related
http://jp.youtube.com/watch?v=I7nMFPYuF7o&feature=related
http://jp.youtube.com/watch?v=Kci1bOlAOCY&NR=1
http://jp.youtube.com/watch?v=yXPS8v7VqVg&feature=related
http://jp.youtube.com/watch?v=jpgH4CrHXF8&NR=1

鉄道をこよなく愛する人たち

145 ：名無しさん＠お腹いっぱい。：2008/05/31(土) 20:16:44

なんだこりゃ。ひどいな。

146 ：名無しさん＠お腹いっぱい。：2008/07/05(土) 00:14:43

今の最新のダウンロードスクリプトは何ですか？

147 ：名無しさん＠お腹いっぱい。：2008/07/05(土) 05:41:53

やっぱzshのスクリプトじゃね？

148 ：名無しさん＠お腹いっぱい。：2008/07/05(土) 23:27:08

グロ画像対策ってどうしてます？

149 ：名無しさん＠お腹いっぱい。：2008/07/06(日) 00:20:47

グロ画像好きになればいいんじゃないかな？

150 ：名無しさん＠お腹いっぱい。：2008/09/21(日) 11:29:13

ウイルスにじゃから内容にね

151 ：名無しさん＠お腹いっぱい。：2008/09/27(土) 21:48:19

Ｈな動画ならここhttp://click-bb.com/banner.php?adid=817344人気サイトです