5 GBのjpegイメージのダウンロードやインポートに、5 GBのプレーンテキストと同じ時間がかかりますか?


39

ただ不思議なことに、今は父が私のために焼いたCDからすべての写真をインポートしています。これらの種類の転送を行うときに、5 GBの写真が5 GBのテキストと正確に同じ時間を要したかどうかに興味がありました。累積的に同じサイズであっても、さまざまなファイル形式に関連付けられた「オーバーヘッド」がある可能性があるため...

編集:実際にはCD-ROMではなく、DVD-Rです


11
5ギガは、そうでない限り5ギガです。
ザビエルジャズ

2
それと議論することはできません...
トーマス・パドロン-マッカーシー

35
どちらが重いですか:レンガのトンですか、それともトンの羽ですか?
グラハムボーランド

1
これを明らかに悪い質問として却下する前に、私の答え(およびさまざまな要因を強調する他の良いもの)を参照してください。5GBは5GBかもしれませんが、データが下に流れるパイプの効率によって違いが生じます。
デビッドストラットン

1
@Graham:どちらが重いですか、1ポンドの羽ですか、1ポンドの金ですか?(回答)
BlueRaja-ダニーPflughoeft

回答:


75

答えは「依存する」です。「ダウンロード」の意味によって異なります。

Webサイトからダウンロードする場合、一部のサイトは自動的にファイルを「オンザフライ」で圧縮し、テキストは非常によく圧縮されますが、JPEGは既に圧縮されているため、まったく圧縮されません。この場合、大きな違いがあります。

コピーコマンドを使用して1つのコンピューターから別のコンピューターにファイルをコピーする場合は、違いはありません。ただし、何らかの特殊なツールを使用している場合は、そのツールが自動圧縮を使用するかどうかによって異なります。jpegとテキストの唯一の違いは、ファイルを圧縮する可能性です。

ファイルの種類に関係なく、ファイル転送に関連する「オーバーヘッド」に違いはありません。


29
コピーの場合、全体のサイズが同じ場合、ファイル/フォルダーのメタデータの転送にオーバーヘッドがあるため、ファイルのが影響を与える可能性が高くなります。
クリスナヴァ

2
@ chris-nava:はい、これは本当です。同じサイズのファイルのみを検討しましたが、このニュアンスを指すのは正しいことです。
haimg

2
@DarkTemplar:メタデータが含まれます。ほとんどいつも。通常、ファイルの「外部」に保存されるメタデータの量はかなり制限されています。ファイル名、アクセス許可、およびアクセス時間です。多くのファイルシステムには、ファイルの「外部」に任意の(大規模な)メタデータを保存するオプションがありますが、ほとんど使用されません。
ヨアヒムザウアー

4
転送メカニズムも遅延の原因になる可能性があります。たとえば、SMB(Windowsファイル共有)は、同じファイルセットに対してNFSまたはFTPがはるかに高速であるのに、大量の小さなファイルを転送するのは不適切です。
クリス・ナバ

4
アンチウイルスが大きなオーバーヘッドを追加する可能性について誰も言及していないことに驚いています。多くのウイルス対策アプリケーションは、JPEGファイルでウイルスをスキャンし、テキストドキュメントを無視します。これは間違いなく、依存要因に貢献する可能性があります。
スコットリッピー

17

5GBの写真を使用すると、数千の妥当なサイズのファイル(それぞれ3MB以上)について話している可能性があります。5GBのテキストファイルをダウンロードした場合、通常は各ファイルがはるかに小さくなると予想されます。したがって、おそらく1桁または2つの追加ファイル(数十万または数百万のファイル)を処理することになります。

小さなファイルを大量にコピーすると、同じサイズのデータ​​を大きなファイルにコピーするよりも時間がかかります。個々のファイルの作成には、合理的なオーバーヘッドがあります。

おそらく大きな違いを生むには十分ではありませんが、それでも違いはあります。


3
これは大きな違いを生むと思います。100個の30Kテキストファイルをコピーすると、コピー先とコピー元によっては、1つの3MBファイルをコピーするよりも確実に時間がかかります。
スティーブンノート

+1ここで実際の問題に対処します。最良の答えです。
artistoex

12

ftpの "It Depends"は詳細にあります。

ftpバイナリモードは単なる転送であり、5GBの時間がかかります。

ftpテキスト転送としてWindowsからLinuxに移動する場合(驚くべきことにプレーンテキストの場合)、ftpは実際に行末を/ r / nから/ nに、またはその逆に変更します。ストリーミングの置換にはおそらく多少のオーバーヘッドがありますが、5GBのテキストを使用すると、1行に1文字をドロップするときにwinからlinに移行するディスクへの書き込みが少なくなり、1文字を追加するときにlinからwinに移行する時間が増えます行ごと。

それでは、Linuxで5GBですか?またはWindows?

寝るのに十分な一晩のペダントリー!


どのようにしてFTPにアクセスしましたか?OPはDVDドライブからローカルドライブにコピーしているように見えますか?
andynormancx

タイトルから。「夜遅くになって、その下の段落ではなく質問に答えました。彼の最初のパラグラフで最高票を得たポスターがそうであったように。今...別のメディアからコピーする
フィアスコLabsの

3

ファイル自体に関連するオーバーヘッドはありませんが、一部のストレージ/転送機能は自動圧縮をサポートしているため、違いが生じる可能性があります。

DVDから非圧縮ドライブにコピーする場合、違いはありません。圧縮されたNTFSドライブにコピーする場合、テキストはJPEGよりもスペースを取りません。

圧縮を使用するHTTPサーバーからダウンロードする場合、テキストのダウンロード時間が短くなります。ただし、サーバーが圧縮を使用しない場合、違いはありません。

また、オーバーヘッドについて言えば、合計サイズ5GBの小さなファイル100万個は、単一の5GBファイルよりも多くの[実際の]スペースとコピーに時間がかかります。5GBには、ファイル名、日付、およびその他のメタデータ。


3

これは、効率やダウンロード時間に影響する要因として、圧縮などに対処する他の回答に追加することを意味します。

まだ言及されていなかった1つのポイントは、パケット効率です。ほとんどの人がこれに出くわしたことすらないと思うので、ここで簡単な背景を説明します。

Webサービスを使用する前に、Webサービスの使用と、より「標準的な」データベース接続(OleDb、System.Data.SqlClient、JDBCなど)の使用の効率の違いを知りたいと思いました。違いを確認するために、ネットワーク全体のデータストリームを追跡するために、グルにパケットスニファを配置してもらいました。

他の種類の接続のバイナリ形式と、データの記述に使用されるXMLタグのオーバーヘッドが追加されるため、Webサービスの使用は効率が低下すると考えられました。

私たちが見つけたのは、少なくとも私たちのネットワーク上で、Webサービスが、多くの場合、より効率的であるということです。違いは、バイナリデータを転送しているとき、パケット内のバイトの一部が空でしたが、テキストデータを送信するとき、パケットがより効率的に使用されたことです。

これは興味深いものであり、さまざまな種類のファイルを転送しながら試してみましたが、原則として、ネットワークを通過するプレーンテキストは常に、各パケットで使用可能なビットの100%を使用することがわかりました。なぜそうなのかは言えませんが、いくつかの実験がこれを裏付けました。

質問に対するいくつかのコメントは、これを明らかに欠陥のある質問として却下するように見えましたが、実際にはそうではありません。データの量は同じままですが、パイプの効率も重要です。

非IT者が理解するであろう類似性を作ることに抵抗することはできないからです:

食料品店の冷凍庫にある1つの棚にはxのスペースがありますが、丸い容器を使用するとスペースが無駄になるため、丸い容器よりも正方形の容器の方がアイスクリームのガロンを棚に収めることができますコンテナ。私たちのテストは、最初は直感に反していましたが、食料品店のストッカーが私たちに言ったことを教えてくれました。


2
データベースは何に関係していましたか?異なるRDBMSは、他のものよりも多かれ少なかれ「ネットワーク効率」に優れています。接続の確立から測定したのか、データセットデータのみから測定したのか?私は本当に興味があります。
ファブリシオアラウージョ

1

伝統的な知恵では、5GBは5GBと言われています。ただし、これら2つが似ていないシナリオがいくつかあります。ファイルのデータの構造の違いに関係しています。

まず、JPEGは圧縮されます。画像を表示するには、最初にファイルを圧縮解除する必要があります。そのような画像の圧倒的多数では、これを行うにはファイル全体が必要です。読み込み時に反復的に鮮明な画像を提供するプログレッシブJPEGがありますが、DSLやその他の高速接続が非常に一般的である時代には使用されることはほとんどありません。一方、テキストは多かれ少なかれストリーミング可能です。バイト(または使用されているUTFエンコーディングに応じて2つまたは4つ)があればすぐに、その文字を表示できます。最も古いデータ転送メカニズムでさえ、テキストを読むよりも速く読み込むことができます。そのため、5GBのJPEGでは、5GBのテキストファイルよりも何かを表示するのに時間がかかります。

第二に、JPEGは圧縮されているため、送信前に大量のデータを圧縮するブラウザーまたはファイル転送プログラム/プロトコルではうまく機能しません。これを確認するには、ZIPファイルをZIP圧縮します。2番目のZIPプロセスがさらに圧縮(低速化)するように構成されていない限り、サイズに大きな違いは見られません。つまり、これらのツールのいずれかを使用する場合、5GBは5GBではありません。JPEGはまだ約5GBになりますが、テキストは1GB以下まで圧縮できます。5GBのビットマップファイルと5GBのプレーンテキストを比較する場合、比較ははるかに近くなります。

ただし、NTPまたはFTPまたはHTTPを使用して、圧縮または「doanloadブースター」メカニズムを使用せずに、あるコンピューターから別のコンピューターに5GBのファイルを移動するだけでは、全体でほぼ同じ時間がかかります。違いは、各転送中の任意の1秒でのネットワークトラフィックレベルの違いの結果です。


インターリーブされたJPGについて聞いたことがありません。プログレッシブJPGとインターリーブGIF / PNGを組み合わせていますか?
ふわふわ

「プログレッシブJPEG」バリアントは、インターレースGIF / PNGによく似たインターレース形式です。JPEGの「プログレッシブ」という用語は、「プログレッシブスキャン」、「720p(ローグレッシブ)」、「1080p」などのよく知られた用語のために、IMOを混乱させます。これらの用語はすべて、フレーム全体が2つのインターレースパスではなく、1つのパスでフル解像度で描画されることを示しています。これは、「プログレッシブ」JPEG表示動作の正反対です。
キース

1
しかし、それはプログレッシブJPEGの仕組みではありません。これは、GIFやPNG(またはDVDビデオ)のようなインターレース/インターリーブ形式ではなく、DCTブロックの反復的な改良です。進行中のプログレッシブJPEGは、完全なピクセルカバレッジを備えています-ビットレートが低いだけです。JPEGは、GIFやPNGのようなスキャンラインでも処理しません。ピクセルの正方形グループのコレクションとして処理します。
ふわふわ

トマト、とまと。画像は、元々完全な画像データのサブセットを使用して最初に表示され、残りの部分で洗練されます。それが私のポイントでした。ラインでもブロックでも、1パスではなくマルチパスロードスタイルです。
キース

あなたが暗示しているように、それは単なる用語の小さな違いではありませんが、これは正当な理由もなくレンガ壁の議論に変わりつつあります。私はあなたがあなたの答えを作るためにちょっとした編集を提案しようとしていただけで、おしっこした試合に入ることを試みていませんでした。
ふわふわ

0

光学ドライブの5 GBは、JPGまたはテキストの場合、同じである必要があります。ネット経由で転送すると、ハードウェアに応じて組み込みの圧縮が行われたモデムの時間を覚えているので、すでに圧縮された5 GB JPGはさらに圧縮されませんが、5 GBのテキストは通常​​、圧縮。

では、なぜこれがハードドライブに使用されないのですか?必要に応じて、ハードドライブに多くのロジックが必要になり、ハードドライブを過度に加熱する圧縮に脆弱になりすぎ、必要に応じてデータを明示的に圧縮するのが簡単になりますか?ドライブによっては存在するのでしょうか?

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.