Linux上のファイルをRAMにキャッシュ/プリロードする

私は4GBのRAMを備えたかなり古いサーバーを使用しており、1日を通してほぼ同じファイルを提供していますが、3GBのRAMが「無料」である間にハードドライブから提供しています。

ラムドライブを実行したことがある人なら誰でも、速度の面で素晴らしいことを目の当たりにすることができます。このシステムのメモリ使用量は通常1GB / 4GBを超えることはないので、その余分なメモリを何か良いものに使用する方法があるかどうかを知りたいと思います。

• RAMから特定のファイルを常に提供するようにファイルシステムに指示することは可能ですか？
• RAMを使用してファイル読み取り機能を改善するために使用できる他の方法はありますか？

より具体的には、私はここで「ハック」を探していません。RAMドライブを作成し、そこにファイルを手動でコピーする必要なく、ファイルシステム呼び出しでRAMからファイルを提供したいのです。または、少なくとも私のためにこれを行うスクリプト。

ここで可能なアプリケーションは次のとおりです。

• 読み取りが多くなる静的ファイルを備えたWebサーバー
• 大きなライブラリを持つアプリケーションサーバー
• RAMが多すぎるデスクトップコンピューター

何か案は？

編集：

• この非常に有益な情報が見つかりました：Linuxページキャッシュとpdflush
• Zanが指摘したように、メモリは実際には空きではありません。つまり、アプリケーションで使用されておらず、メモリにキャッシュするものを制御したいということです。

vmtouchは仕事に適したツールのようです。

ハイライト：

• キャッシュされているディレクトリの量を照会する
• キャッシュされているファイルの量（また、どのページ、グラフィック表示）を照会する
• ファイルをキャッシュにロードする
• キャッシュからファイルを削除
• キャッシュ内のファイルをロックする
• デーモンとして実行

vmtouchマニュアル

編集： 質問で尋ねられた使用法は、vmtouch Hompageの例5にリストされています

Example 5

Daemonise and lock all files in a directory into physical memory:

vmtouch -dl /var/www/htdocs/critical/

EDIT2： として指摘コメントで、今そこにあるgitリポジトリ利用できます。

これは、vmtouch Virtual Memory Toucher ユーティリティを使用しても可能です。

このツールを使用すると、Linuxシステム上のファイルシステムキャッシュを制御できます。VMキャッシュサブシステム内の特定のファイルまたはディレクトリを強制またはロックするか、それを使用して、ファイル/ディレクトリのどの部分がVMに含まれているかを確認できます。

How much of the /bin/ directory is currently in cache?

$ vmtouch /bin/
           Files: 92
     Directories: 1
  Resident Pages: 348/1307  1M/5M  26.6%
         Elapsed: 0.003426 seconds

または...

Let's bring the rest of big-dataset.txt into memory...

$ vmtouch -vt big-dataset.txt
big-dataset.txt
[OOo                                                 oOOOOOOO] 6887/42116
[OOOOOOOOo                                           oOOOOOOO] 10631/42116
[OOOOOOOOOOOOOOo                                     oOOOOOOO] 15351/42116
[OOOOOOOOOOOOOOOOOOOOOo                              oOOOOOOO] 19719/42116
[OOOOOOOOOOOOOOOOOOOOOOOOOOOo                        oOOOOOOO] 24183/42116
[OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOo                  oOOOOOOO] 28615/42116
[OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOo              oOOOOOOO] 31415/42116
[OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOo      oOOOOOOO] 36775/42116
[OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOo  oOOOOOOO] 39431/42116
[OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOO] 42116/42116

           Files: 1
     Directories: 0
   Touched Pages: 42116 (164M)
         Elapsed: 12.107 seconds

ファイルシステムのキャッシュに物を入れるための貧乏人のトリックは、単にそれをcatし、それを/ dev / nullにリダイレクトすることです。

Linuxは、できるだけ多くのディスクIOをメモリにキャッシュします。これは、キャッシュおよびバッファメモリの統計です。おそらく、正しいものを保管するよりも良い仕事をするでしょう。

ただし、データをメモリに保存することを主張する場合は、tmpfsまたはramfsを使用してRAMドライブを作成できます。tmpfsはブロックデバイスが使用しているメモリのみを使用するため、ramfsは要求するすべてのメモリを割り当てます。私の記憶は少しさびていますが、あなたはできるはずです：

 # mount -t ramfs ram /mnt/ram 

または

 # mount -t tmpfs tmp /mnt/tmp

次に、データをディレクトリにコピーします。明らかに、マシンの電源を切るか、そのパーティションをアンマウントすると、データが失われます。

2.6カーネルのスワッピングとページキャッシングの機能に関するいくつかの広範な読書の後、「fcoretools」を見つけました。これは2つのツールで構成されています。

• fincore：アプリケーションがコアメモリに保存したページ数を表示します
• fadvise：コアメモリ（ページキャッシュ）を操作できます。

（他の誰かがこれを面白いと思う場合、私はこれをここに投稿しています）

他のツールを使用しなくても、かなり役立つ2つのカーネル設定があります。

スワップピネス

Linuxカーネルにスワップをどれだけ積極的に使用するかを指示します。ウィキペディアの記事を引用：

Swappinessは、システムページキャッシュからページを削除するのではなく、実行時メモリのスワップアウトのバランスを変更するLinuxカーネルのプロパティです。Swappinessは、0〜100の値に設定できます。値が低いと、カーネルはスワッピングを可能な限り回避しようとしますが、値を大きくすると、カーネルは積極的にスワップ空間を使用しようとします。デフォルト値は60です。ほとんどのデスクトップシステムでは、100に設定すると全体的なパフォーマンスに影響する場合がありますが、低く設定すると（0であっても）対話性が向上します（応答遅延が減少します）。

vfs_cache_pressure

vm.txtからの引用：

ディレクトリおよびiノードオブジェクトのキャッシュに使用されるメモリを再利用するカーネルの傾向を制御します。

vfs_cache_pressure = 100のデフォルト値では、カーネルはページキャッシュとスワップキャッシュの再利用に関して「公平な」レートでデントリとiノードを再利用しようとします。vfs_cache_pressureを小さくすると、カーネルはdentryおよびiノードのキャッシュを保持することを好みます。...

swappiness高い値（100など）に設定すると、カーネルはスワップする必要のないすべてのものを移動し、ファイルをキャッシュするためにRAMを解放します。そして、vfs_cache_pressure低く設定することで（0ではなく50にしましょう！）、アプリケーションデータをRAMに保持するのではなく、ファイルのキャッシュを優先します。

（私は大規模なJavaプロジェクトに取り組んでおり、実行するたびに大量のRAMとディスクキャッシュをフラッシュしたため、次回プロジェクトをコンパイルしたときにすべてがディスクから再度読み取られました。これら2つの設定を調整することで、ソースとコンパイル済み出力をRAMにキャッシュしておくと、プロセスが大幅に高速化されます。）

私はそれが実際に3 GBのRAM空きディスクからファイルを提供していることを非常に疑っています。Linuxファイルキャッシュは非常に優れています。

ディスクIOが表示されている場合は、ログの構成を確認します。多くのログは、クラッシュした場合に最新のログ情報が利用できることを保証するために、バッファなしとして設定されます。関係なく高速でなければならないシステムでは、バッファ付きログIOを使用するか、リモートログサーバーを使用します。

十分なメモリがある場合は、catなどでキャッシュするファイルを簡単に読み込むことができます。Linuxはそれを維持するのに良い仕事をします。

mmapファイルを実行しただけでプログラムを実行できる場合があります。

使用できるさまざまなramfsシステム（ramfs、tmpfsなど）がありますが、一般的にファイルが実際に頻繁に読み取られる場合は、ファイルシステムキャッシュに置かれます。ファイルのワーキングセットがフリーラムよりも大きい場合、ファイルは消去されます-ただし、ワーキングセットがフリーラムよりも大きい場合、すべてをラムディスクに収めることはできません。

シェルで「free」コマンドの出力を確認します。「Cached」の下の最後の列の値は、ファイルシステムのキャッシュに使用されている空きRAMの量です。

後者の質問については、プロセッサがデータを並行してフェッチできるように、RAMが異なるメモリチャネルにあることを確認してください。

これはアプリケーションレベルで解決する方が良いと思います。たとえば、おそらくこれに特化したWebサーバーがあるか、Apacheでmod_cacheを検討するかもしれません。Webコンテンツの高速配信など、特定の目標がある場合は、この種のことから改善を得ることができます。

しかし、あなたの質問は本質的に一般的なものであり、LinuxメモリサブシステムはRAMの最適な一般的な使用を提供するように設計されています。特定のタイプのパフォーマンスをターゲットにしたい場合は、/ proc / sys / vmですべてを検索することを検討してください。

fcoretoolsパッケージは興味深いです。そのアプリケーションに関する記事に興味があります... このリンクは、アプリケーションで使用される実際のシステムコールについて説明しています。

デスクトップコンピューター（例：ubuntu）は、起動時にメモリにプリロードファイル（少なくとも、一般的な共有ライブラリ）を既に使用しています。FF、OO、KDE、GNOME（evolution bloat-mailerを使用）などのさまざまなbloarwareの起動と起動時間を短縮するために使用されます。

ツールの名前はreadahead http://packages.ubuntu.com/dapper/admin/readaheadです

対応するsyscallもあります：readahead（2） http://linux.die.net/man/2/readahead

プリロードデーモンのプロジェクトもあります：http : //linux.die.net/man/8/preload

http://www.coker.com.au/memlockd/はこれを行います

あなたは本当にそれを必要としませんが、Linuxはあなたがそれ自身で使用しているファイルをキャッシュするかなり良い仕事をします。

私はちょうどdd if = / dev / yourrootpartition of = / dev / null \ bs = 1Mcount = howmuchmemoryyouwanttofillを試しました

それはあなたが望むコントロールを私に与えませんが、少なくとも無駄なメモリを使用しようとします

私はfind / -name stringofrandomcharacterを使用します

正確に尋ねられたものではありませんが、私は使用します

find BASE_DIRECTORY -type f -exec cat {}> / dev / null \;

スナップショットから作成されたAWSボリューム内のファイルの初期化をトリガーします。単にいくつかのファイルを読みたい場合は、ddを使用するという公式の推奨事項よりも焦点を合わせています。

特定のフォルダーとそのサブフォルダーにファイルをキャッシュしたい場合があります。このフォルダに移動して、次を実行します。

見つける 。-exec cp {} / dev / null \;

そして、それらのファイルはキャッシュされます