PowerShellでファイルをストリームとして1行ずつ処理する方法

マルチギガバイトのテキストファイルを使用していて、PowerShellを使用してそれらのストリーム処理を実行したいと考えています。それは単純なもので、各行を解析してデータを取り出し、データベースに保存するだけです。

残念ながら、get-content | %{ whatever($_) }パイプのこの段階で行のセット全体をメモリに保持しているようです。また、これは驚くほど遅く、実際にすべてを読み取るには非常に長い時間がかかります。

だから私の質問は2つの部分です：

1. どのようにしてストリーム全体を1行ずつ処理し、全体をバッファリングしてメモリに保持しないようにできますか？この目的のために数ギガのRAMを使い切るのを避けたいと思います。
2. どうすれば速く実行できますか？PowerShellの反復処理get-contentは、C＃スクリプトよりも100倍遅いようです。

私はここでやっている-LineBufferSize何かパラメーターが欠けているような何かばかげていることを願っています...

マルチギガバイトのテキストファイルを実際に操作する場合は、PowerShellを使用しないでください。それを読む方法を見つけたとしても、大量の行の処理がPowerShellでとにかく遅くなり、これを回避することはできません。単純なループでさえ、1,000万回の反復（たとえば、実際には非常に現実的）の場合、コストが高くなります。

# "empty" loop: takes 10 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) {} }

# "simple" job, just output: takes 20 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) { $i } }

# "more real job": 107 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) { $i.ToString() -match '1' } }

更新：それでも怖くない場合は、.NETリーダーを使用してみてください。

$reader = [System.IO.File]::OpenText("my.log")
try {
    for() {
        $line = $reader.ReadLine()
        if ($line -eq $null) { break }
        # process the line
        $line
    }
}
finally {
    $reader.Close()
}

アップデート2

おそらくより良い/より短いコードについてのコメントがあります。元のコードに問題forはなく、疑似コードではありません。しかし、読み取りループのより短い（最短？）バリアントは

$reader = [System.IO.File]::OpenText("my.log")
while($null -ne ($line = $reader.ReadLine())) {
    $line
}

System.IO.File.ReadLines()このシナリオに最適です。ファイルのすべての行を返しますが、行全体をすぐに繰り返し始めることができるため、内容全体をメモリに保存する必要はありません。

.NET 4.0以降が必要です。

foreach ($line in [System.IO.File]::ReadLines($filename)) {
    # do something with $line
}

http://msdn.microsoft.com/en-us/library/dd383503.aspx

そのままPowerShellを使用する場合は、以下のコードを確認してください。

$content = Get-Content C:\Users\You\Documents\test.txt
foreach ($line in $content)
{
    Write-Host $line
}