大きなログファイルを使用してシークを高速化する方法

私は非常に大きなログファイル（3 GBを超える）を頻繁に処理しています。これらのファイルでは、lessのパフォーマンスがひどいことに気付きました。多くの場合、ファイルの中央をジャンプしたいのですが、15 M行先にジャンプするように言わない場合、数分かかります。

私が想像する問題は、「\ n」文字のファイルをスキャンする必要が少なくなりますが、時間がかかりすぎることです。

明示的なオフセットを求めるだけの方法はありますか？たとえば、ファイル内の15億バイトのオフセットをシークします。この操作は、桁違いに速いはずです。lessがそのような能力を提供しない場合、提供する別のツールはありますか？

このように行を数えるのを止めることができます less -n

たとえば50％のような特定の場所にジャンプするにはless -n +50p /some/log、1.5GBのログファイルでこれを即座に実行しました。

編集：特定のバイトオフセットの場合： less -n +500000000P ./blah.log

ポケットベルであることは、本質的に行指向です。起動時に大きなファイルの場合は「行番号をカウントしています」と表示され、ESCを押して停止しますが、そうでない場合は行を実行します。それがすることです。

ファイルの真ん中に直接ジャンプして先頭をスキップする場合は、常に先頭を過ぎてシークできます。私のような何かをしたいと思いますtail -c +15000000 /some/log | less。

less ロケール設定による小さなオーバーヘッドがあるようです

ASCIIのみの文字を使用している場合は、次を使用して少し高速化できます。

LC_ALL=C less big-log-file.log

私の場合、スループットは〜30M ib / sから〜50 Mib / sに増加しました（レートはCPUバウンドです）