bashから「グループ化」をシミュレートする最良の方法は？

IPアドレスを含むファイルがあり、各行に1つのアドレスがあるとします。

10.0.10.1
10.0.10.1
10.0.10.3
10.0.10.2
10.0.10.1

各IPアドレスがファイルに出現する回数をカウントするシェルスクリプトが必要です。上記の入力には、次の出力が必要です。

10.0.10.1 3
10.0.10.2 1
10.0.10.3 1

これを行う1つの方法は次のとおりです。

cat ip_addresses |uniq |while read ip
do
    echo -n $ip" "
    grep -c $ip ip_addresses
done

しかし、それは実際には効率的ではありません。

どのようにbashを使用してこの問題をより効率的に解決しますか？

（1つ追加する必要があります。私はそれがperlまたはawkから解決できることを知っています。これらの言語ではなく、bashのより良いソリューションに興味があります。）

追加情報：

ソースファイルが5GBで、アルゴリズムを実行しているマシンが4GBであるとします。したがって、並べ替えは効率的なソリューションではなく、ファイルを複数回読み取ることもありません。

私はハッシュテーブルのようなソリューションが好きでした-誰でもそのソリューションに改善を提供できますか？

追加情報＃2：

たとえばperlのほうがずっと簡単なのに、なぜbashを使うのが面倒なのかと尋ねる人もいました。その理由は、私がこのperlを実行しなければならなかったマシンでは、私は利用できなかったからです。これは、私が慣れているほとんどのツールを持たないカスタムビルドのLinuxマシンでした。そして、それは興味深い問題だったと思います。

だから、質問のせいにせず、気に入らなければ無視してください。:-)

sort ip_addresses | uniq -c

これは最初にカウントを出力しますが、それ以外は正確にあなたが望むものでなければなりません。

迅速かつダーティな方法は次のとおりです。

cat ip_addresses | sort -n | uniq -c

bashの値を使用する必要がある場合は、コマンド全体をbash変数に割り当ててから、結果をループ処理できます。

PS

sortコマンドを省略した場合、uniqは連続する同一の行のみを調べるため、正しい結果が得られません。

既存のフィールドのグループに基づいて複数のフィールドを合計するには、以下の例を使用します（要件に応じて、$ 1、$ 2、$ 3、$ 4を置き換えます）

cat file

US|A|1000|2000
US|B|1000|2000
US|C|1000|2000
UK|1|1000|2000
UK|1|1000|2000
UK|1|1000|2000

awk 'BEGIN { FS=OFS=SUBSEP="|"}{arr[$1,$2]+=$3+$4 }END {for (i in arr) print i,arr[i]}' file

US|A|3000
US|B|3000
US|C|3000
UK|1|9000

正規のソリューションは、別の回答者が言及したものです。

sort | uniq -c

Perlやawkで記述できるものよりも短くて簡潔です。

データのサイズがマシンのメインメモリサイズよりも大きいため、並べ替えを使用したくないと書き込みます。Unix sortコマンドの実装品質を過小評価しないでください。ソートは、128k（131,072バイト）のメモリ（PDP-11）を搭載したマシンで非常に大容量のデータ（元のAT＆Tの請求データを考える）を処理するために使用されました。ソートは、事前設定された制限（多くの場合、マシンのメインメモリのサイズに近くなるように調整）を超えるデータを検出すると、メインメモリで読み取ったデータをソートし、一時ファイルに書き込みます。次に、データの次のチャンクでアクションを繰り返します。最後に、これらの中間ファイルに対してマージソートを実行します。これにより、並べ替えは、マシンのメインメモリよりも何倍も大きいデータを処理できます。

cat ip_addresses | sort | uniq -c | sort -nr | awk '{print $2 " " $1}'

このコマンドはあなたに望ましい出力を与えるでしょう

線形動作を得るために大量のコードを使用してbashのハッシュをシミュレートするか、2次超線形バージョンに固執する必要があるようです。

これらのバージョンの中で、sauaのソリューションが最良（かつ最も単純）です。

sort -n ip_addresses.txt | uniq -c

http://unix.derkeiler.com/Newsgroups/comp.unix.shell/2005-11/0118.htmlを見つけました。しかし、それは地獄のように醜いです...

解決策（mysqlのようなグループ）

grep -ioh "facebook\|xing\|linkedin\|googleplus" access-log.txt | sort | uniq -c | sort -n

結果

3249  googleplus
4211 linkedin
5212 xing
7928 facebook

おそらくファイルシステム自体をハッシュテーブルとして使用できます。次のような擬似コード：

for every entry in the ip address file; do
  let addr denote the ip address;

  if file "addr" does not exist; then
    create file "addr";
    write a number "0" in the file;
  else 
    read the number from "addr";
    increase the number by 1 and write it back;
  fi
done

最後に、必要なのは、すべてのファイルを走査して、ファイル名と番号を出力することだけです。または、カウントを保持する代わりに、ファイルに毎回スペースまたは改行を追加して、最終的にファイルサイズをバイト単位で確認することもできます。

この場合、awk連想配列も便利だと思います

$ awk '{count[$1]++}END{for(j in count) print j,count[j]}' ips.txt

ここでの投稿によるグループ

他のソリューションのほとんどは重複を数えます。キーと値のペアをグループ化する必要がある場合は、次のことを試してください。

これが私のサンプルデータです：

find . | xargs md5sum
fe4ab8e15432161f452e345ff30c68b0 a.txt
30c68b02161e15435ff52e34f4fe4ab8 b.txt
30c68b02161e15435ff52e34f4fe4ab8 c.txt
fe4ab8e15432161f452e345ff30c68b0 d.txt
fe4ab8e15432161f452e345ff30c68b0 e.txt

これにより、md5チェックサムでグループ化されたキーと値のペアが出力されます。

cat table.txt | awk '{print $1}' | sort | uniq  | xargs -i grep {} table.txt
30c68b02161e15435ff52e34f4fe4ab8 b.txt
30c68b02161e15435ff52e34f4fe4ab8 c.txt
fe4ab8e15432161f452e345ff30c68b0 a.txt
fe4ab8e15432161f452e345ff30c68b0 d.txt
fe4ab8e15432161f452e345ff30c68b0 e.txt

ピュア バッシュ （フォークなし！）

方法があります。 バッシュ機能。フォークがないので、この方法は非常に迅速です！...

...の束間のIPアドレスは、滞在する小さな！

countIp () { 
    local -a _ips=(); local _a
    while IFS=. read -a _a ;do
        ((_ips[_a<<24|${_a[1]}<<16|${_a[2]}<<8|${_a[3]}]++))
    done
    for _a in ${!_ips[@]} ;do
        printf "%.16s %4d\n" \
          $(($_a>>24)).$(($_a>>16&255)).$(($_a>>8&255)).$(($_a&255)) ${_ips[_a]}
    done
}

注：IPアドレスは、配列のインデックスとして使用される32ビットの符号なし整数値に変換されます。これは、連想配列ではなく、単純なbash配列を使用します（より高価です）。

time countIp < ip_addresses 
10.0.10.1    3
10.0.10.2    1
10.0.10.3    1
real    0m0.001s
user    0m0.004s
sys     0m0.000s

time sort ip_addresses | uniq -c
      3 10.0.10.1
      1 10.0.10.2
      1 10.0.10.3
real    0m0.010s
user    0m0.000s
sys     0m0.000s

私のホストでは、これを行うと、フォークを使用するよりもはるかに速く、最大で約1,000のアドレスを取得できますが、ソートしてn'000のアドレスをカウントしようとすると、約1秒かかります。

私はそれをこのようにしたでしょう：

perl -e 'while (<>) {chop; $h{$_}++;} for $k (keys %h) {print "$k $h{$k}\n";}' ip_addresses

しかしuniqはあなたのために働くかもしれません。

Bashで何かを探しているとのことですが、他の誰かがPythonで何かを探している可能性がある場合は、これを検討することをお勧めします。

mySet = set()
for line in open("ip_address_file.txt"):
     line = line.rstrip()
     mySet.add(line)

セット内の値はデフォルトで一意であり、Pythonはこの点で非常に優れているため、ここで何か勝つ可能性があります。私はコードをテストしていないので、バグがあるかもしれませんが、これはあなたをそこに連れて行くかもしれません。また、発生をカウントしたい場合は、セットの代わりにdictを使用するのが簡単です。

編集：私はひどい読者なので、間違って答えました。これは、発生をカウントするdictを含むスニペットです。

mydict = {}
for line in open("ip_address_file.txt"):
    line = line.rstrip()
    if line in mydict:
        mydict[line] += 1
    else:
        mydict[line] = 1

辞書mydictは、一意のIPのリストをキーとして保持し、それらが発生した回数を値として保持します。

順序が重要でない場合は、並べ替えを省略できます

uniq -c <source_file>

または

echo "$list" | uniq -c

ソースリストが変数の場合