回答:
列2の頻度カウントを表示するには(例):
awk -F '\t' '{print $2}' * | sort | uniq -c | sort -nr
fileA.txt
z z a
a b c
w d e
fileB.txt
t r e
z d a
a g c
fileC.txt
z r a
v d c
a m c
結果:
3 d
2 r
1 z
1 m
1 g
1 b
シェルでこれを行う方法は次のとおりです。
FIELD=2
cut -f $FIELD * | sort| uniq -c |sort -nr
これはbashが得意なことです。
-d,
コンマまたはその他の区切り文字でフィールドを区切るために使用)。
cut -f 1 -d ' '
。本当にありがとうございました。:)
GNUサイト単語とその周波数の両方を印刷し、この素敵なawkスクリプトを、示唆しています。
可能な変更:
sort -nr
(そしてリバースword
とfreq[word]
)を実行して、降順で結果を確認ます。freq[3]++
列番号に置き換えます。ここに行く:
# wordfreq.awk --- print list of word frequencies
{
$0 = tolower($0) # remove case distinctions
# remove punctuation
gsub(/[^[:alnum:]_[:blank:]]/, "", $0)
for (i = 1; i <= NF; i++)
freq[$i]++
}
END {
for (word in freq)
printf "%s\t%d\n", word, freq[word]
}
このコードは、すべての列の出現を計算し、列ごとにソートされたレポートを出力します。
# columnvalues.pl
while (<>) {
@Fields = split /\s+/;
for $i ( 0 .. $#Fields ) {
$result[$i]{$Fields[$i]}++
};
}
for $j ( 0 .. $#result ) {
print "column $j:\n";
@values = keys %{$result[$j]};
@sorted = sort { $result[$j]{$b} <=> $result[$j]{$a} || $a cmp $b } @values;
for $k ( @sorted ) {
print " $k $result[$j]{$k}\n"
}
}
テキストをcolumnvalues.plとして保存します
。 perl columnvalues.pl files*
最上位のwhileループでは:
*結合された入力ファイルの各行をループします
*行を@Fields配列に分割します
すべての列について、結果のハッシュの配列データ構造をインクリメントします
トップレベルのforループでは、次のようになります。
*結果の配列をループし
ます
* 列番号を出力します
* その列で使用されている値を取得します*出現回数で値を並べ替えます*値に
基づいて二次並べ替えを行います(たとえば、b vs g vs m vs z)
*ソートされたリストを使用して、結果のハッシュを反復処理します
*各発生の値と数を出力します
column 0:
a 3
z 3
t 1
v 1
w 1
column 1:
d 3
r 2
b 1
g 1
m 1
z 1
column 2:
c 4
a 3
e 2
入力ファイルが.csvの場合は、次のように変更/\s+/
します/,/
醜いコンテストでは、Perlは特に十分に装備されています。
このワンライナーは同じことをします:
perl -lane 'for $i (0..$#F){$g[$i]{$F[$i]}++};END{for $j (0..$#g){print "$j:";for $k (sort{$g[$j]{$b}<=>$g[$j]{$a}||$a cmp $b} keys %{$g[$j]}){print " $k $g[$j]{$k}"}}}' files*
ルビー(1.9+)
#!/usr/bin/env ruby
Dir["*"].each do |file|
h=Hash.new(0)
open(file).each do |row|
row.chomp.split("\t").each do |w|
h[ w ] += 1
end
end
h.sort{|a,b| b[1]<=>a[1] }.each{|x,y| print "#{x}:#{y}\n" }
end
each_with_object
、特にを使用します。要するに、これはややひどく書かれています。