すべての単語のテキストファイルの単語出現回数を取得し、出力をソートして出力します

テキストファイルを処理し、単語のすべての出現をカウントし、次のように出力するコマンドがありました。

user@box $˜ magic-command-i-forgot | with grep | and awk | sort ./textfile.txt
66: the
54: and
32: I
16: unix
12: bash
5:  internet
3:  sh
1: GNU/Linux

したがって、1行ずつではなく、単語ごとに検索し、1単語だけでなく、すべての単語に対しても検索します。私はずっと前にインターネットのどこかでそれを見つけましたが、それを見つけたり覚えたりすることはできません。

私はawkのtr代わりに使用します：

echo "Lorem ipsum dolor sit sit amet et cetera." | tr '[:space:]' '[\n*]' | grep -v "^\s*$" | sort | uniq -c | sort -bnr

• tr スペースを改行で置き換えるだけです
• grep -v "^\s*$" 空の行を切り取ります
• sort の入力として準備する uniq
• uniq -c 発生をカウントする
• sort -bnr 空白を無視しながら数値の逆順でソートします

ワオ。それは行ごとの誓いを数えるための素晴らしいコマンドであることが判明しました

見つける。-name "* .py" -exec cat {} \; | tr '[：space：]' '[\ n *]' | grep -v "^ \ s * $" | 並べ替え| uniq -c | sort -bnr | グレップファック

1. 入力を単語ごとに1行に分割します。
2. 結果の単語（行）のリストを並べ替えます。
3. 複数回発生します。
4. 出現回数で並べ替えます。

入力を単語に分割するには、単語の区切りと見なされる文字を改行で置き換えます。

<input_file \
tr -sc '[:alpha:]' '[\n*]' | # Add digits, -, ', ... if you consider
                             # them word constituents
sort |
uniq -c |
sort -nr

grepとawkを使用していませんが、これはあなたが望むことをするようです：

for w in `cat maxwell.txt`; do echo $w; done|sort|uniq -c
  2 a
  1 A
  1 an
  1 command
  1 considered
  1 domain-specific
  1 for
  1 interpreter,
  2 is
  1 language.
  1 line
  1 of

このようなことをしていると思いますか？

$ perl -n -e 'foreach ${k} (split(/\s+/)){++$h{$k}};END{foreach $l (keys(%h)){print "$h{$l}: ${l}\n"}}' /path/to/your/file | sort -n -k 1

もちろん、あなたも同じことをすることができますawk:)

awk/sort/uniqソリューションを使用する：

awk '{for(w=1;w<=NF;w++) print $w}' ~/textFile.txt | sort | uniq -c | sort -nr

file=/home/stefan/ooxml1.txt
for word in $(sed 's/[^A-Za-z]/ /g' $file | tr " " "\n" | sort -u)
do
  echo -n "$word "
  grep -c $word $file
done | sort -k2 -n 

ファイルを単語に分割した後、昇順でソートします。

シンプルなgrepがございますfishでfisheye、あなたが部分一致を防ぐためにはgrepコマンドを強化する必要がありますので、。

古典的なHDD（IDE）の時代のマシンで、25kのテキストファイルに約3秒かかります。

大きなファイルまたは頻繁に実行される操作の場合、ハッシュマップアプローチの方が適していますが、めったにジョブを実行しない場合や小さなファイルの場合のみで十分かもしれません。