各文字の出現回数をカウントする方法は？

13

たとえば1.txt、次の内容を含むfile があります。

Moscow
Astana
Tokyo
Ottawa

私はすべての文字の数を次のように数えたいです：

a - 4,
b - 0,
c - 1,
...
z - 0
command-line  bash  text-processing 
— セットxx
ソース
4
受け入れられた答えから、それは完全に明確ではありません、「A」と「a」を区別したいかどうか。あなたの質問はあなたがすることを示唆しています。
— ジェイコブVlijm

回答:

20

これを使用できます：

sed 's/\(.\)/\1\n/g' 1.txt | sort | uniq -ic
  4  
  5 a
  1 c
  1 k
  1 M
  1 n
  5 o
  2 s
  4 t
  2 w
  1 y

sed一部には、すべての文字の後に改行を配置します。次にsort、アルファベット順に出力します。そして、最後に発生uniq回数をカウントします。大文字と小文字を区別しない場合-iは、のフラグをuniq省略できます。

— 混沌
ソース
3
これは素晴らしいです。余分な注意点は、出力を再びパイプして、sort -k 2アルファベット順にリストすることです。
— テトリス
3
これは最短の方法で、最も理解しやすいですが、残念ながら最も遅い
— 方法です-c0rp
Mac OS XIでは使用する必要がありましたsed -e $'s/\(.\)/\\1\\\n/g'（stackoverflow.com/a/18410122/179014も参照）
— asmaier
出現数（降順）によって順番に：| sort -rnk 1。そして、私と同じように非常に大きなファイルを扱っている場合、実際のカウントのプロキシを取得するために数千行をサンプリングすることができますcat 1.txt | shuf -n 10000 | sed 's/\(.\)/\1\n/g' | sort | uniq -ic | sort -rnk 1
— 。– cpury
6

少し遅れましたが、セットを完了するために、別のpython（3）アプローチ、ソートされた結果：

#!/usr/bin/env python3
import sys

chars = open(sys.argv[1]).read().strip().replace("\n", "")
[print(c+" -", chars.count(c)) for c in sorted(set([c for c in chars]))]

A - 1
M - 1
O - 1
T - 1
a - 4
c - 1
k - 1
n - 1
o - 4
s - 2
t - 3
w - 2
y - 1

説明

  1. ファイルを読み取り、スペースをスキップして「文字」として返します。

    chars = open(sys.argv[1]).read().strip().replace("\n", "")

  2. （ソートされた）一意のセットを作成します。

    sorted(set([c for c in chars]))

  3. 各文字の出現回数をカウントして印刷します。

    print(c+" -", chars.count(c)) for c in <uniques>

使い方

  1. コードを空のファイルに貼り付けて、名前を付けて保存します chars_count.py

  2. 次のいずれかの方法で、ファイルを引数として実行します。

    /path/to/chars_count.py </path/to/file>

    スクリプトが実行可能な場合、または：

    python3 /path/to/chars_count.py </path/to/file>

    そうでない場合

— ジェイコブ・ヴライム
ソース
5

デフォルトではawk Fは ield Sの eparator（FS）があるスペースまたはタブ。各文字をカウントしたいので、FSをnone（FS=""）に再定義して、各文字を別々の行に分割し、配列に保存し、END{..}ブロック内の最後に、次のawkコマンドで合計出現数を出力する必要があります。

$ awk '{for (i=1;i<=NF;i++) a[$i]++} END{for (c in a) print c,a[c]}' FS="" file
A 1
M 1
O 1
T 1
a 4
c 1
k 1
n 1
o 4
s 2
t 3
w 2
y 1

で{for (i=1;i<=NF;i++) a[$i]++} ... FS="" ...ブロック私たちは文字を分割します。そして、
中にEND{for (c in a) print c,a[c]}ブロック我々は、アレイにループしているaと、保存され、その中に文字印刷print cおよび出現のその番号をa[c]

— αғsнιη
ソース
3

やるforあなたはカウントし、使用したい全ての文字のためのループgrep -io文字と無視例すべての出現箇所を得るために、およびwc -lインスタンスをカウントし、その結果を印刷することを。

このような：

#!/bin/bash

filename="1.txt"

for char in {a..z}
do
    echo "${char} - `grep -io "${char}" ${filename} | wc -l`,"
done

スクリプトはこれを出力します：

a - 5,
b - 0,
c - 1,
d - 0,
e - 0,
f - 0,
g - 0,
h - 0,
i - 0,
j - 0,
k - 1,
l - 0,
m - 1,
n - 1,
o - 5,
p - 0,
q - 0,
r - 0,
s - 2,
t - 4,
u - 0,
v - 0,
w - 2,
x - 0,
y - 1,
z - 0,

コメント後に編集

すべての印刷可能文字のループを作成するには、これを行うことができます：

#!/bin/bash

filename="a.txt"

for num in {32..126}
do
   char=`printf "\x$(printf %x ${num})"`
   echo "${char} - `grep -Fo "${char}" ${filename} | wc -l`,"
done

これは、32〜126のすべてのANSI文字をカウントします-これらは最も一般的に読みやすい文字です。これは大文字と小文字を区別しないことに注意してください。

これからの出力は次のようになります。

- 0,
! - 0,
" - 0,
# - 0,
$ - 0,
% - 0,
& - 0,
' - 0,
( - 0,
) - 0,
* - 0,
+ - 0,
, - 0,
- - 0,
. - 0,
/ - 0,
0 - 0,
1 - 0,
2 - 0,
3 - 0,
4 - 0,
5 - 0,
6 - 0,
7 - 0,
8 - 0,
9 - 0,
: - 0,
; - 0,
< - 0,
= - 0,
> - 0,
? - 0,
@ - 0,
A - 1,
B - 0,
C - 0,
D - 0,
E - 0,
F - 0,
G - 0,
H - 0,
I - 0,
J - 0,
K - 0,
L - 0,
M - 1,
N - 0,
O - 1,
P - 0,
Q - 0,
R - 0,
S - 0,
T - 1,
U - 0,
V - 0,
W - 0,
X - 0,
Y - 0,
Z - 0,
[ - 0,
\ - 0,
] - 0,
^ - 0,
_ - 0,
` - 0,
a - 4,
b - 0,
c - 1,
d - 0,
e - 0,
f - 0,
g - 0,
h - 0,
i - 0,
j - 0,
k - 1,
l - 0,
m - 0,
n - 1,
o - 4,
p - 0,
q - 0,
r - 0,
s - 2,
t - 3,
u - 0,
v - 0,
w - 2,
x - 0,
y - 1,
z - 0,
{ - 0,
| - 0,
} - 0,
~ - 0,
— ストーレット
ソース
大文字と小文字を無視したくない場合はi、grepから削除します。（あなたの質問では、期待される結果に3つしかありませんでした）
— -stalet
ああ、ありがとう。「{a..z}」-「a」から「z」までのすべてのシンボルですか？すべての印刷可能なシンボルについて、それらをすべてリストせずに指定する方法についてはどう
— Set-xx
すべての読み取り可能な文字の検索を拡張する方法の例で回答を更新しました
— 15年
それはだたくさんの呼び出しのgrep繰り返し全体の入力。
— 200_success
3

ここで別の解決策（awkで）...

awk '
        { for (indx=length($0); indx >= 1; --indx)
                ++chars[tolower(substr($0, indx, 1))]
        }
END     { for (c in chars) print c, chars[c]; }
' 1.txt | sort
  • 各文字をインデックス値として、カウントを配列値として連想配列を作成します。
  • ENDアクションは配列を出力します。
— ハワードH
ソース
する必要はありませんcat file | awk '...'：あなたは直接言うことができますawk '...' file。
— フェドルキ
2

次のperlonelinerがカウントを行います。正規表現をリストコンテキストに（一致数を取得するために）配置し、それをスカラーコンテキストに配置します。

$ perl -e '$a=join("",<>);for("a".."z"){$d=()=$a=~/$_/gi;print"$_ - $d,\n"}' 1.txt
a - 5,
b - 0,
c - 1,
d - 0,
e - 0,
f - 0,
g - 0,
h - 0,
i - 0,
j - 0,
k - 1,
l - 0,
m - 1,
n - 1,
o - 5,
p - 0,
q - 0,
r - 0,
s - 2,
t - 4,
u - 0,
v - 0,
w - 2,
x - 0,
y - 1,
z - 0,
— シルヴァン・ピノー
ソース
末尾のコンマをperl -Mfeature=say -e '$a=join("",<>);say join(",\n", map { sprintf("%s - %d", $_, ($d=()=$a=~/$_/gi)); } ("a".."z"))'
— 削除
2

Pythonを使用したソリューションは次のとおりです。

#!/usr/bin/env python2
import collections, string
with open('1.txt') as f:
    input_string = f.read().replace('\n', '').lower()
    count_dict = collections.Counter(input_string)
    for char in string.lowercase:
        print char + ' - ' + str(count_dict[char]) + ','

ここでは、collectionsモジュールのCounterクラスを使用して各文字の出現回数をカウントし、印刷目的でstringモジュールを使用して変数ですべての小文字を取得しましたstring.lowercase。

上記のスクリプトをファイルに保存しますcount.py。たとえば、任意の名前を付けます。これで、ファイルが保存されているのと同じディレクトリからファイルpython count.pyを実行するだけで、他のディレクトリからファイルへの絶対パスを使用して実行できますpython /absolute/path/to/count.py。

— ヘマイル
ソース
ソリューションを明確にしてください。
— つまり
@ c0rp：完了
— ...-heemayl
1

少し前に、それを行うためのCプログラムを作成しました。これは、大きなファイルを見て静的データを生成するために必要だったからです。

#include <stdlib.h>
#include <stdint.h>
#include <stdio.h>
#include <ctype.h>
#include <limits.h>
#include <math.h>
#include <sysexits.h>


inline static double square(double x)
{
    return x * x;
}


int main()
{
    static const unsigned distribution_size = 1 << CHAR_BIT;

    int rv = EX_OK;
    uintmax_t *distribution = calloc(distribution_size, sizeof(*distribution));

    {
        int c;
        while ((c = getchar()) != EOF)
            distribution[c]++;

        if (ferror(stdin)) {
            perror("I/O error on standard input");
            rv = EX_IOERR;
        }
    }

    uintmax_t sum = 0;
    for (unsigned i = 0; i != distribution_size; i++)
        sum += distribution[i];
    double avg = (double) sum / distribution_size;

    double var_accum = 0.0;
    for (unsigned i = 0; i != distribution_size; i++)
    {
        const uintmax_t x = distribution[i];

        printf("'%c' (%02X): %20ju", isprint((int) i) ? i : ' ', i, x);
        if (x != 0) {
            var_accum += square((double) x - avg);
            printf(" (%+.2e %%)\n", ((double) x / avg - 1.0) * 100.0);
        } else {
            var_accum += square(avg);
            putchar('\n');
        }
    }

    double stdev = sqrt(var_accum / distribution_size);
    double varcoeff = stdev / avg;
    printf(
        "total: %ju\n"
        "average: %e\n"
        "standard deviation: %e\n"
        "variation coefficient: %e\n",
        sum, avg, stdev, varcoeff);

    free(distribution);
    return rv;
}

でコンパイルします（ソースコードがに存在すると仮定character-distribution.c）：

cc -std=c99 -O2 -g0 -o character-distribution character-distribution.c

で実行：

./character-distribution < 1.txt

Cコンパイラの準備ができていない場合は、GCCをインストールします。

sudo apt-get install gcc build-essential
— デビッド・フォースター
ソース
0

Python 2.7およびPython 3で動作する、よりタイトなコードを使用した@heemaylと同様のソリューション。

#!/usr/bin/python

import collections
import fileinput
import itertools
import string

count = collections.Counter(itertools.chain(*fileinput.input()))
print(',\n'.join('{} - {}'.format(c, count[c] + count[c.upper()])
                 for c in string.ascii_lowercase))

最初のステートメントは、count = collections.Counter(…)すべての実際の作業を行います。

  • fileinput.input() 入力のすべての行を読み取ります。これは、stdinを介して、またはコマンドライン引数としてパイプ処理できます。
  • * 一度に行ではなく、一度に文字を考慮します。
  • count = Counter(…)単一のパスで各文字の出現を効率的にカウントし、結果をcount変数に格納します。

2行目は結果を出力するだけです。

  • '{} - {}'.format(c, count[c] + count[c.upper()]) for c in string.ascii_lowercase 各文字とそのカウントのリストを作成します。
  • print(',\n'.join(…)) 目的の形式で入力します。1行に1つ、コンマで区切られますが、最後の行にはコンマはありません。
— 200_成功
ソース
0

GNU awk 4.1

awk -iwalkarray '{for (;NF;NF--) b[$NF]++} END {walk_array(b)}' FS=
[A] = 1
[O] = 1
[w] = 2
[k] = 1
[y] = 1
[T] = 1
[n] = 1
[a] = 4
[o] = 4
[c] = 1
[s] = 2
[t] = 3
[M] = 1

GNU awkの以前のバージョンを使用してfor (c in b) print c, b[c]いる場合は、を使用できます。

— スティーブンペニー
ソース
0

ここにルビーを使用した答えがあります。これは、文字列を異なる文字のuniqリストに変更し、それぞれの文字列でcountメソッドを使用することで実行されます。

#!/usr/bin/env ruby

String content = IO.read("1.txt")
content.split("").uniq.sort.each { |chr| puts( chr + ' - ' + content.count(chr).to_s) }
— ストーレット
ソース
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.