パンダの発生を数える最も効率的な方法は何ですか？

私は言うと大規模な（約1200万行）データフレームdfがあります。

df.columns = ['word','documents','frequency']

したがって、以下はタイムリーに実行されました。

word_grouping = df[['word','frequency']].groupby('word')
MaxFrequency_perWord = word_grouping[['frequency']].max().reset_index()
MaxFrequency_perWord.columns = ['word','MaxFrequency']

ただし、これを実行するには予期しない長い時間がかかります。

Occurrences_of_Words = word_grouping[['word']].count().reset_index()

ここで何が悪いのですか？大きなデータフレームで発生をカウントするより良い方法はありますか？

df.word.describe()

かなりうまく動作したので、このOccurrences_of_Wordsデータフレームの作成に非常に長い時間がかかるとは本当に思っていませんでした。

ps：答えが明白で、この質問をすることでペナルティを課す必要があると感じた場合は、答えも含めてください。ありがとうございました。

df['word'].value_counts()役立つはずだと思います。groupby機構をスキップすることで、時間を節約できます。がにcount比べてはるかに遅くなる理由がわかりませんmax。どちらも欠損値を回避するために少し時間がかかります。（と比較してくださいsize。）

いずれにせよ、value_countsは単語などのオブジェクトタイプを処理するように特別に最適化されているので、それ以上のことはできないと思います。

パンダのdataFrameの列でカテゴリデータの頻度をカウントする場合は、次のようにします。 df['Column_Name'].value_counts()

- ソース。

前の回答への単なる追加。実際のデータを処理するときにnull値が存在する可能性があることを忘れないでください。そのため、オプションを使用してカウントにそれらも含めると便利ですdropna=False（デフォルトはTrue）

例：

>>> df['Embarked'].value_counts(dropna=False)
S      644
C      168
Q       77
NaN      2