.bash_historyの重複を削除するにはどうすればよいですか？

私はcontrol+rコマンド履歴を再帰的に検索するために使用することを本当に楽しんでいます。私はそれで使用したいいくつかの良いオプションを見つけました：

# ignore duplicate commands, ignore commands starting with a space
export HISTCONTROL=erasedups:ignorespace

# keep the last 5000 entries
export HISTSIZE=5000

# append to the history instead of overwriting (good for multiple connections)
shopt -s histappend

私にとって唯一の問題は、erasedups連続した重複のみを消去することです-そのため、この一連のコマンドでは：

ls
cd ~
ls

lsコマンドは、実際には2回記録されます。私は定期的にw / cronを実行することを考えました：

cat .bash_history | sort | uniq > temp.txt
mv temp.txt .bash_history

これにより重複を削除できますが、残念ながら順序は保持されません。私がいない場合はsort、ファイルを最初に、私は信じていませんuniq正常に動作することができます。

.bash_historyの重複を削除するにはどうすればよいですか？

追加クレジット：

.bash_historyスクリプトを使用してファイルを上書きする際に問題はありますか？たとえば、Apacheログファイルを削除する場合はkill、ファイルへの接続をフラッシュするためにnohup / reset信号を送信する必要があると思います。.bash_historyファイルの場合は、psフィルタリングスクリプトを実行する前に、何らかの方法で接続されたセッションがないことを確認して確認できますか？

履歴の並べ替え

このコマンドはのようsort|uniqに機能しますが、行を所定の位置に保ちます

nl|sort -k 2|uniq -f 1|sort -n|cut -f 2

基本的に、各行にその番号を付加します。sort|uniq-ingの後、すべての行は元の順序に従って（行番号フィールドを使用して）ソートされ、行番号フィールドは行から削除されます。

このソリューションには、出力で同等の行のクラスを表すものが未定義であるため、最終出力での位置が未定義であるという欠陥があります。ただし、最新の担当者を選択する必要がある場合はsort、2番目のキーで入力できます。

nl|sort -k2 -k 1,1nr|uniq -f1|sort -n|cut -f2

.bash_historyの管理

履歴の再読み込みと書き戻しにはhistory -a、history -wそれぞれとを使用できます。

そのため、重複に悩まされた後、同じものを探していましたが、〜/ .bash_profile（Mac）を次のように編集すると、

export HISTCONTROL=ignoreboth:erasedups

それはまさにあなたが望んだことをします、それはどんなコマンドの最新のものでも保持します。ignoreboth実際にやっているようなものでignorespace:ignoredups、それerasedupsが仕事を成し遂げます。

少なくともbashを搭載したMac端末では、これは完璧に機能します。ここaskubuntu.comで見つけました。

このソリューションを実際に見つけてテストしました。

awk '!x[$0]++'

線の特定の値（$ 0）が初めて見られるとき、x [$ 0]の値はゼロです。
ゼロの値はと反転し!、1になります。
1つに評価されるステートメントは、デフォルトのアクションであるprintを引き起こします。

したがって、特定のもの$0が初めて見られるとき、それは印刷されます。

次回（繰り返し）の値x[$0]が含まれ、
その否定された値はゼロであり、ゼロと評価されるステートメントは出力されません。

最後に繰り返された値を保持するには、履歴を逆にして同じawkを使用します。

awk '!x[$0]++' ~/.bash_history                 # keep the first value repeated.

tac ~/.bash_history | awk '!x[$0]++' | tac     # keep the last.

クレイトンの答えを拡張する：

tac $HISTFILE | awk '!x[$0]++' | tac | sponge $HISTFILE

tacファイルを反転し、インストール済みであることを確認しmoreutilsてからsponge使用可能にするか、一時ファイルを使用します。

これらは最後に複製された行を保持します：

ruby -i -e 'puts readlines.reverse.uniq.reverse' ~/.bash_history
tac ~/.bash_history | awk '!a[$0]++' | tac > t; mv t ~/.bash_history

これは古い投稿ですが、複数の端末を開いて、ウィンドウ間で履歴を同期させたいが複製しないようにするユーザーにとっては永続的な問題です。

.bashrcでの私のソリューション：

shopt -s histappend
export HISTCONTROL=ignoreboth:erasedups
export PROMPT_COMMAND="history -n; history -w; history -c; history -r"
tac "$HISTFILE" | awk '!x[$0]++' > /tmp/tmpfile  &&
                tac /tmp/tmpfile > "$HISTFILE"
rm /tmp/tmpfile

• histappendオプションは、バッファーの履歴を履歴ファイル（$ HISTFILE）の最後に追加します
• ignorebothとerasedupsは、$ HISTFILEに重複したエントリが保存されるのを防ぎます
• promptコマンドは履歴キャッシュを更新します
  • history -n 最後のキャリッジリターン以降に別の端末で発生した可能性のあるすべての行を$ HISTFILEから読み取ります
  • history -w 更新されたバッファを$ HISTFILEに書き込みます
  • history -c 重複が発生しないようにバッファを消去します
  • history -r $ HISTFILEを再読み込みし、空のバッファに追加します
• awkスクリプトは、遭遇した各行の最初の出現を保存します。tacそれを元に戻し、それから元に戻して、履歴内で最新のコマンドで保存できるようにします
• / tmpファイルをrm

新しいシェルを開くたびに、履歴はすべて消去さEnterれ、別のシェル/ターミナルウィンドウでキーを押すたびに、ファイルからこの履歴が更新されます。

すべての新しいコマンドを一意に記録することは注意が必要です。最初に追加~/.profileまたは類似する必要があります ：

HISTCONTROL=erasedups
PROMPT_COMMAND='history -w'

次に追加する必要があります~/.bash_logout：

history -a
history -w