viで重複行を削除しますか？

エントリの長いリスト（各行に1つ）を含むテキストファイルがあります。これらの一部は重複しているため、重複を削除することが可能かどうか（可能であれば、方法も）を知りたいのですが。可能であれば、vi / vim内からこれを行うことに興味があります。

ファイルの並べ替えに問題がない場合は、次を使用できます。

:sort u

これを試して：

:%s/^\(.*\)\(\n\1\)\+$/\1/

自分自身の1つ以上のコピーが後に続く任意の行を検索し、1つのコピーに置き換えます。

ただし、試す前にファイルのコピーを作成してください。テストされていません。

コマンドラインから次のようにしてください：

sort file | uniq > file.new

awk '!x[$0]++' yourfile.txt順序を保持したい場合（つまり、ソートは受け入れられません）。vimから呼び出すために:!使用できます。

g/^\(.*\)$\n\1/d

Windowsで動作します。ただし、最初に行をソートする必要があります。

上記の2つの答えを組み合わせます。

go to head of file
sort the whole file
remove duplicate entries with uniq

1G
!Gsort
1G
!Guniq

削除された重複行の数を確認したい場合は、前後にcontrol-Gを使用して、バッファーに存在する行数を確認します。

視覚線モード（Shift+ v）で線を選択し、次に:!uniq。これは、次々に来る重複のみをキャッチします。

ViqでUniqを実装する方法については、私が管理しているプラグインでUniqを検索してください。Vimメーリングリストに記載されているさまざまな実装方法が表示されます。

そうでなければ、:sort u確かに行く方法です。

:%s/^\(.*\)\(\n\1\)\+$/\1/gec

または

:%s/^\(.*\)\(\n\1\)\+$/\1/ge

これはあなたへの私の答えです、それは複数の重複する行を削除することができ、削除せずに1つだけを保つことができます！

私は使うだろう !}uniq、これは空白行がない場合にのみ機能します。

ファイルのすべての行で次を使用します:1,$!uniq。

このバージョンでは、連続している繰り返し行のみが削除されます。つまり、連続する繰り返し行のみを削除します。指定されたマップを使用すると、関数は空白行で混乱を招きます。ただし、REGEXを行頭に一致するように変更すると、^重複した空白行も削除されます。

" function to delete duplicate lines
function! DelDuplicatedLines()
    while getline(".") == getline(line(".") - 1)
        exec 'norm! ddk'
    endwhile
    while getline(".") == getline(line(".") + 1)
        exec 'norm! dd'
    endwhile
endfunction
nnoremap <Leader>d :g/./call DelDuplicatedLines()<CR>

vi / vim（非常に大きなファイルの場合）を使用しない別の方法は、Linuxコマンドラインからsortとuniqを使用することです。

sort {file-name} | uniq -u

これは、両方のために私のために働いた.csvと.txt

awk '!seen[$0]++' <filename> > <newFileName>

説明： コマンドの最初の部分は固有の行を印刷し、2番目の部分は中央の矢印の後に最初の部分の出力を保存することです。

awk '!seen[$0]++' <filename>

>

<newFileName>