MySQLの重複する行をインプレースで削除する（ソートするタイムスタンプcolがあると想定）ウォークスルー：
テーブルを作成し、いくつかの行を挿入します。
create table penguins(foo int, bar varchar(15), baz datetime);
insert into penguins values(1, 'skipper', now());
insert into penguins values(1, 'skipper', now());
insert into penguins values(3, 'kowalski', now());
insert into penguins values(3, 'kowalski', now());
insert into penguins values(3, 'kowalski', now());
insert into penguins values(4, 'rico', now());
select * from penguins;
+------+----------+---------------------+
| foo | bar | baz |
+------+----------+---------------------+
| 1 | skipper | 2014-08-25 14:21:54 |
| 1 | skipper | 2014-08-25 14:21:59 |
| 3 | kowalski | 2014-08-25 14:22:09 |
| 3 | kowalski | 2014-08-25 14:22:13 |
| 3 | kowalski | 2014-08-25 14:22:15 |
| 4 | rico | 2014-08-25 14:22:22 |
+------+----------+---------------------+
6 rows in set (0.00 sec)
重複箇所を削除します。
delete a
from penguins a
left join(
select max(baz) maxtimestamp, foo, bar
from penguins
group by foo, bar) b
on a.baz = maxtimestamp and
a.foo = b.foo and
a.bar = b.bar
where b.maxtimestamp IS NULL;
Query OK, 3 rows affected (0.01 sec)
select * from penguins;
+------+----------+---------------------+
| foo | bar | baz |
+------+----------+---------------------+
| 1 | skipper | 2014-08-25 14:21:59 |
| 3 | kowalski | 2014-08-25 14:22:15 |
| 4 | rico | 2014-08-25 14:22:22 |
+------+----------+---------------------+
3 rows in set (0.00 sec)
完了すると、重複する行が削除され、タイムスタンプによる最後の行が保持されます。
タイムスタンプまたは一意の列を持たない方のために。
timestampソートするための、または一意のインデックス列がありませんか？あなたは退化状態に住んでいます。重複する行を削除するには、追加の手順を実行する必要があります。
ペンギンテーブルを作成して行を追加する
create table penguins(foo int, bar varchar(15));
insert into penguins values(1, 'skipper');
insert into penguins values(1, 'skipper');
insert into penguins values(3, 'kowalski');
insert into penguins values(3, 'kowalski');
insert into penguins values(3, 'kowalski');
insert into penguins values(4, 'rico');
select * from penguins;
# +------+----------+
# | foo | bar |
# +------+----------+
# | 1 | skipper |
# | 1 | skipper |
# | 3 | kowalski |
# | 3 | kowalski |
# | 3 | kowalski |
# | 4 | rico |
# +------+----------+
最初のテーブルのクローンを作成し、それにコピーします。
drop table if exists penguins_copy;
create table penguins_copy as ( SELECT foo, bar FROM penguins );
#add an autoincrementing primary key:
ALTER TABLE penguins_copy ADD moo int AUTO_INCREMENT PRIMARY KEY first;
select * from penguins_copy;
# +-----+------+----------+
# | moo | foo | bar |
# +-----+------+----------+
# | 1 | 1 | skipper |
# | 2 | 1 | skipper |
# | 3 | 3 | kowalski |
# | 4 | 3 | kowalski |
# | 5 | 3 | kowalski |
# | 6 | 4 | rico |
# +-----+------+----------+
最大集計は、新しいmooインデックスに作用します。
delete a from penguins_copy a left join(
select max(moo) myindex, foo, bar
from penguins_copy
group by foo, bar) b
on a.moo = b.myindex and
a.foo = b.foo and
a.bar = b.bar
where b.myindex IS NULL;
#drop the extra column on the copied table
alter table penguins_copy drop moo;
select * from penguins_copy;
#drop the first table and put the copy table back:
drop table penguins;
create table penguins select * from penguins_copy;
観察とクリーンアップ
drop table penguins_copy;
select * from penguins;
+------+----------+
| foo | bar |
+------+----------+
| 1 | skipper |
| 3 | kowalski |
| 4 | rico |
+------+----------+
Elapsed: 1458.359 milliseconds
その大きなSQL削除ステートメントは何をしているのですか？
エイリアス「a」のテーブルペンギンは、エイリアス「b」と呼ばれるテーブルペンギンのサブセットに結合されたままになります。サブセットである右側のテーブル 'b'は、列fooとbarでグループ化された最大タイムスタンプ[またはmax moo]を見つけます。これは左側のテーブル「a」と一致します。（foo、bar、baz）の左側には、テーブルのすべての行があります。右側のサブセット 'b'には（maxtimestamp、foo、bar）があり、これは最大であるものにのみ左に一致します。
その最大ではないすべての行の値maxtimestampはNULLです。これらのNULL行をフィルターで絞り込むと、fooとbarでグループ化されたすべての行のセットがあり、これは最新のタイムスタンプbazではありません。それらを削除します。
これを実行する前に、テーブルのバックアップを作成してください。
この問題がこの表で二度と発生しないようにします。
これが機能し、「重複行」が発生した場合。すごい。次に、テーブル（これらの2つの列）に新しい複合一意キーを定義して、最初から重複が追加されないようにします。
優れた免疫システムのように、不良行は挿入時にテーブルに許可されるべきではありません。後で、重複を追加するすべてのプログラムで抗議がブロードキャストされ、修正すると、この問題が再発することはありません。