Удалить повторяющиеся записи в PostgreSQL

У меня есть таблица в базе данных PostgreSQL 8.3.8, которая не имеет ключей / ограничений и имеет несколько строк с точно такими же значениями.

Я хочу удалить все дубликаты и оставить только по одной копии каждой строки.

В частности, есть один столбец (с именем «ключ»), который может использоваться для идентификации дубликатов (т.е. должна существовать только одна запись для каждого отдельного «ключа»).

Как я могу это сделать? (в идеале с помощью одной команды SQL) Скорость в этом случае не проблема (есть только несколько строк).

DELETE FROM dupes a
WHERE a.ctid <> (SELECT min(b.ctid)
                 FROM   dupes b
                 WHERE  a.key = b.key);

Более быстрое решение

DELETE FROM dups a USING (
      SELECT MIN(ctid) as ctid, key
        FROM dups 
        GROUP BY key HAVING COUNT(*) > 1
      ) b
      WHERE a.key = b.key 
      AND a.ctid <> b.ctid

Это быстро и кратко:

DELETE FROM dupes T1
    USING   dupes T2
WHERE   T1.ctid < T2.ctid  -- delete the older versions
    AND T1.key  = T2.key;  -- add more columns if needed

См. Также мой ответ в разделе Как удалить повторяющиеся строки без уникального идентификатора, в котором содержится дополнительная информация.

Я пробовал это:

DELETE FROM tablename
WHERE id IN (SELECT id
              FROM (SELECT id,
                             ROW_NUMBER() OVER (partition BY column1, column2, column3 ORDER BY id) AS rnum
                     FROM tablename) t
              WHERE t.rnum > 1);

предоставлено вики Postgres:

https://wiki.postgresql.org/wiki/Deleting_duplicates

Я бы использовал временную таблицу:

create table tab_temp as
select distinct f1, f2, f3, fn
  from tab;

Затем удалите tabи переименуйте tab_tempв tab.

Пришлось создать свою версию. Версия, написанная @a_horse_with_no_name, слишком медленная для моей таблицы (21 миллион строк). А @rapimo просто не удаляет дубли.

Вот что я использую в PostgreSQL 9.5

DELETE FROM your_table
WHERE ctid IN (
  SELECT unnest(array_remove(all_ctids, actid))
  FROM (
         SELECT
           min(b.ctid)     AS actid,
           array_agg(ctid) AS all_ctids
         FROM your_table b
         GROUP BY key1, key2, key3, key4
         HAVING count(*) > 1) c);

Другой подход (работает, только если у вас есть какое-либо уникальное поле, как idв вашей таблице), чтобы найти все уникальные идентификаторы по столбцам и удалить другие идентификаторы, которых нет в уникальном списке.

DELETE
FROM users
WHERE users.id NOT IN (SELECT DISTINCT ON (username, email) id FROM users);

Как насчет:

С УЧАСТИЕМ
  u КАК (ВЫБРАТЬ ОТЛИЧИЕ * ИЗ your_table),
  x КАК (УДАЛИТЬ ИЗ your_table)
ВСТАВИТЬ В your_table SELECT * FROM u;

Я был обеспокоен порядком выполнения, произойдет ли DELETE перед SELECT DISTINCT, но для меня это работает нормально. И имеет дополнительный бонус в виде отсутствия каких-либо знаний о структуре таблицы.

У меня это сработало. У меня была таблица, условия, содержащие повторяющиеся значения. Выполните запрос, чтобы заполнить временную таблицу всеми повторяющимися строками. Затем я запустил оператор удаления с этими идентификаторами во временной таблице. value - это столбец, содержащий дубликаты.

        CREATE TEMP TABLE dupids AS
        select id from (
                    select value, id, row_number() 
over (partition by value order by value) 
    as rownum from terms
                  ) tmp
                  where rownum >= 2;

delete from [table] where id in (select id from dupids)

Вот решение, использующее PARTITION BY:

DELETE FROM dups
USING (
  SELECT
    ctid,
    (ctid != min(ctid) OVER (PARTITION BY key_column1, key_column2 [...])) AS is_duplicate
  FROM dups 
) dups_find_duplicates
WHERE dups.ctid == dups_find_duplicates.ctid
AND dups_find_duplicates.is_duplicate