Поиск пустых столбцов таблицы в PostgreSQL

17

Какой запрос будет возвращать имя столбцов таблицы, где все строки имеют значение NULL?

Себ
источник
Вы имеете в виду конкретную таблицу или все таблицы в схеме?
Джек Дуглас
1
Зачем вам это нужно? Похоже, у вас слишком много столбцов / таблиц, и вы должны переосмыслить свой дизайн.
Эевар

Ответы:

13

Testbed:

create role stack;
create schema authorization stack;
set role stack;

create table my_table as 
select generate_series(0,9) as id, 1 as val1, null::integer as val2;

create table my_table2 as 
select generate_series(0,9) as id, 1 as val1, null::integer as val2, 3 as val3;

функция:

create function has_nonnulls(p_schema in text, p_table in text, p_column in text)
                returns boolean language plpgsql as $$
declare 
  b boolean;
begin
  execute 'select exists(select * from '||
          p_table||' where '||p_column||' is not null)' into b;
  return b;
end;$$;

запрос:

select table_schema, table_name, column_name, 
       has_nonnulls(table_schema, table_name, column_name)
from information_schema.columns
where table_schema='stack';

результат:

 table_schema | table_name | column_name | has_nonnulls
--------------+------------+-------------+--------------
 stack        | my_table   | id          | t
 stack        | my_table   | val1        | t
 stack        | my_table   | val2        | f
 stack        | my_table2  | id          | t
 stack        | my_table2  | val1        | t
 stack        | my_table2  | val2        | f
 stack        | my_table2  | val3        | t
(7 rows)

Кроме того, вы можете получить приблизительный ответ, запросив каталог - если он null_fracравен нулю, это означает, что нет нулей, но его следует дважды проверить по «реальным» данным:

select tablename, attname, null_frac from pg_stats where schemaname='stack';

 tablename | attname | null_frac
-----------+---------+-----------
 my_table  | id      |         0
 my_table  | val1    |         0
 my_table  | val2    |         1
 my_table2 | id      |         0
 my_table2 | val1    |         0
 my_table2 | val2    |         1
 my_table2 | val3    |         0
(7 rows)
Джек Дуглас
источник
1
Это старый вопрос, но люди, которые используют пространственные расширения (postgis), должны заметить, что пустые пространственные столбцы не появляются, pg_statsесли они пустые при создании таблицы. Я узнал об этом сегодня, когда занимался уборкой. Я обнаружил , что некоторая историческая aspatial таблица была импортирована с помощью ogr2ogr. если в импортируемых данных нет пространственного столбца, ogr2ogrсоздается полный геометрический столбец <NULL>. У My pg_statsнет столбцов геометрии из импортированных пространственных таблиц (у него есть все остальные столбцы для этих таблиц). Довольно странно, подумал я.
GT.
6

В Postgresql вы можете получить данные непосредственно из статистики:

vacuum analyze; -- if needed

select schemaname, tablename, attname
from pg_stats
where most_common_vals is null
and most_common_freqs is null
and histogram_bounds is null
and correlation is null
and null_frac = 1;

Вы можете получить несколько ложных срабатываний, так что перепроверка в порядке после поиска кандидатов.

Дени де Бернарди
источник
Вам нужны другие условия, кроме null_frac=1?
Джек Дуглас
Я не уверен. Предположительно, null_frac является вещественным, поэтому в некоторых нечетных случаях он может округляться до 1. Но даже с 1 из 10 тыс. Строк это может привести к чему-то подходящему.
Дени де Бернарди
1

Я покажу вам свое решение в T-SQL, работающем для SQL Server 2008. Я не знаком с PostgreSQL, но я надеюсь, что вы найдете некоторые рекомендации в моем решении.

-- create test table
IF object_id ('dbo.TestTable') is not null
    DROP table testTable
go
create table testTable (
    id int identity primary key clustered,
    nullColumn varchar(100) NULL,
    notNullColumn varchar(100) not null,
    combinedColumn varchar(100) NULL,
    testTime datetime default getdate()
);
go

-- insert test data:
INSERT INTO testTable(nullColumn, notNullColumn, combinedColumn)
SELECT NULL, 'Test', 'Combination'
from sys.objects
union all
SELECT NULL, 'Test2', NULL
from sys.objects

select *
from testTable

-- FIXED SCRIPT FOR KNOWN TABLE (known structure) - find all completely NULL columns
select sum(datalength(id)) as SumColLength,
    'id' as ColumnName
from dbo.testTable
UNION ALL
select sum(datalength(nullColumn)) as SumColLength,
    'nullColumn' as ColumnName
from dbo.testTable
UNION ALL
select sum(datalength(notNullColumn)) as SumColLength,
    'notNullColumn' as ColumnName
from dbo.testTable
UNION ALL
select sum(datalength(combinedColumn)) as SumColLength,
    'combinedColumn' as ColumnName
from dbo.testTable
UNION ALL
select sum(datalength(testTime)) as SumColLength,
    'testTime' as ColumnName
from dbo.testTable

-- DYNAMIC SCRIPT (unknown structure) - find all completely NULL columns
declare @sql varchar(max) = '', @tableName sysname = 'testTable';

SELECT @sql +=
        'select sum(datalength(' + c.COLUMN_NAME + ')) as SumColLength,
    ''' + c.COLUMN_NAME + ''' as ColumnName
from ' + c.TABLE_SCHEMA + '.' + c.TABLE_NAME --as StatementToExecute
+ '
UNION ALL
'
FROM INFORMATION_SCHEMA.COLUMNS c
WHERE c.TABLE_NAME = @tableName;

SET @sql = left(@sql, len(@sql)-11)
print @sql;
exec (@sql);

Короче говоря, я создал тестовую таблицу с 5 столбцами, ID и testTime, сгенерированные с помощью функции identity и getdate (), а 3 столбца varchar представляют интерес. Один будет иметь только значения NULL, один не будет иметь значений NULL, другой будет объединенным столбцом. Окончательный результат выполнения сценария будет заключаться в том, что сценарий будет сообщать столбцу nullColumn, что все строки имеют значение NULL.

Идея заключалась в том, чтобы вычислить функцию DATALENGTH для каждого столбца (вычисляет количество байтов для данного выражения). Поэтому я вычислил значение DATALENGTH для каждой строки каждого столбца и сделал СУММУ для каждого столбца. Если значение SUM на столбец равно NULL, то полный столбец содержит строки NULL, в противном случае внутри есть некоторые данные.

Теперь вам нужно найти перевод для PostgreSQL, и, надеюсь, коллега сможет помочь вам в этом. Или, может быть, есть хороший системный вид, который покажет, насколько я глуп, чтобы заново изобрести колесо :-).

Мэриан
источник
1

Вам необходимо запросить в информационном каталоге такую ​​информацию:

SELECT column_name FROM information_schema.columns WHERE table_name='your_table'

дает вам соответствующие таблицы для ваших столбцов.

У меня нет установки postgres, но все остальное должно быть простым

   loop over the results of the above query and foreach result
        send a COUNT(*) to the table
        if the count is null, give back the column,
                 else ignore it
   end foreach
DrColossos
источник
Это работает, но это итеративный подход :-). Я предпочитаю подход, основанный на множестве.
Мариан
0

После объединения из нескольких ресурсов я придумал эту функцию и запросил поиск всех пустых столбцов во всех таблицах базы данных.

CREATE OR REPLACE FUNCTION public.isEmptyColumn(IN table_name varchar, IN column_name varchar)
RETURNS boolean AS $$
declare 
    count integer;
BEGIN
    execute FORMAT('SELECT COUNT(*) from %s WHERE %s IS NOT NULL', table_name, quote_ident(column_name)) into count;
    RETURN (count = 0);
END; $$
LANGUAGE PLPGSQL; 


SELECT s.table_name, s.column_name
FROM information_schema.columns s
WHERE (s.table_schema LIKE 'public') AND
      (s.table_name NOT LIKE 'pg_%') AND
      (public.isEmptyColumn(s.table_name, s.column_name))

Наслаждаться :)

obenda
источник