SQL WHERE ID IN (id1, id2,…, idn)

Мне нужно написать запрос, чтобы получить большой список идентификаторов.

Мы поддерживаем множество бэкэндов (MySQL, Firebird, SQLServer, Oracle, PostgreSQL ...), поэтому мне нужно написать стандартный SQL.

Размер набора идентификаторов может быть большим, запрос будет сгенерирован программно. Итак, каков наилучший подход?

1) Написание запроса с использованием IN

SELECT * FROM TABLE WHERE ID IN (id1, id2, ..., idn)

Мой вопрос здесь Что будет, если n очень большое? Кроме того, как насчет производительности?

2) Написание запроса с использованием ИЛИ

SELECT * FROM TABLE WHERE ID = id1 OR ID = id2 OR ... OR ID = idn

Я думаю, что у этого подхода нет предела n, но как насчет производительности, если n очень велико?

3) Написание программного решения:

  foreach (var id in myIdList)
  {
      var item = GetItemByQuery("SELECT * FROM TABLE WHERE ID = " + id);
      myObjectList.Add(item);
  }

У нас возникли некоторые проблемы с этим подходом, когда сервер баз данных запрашивается по сети. Обычно лучше сделать один запрос, который извлекает все результаты, а не много маленьких запросов. Может я не прав.

Каково было бы правильное решение этой проблемы?

Вариант 1 является единственным хорошим решением.

Зачем?

• Вариант 2 делает то же самое, но вы повторяете имя столбца много раз; Кроме того, механизм SQL не сразу знает, что вы хотите проверить, является ли значение одним из значений в фиксированном списке. Тем не менее, хороший движок SQL может оптимизировать его, чтобы иметь равную производительность, как с IN. Там все еще проблема читабельности, хотя ...

• Вариант 3 просто ужасен с точки зрения производительности. Он отправляет запрос каждый цикл и забивает базу данных небольшими запросами. Это также предотвращает использование каких-либо оптимизаций для «значение является одним из тех, что в данном списке»

Альтернативным подходом может быть использование другой таблицы, содержащей значения идентификатора. Эта другая таблица может затем быть внутренне объединена в вашей таблице, чтобы ограничить возвращаемые строки. Это будет иметь главное преимущество в том, что вам не понадобится динамический SQL (в лучшем случае проблематично), и у вас не будет бесконечно длинного предложения IN.

Вы бы обрезали эту другую таблицу, вставили большое количество строк, а затем, возможно, создали бы индекс, чтобы повысить производительность соединения. Это также позволит вам отделить накопление этих строк от извлечения данных, возможно, предоставив вам больше возможностей для настройки производительности.

Обновление : хотя вы можете использовать временную таблицу, я не имел в виду, что вы должны или даже должны. Постоянная таблица, используемая для временных данных, является распространенным решением с достоинствами, помимо описанных здесь.

То, что предложил Эд Гиннес, действительно повышает производительность, у меня был такой запрос

select * from table where id in (id1,id2.........long list)

что я сделал :

DECLARE @temp table(
            ID  int
            )
insert into @temp 
select * from dbo.fnSplitter('#idlist#')

Затем внутренний соединяется с основной таблицей:

select * from table inner join temp on temp.id = table.id

И производительность значительно улучшилась.

Первый вариант, безусловно, лучший вариант.

SELECT * FROM TABLE WHERE ID IN (id1, id2, ..., idn)

Однако, учитывая, что список идентификаторов очень велик , скажем, миллионы, вы должны учитывать размеры блоков, как показано ниже:

• Разделите список идентификаторов на куски с фиксированным числом, скажем, 100
• Размер куска следует выбирать исходя из объема памяти вашего сервера
• Предположим, у вас есть 10000 идентификаторов, у вас будет 10000/100 = 100 блоков
• Обрабатывать один блок за раз, что приводит к 100 вызовам базы данных для выбора

Почему вы должны разделить на куски?

Вы никогда не получите исключение переполнения памяти, которое очень часто встречается в таких сценариях, как ваш. У вас будет оптимизировано количество вызовов базы данных, что приведет к повышению производительности.

Это всегда работало как очарование для меня. Надеюсь, это сработает и для моих коллег-разработчиков :)

Выполнение команды SELECT * FROM MyTable where id in () для таблицы SQL Azure с 500 миллионами записей привело к времени ожидания> 7 минут!

Выполнение этого вместо этого немедленно возвратило результаты:

select b.id, a.* from MyTable a
join (values (250000), (2500001), (2600000)) as b(id)
ON a.id = b.id

Используйте соединение.

В большинстве систем баз данных, IN (val1, val2, …)а также серии ORоптимизированы для того же плана.

Третий способ - импортировать список значений во временную таблицу и объединить ее, что более эффективно в большинстве систем, если имеется много значений.

Вы можете прочитать эту статью:

• Передача параметров в MySQL: список IN против временной таблицы

Пример 3 был бы худшим из всех, потому что вы попали в базу данных бесчисленное количество раз без видимой причины.

Загрузка данных во временную таблицу и последующее объединение будут самыми быстрыми. После этого IN должен работать немного быстрее, чем группа OR.

Я думаю, что вы имеете в виду SqlServer, но в Oracle у вас есть жесткое ограничение на количество элементов IN, которые вы можете указать: 1000.