Список возможных функций изображения для контентного поиска изображений

15

Я пытаюсь найти список возможных функций изображения, таких как цвет, ориентированные края и т. Д., Для измерения их пригодности в случае обнаружения одинаковых / похожих объектов на изображениях. Кто-нибудь знает такой список или хотя бы какие-то особенности?

JStr
источник
Это не относится к теме, но может ли CBIR извлечь функцию из набора данных Open Image? Можно ли извлечь особенность изображения, даже если оно не сохранено на локальном диске?
Quix0te

Ответы:

25

Само поле слишком обширно. Поэтому я сомневаюсь, что у вас может быть полный список здесь. Тем не менее, MPEG 7 является одним из основных усилий в стандартизации этой области. То, что здесь включено, не является универсальным - но, по крайней мере, самым основным.

Вот некоторые ключевые функции, которые определены в MPEG7 (я действительно могу говорить только о визуальных дескрипторах, но другие не видят это в полном объеме).

Существует 4 категории визуальных дескрипторов:

1. Цветовые дескрипторы, которые включают в себя:
Доминирующий цвет,
Цветовая компоновка (по существу, Основной цвет на блочной основе),
Масштабируемый Цвет (по существу, Цветовая гистограмма),
Структура Цвета (по существу, локальная Цветовая гистограмма)
и Цветовые пространства, чтобы сделать вещи совместимыми.

2. Текстовые дескрипторы (см. Также это ), который включает в себя:
Дескриптор просмотра текстуры - который определяет гранулярность / грубость, регулярность и направление. Дескриптор однородной текстуры - основан на банке фильтров Габора. и
краевая гистограмма

3. Дескрипторы формы, которые включают:
Дескрипторы на основе области - это скалярные атрибуты рассматриваемой формы, такие как площадь, эксцентриситеты и т. Д. На
основе контура, который фиксирует фактические характерные особенности формы и
3D-дескрипторы

4. Дескрипторы движения для
движения видеокамеры (параметры движения трехмерной камеры)
Траектория движения (объектов в сцене) [например, извлеченные алгоритмами отслеживания] Параметрическое движение (например, векторы движения, которые позволяют описать движение сцены. Но это может быть более сложными моделями на различных объектах).
Деятельность, которая больше семантического дескриптора.


MPEG 7 не определяет «Как они извлекаются» - он только определяет, что они означают и как их представлять / хранить. Таким образом, существуют исследования о том, как их добывать и использовать.

Вот еще одна хорошая статья, которая дает представление об этой теме.

Но да, многие из этих функций довольно просты и, возможно, в результате дополнительных исследований будет создан более сложный (и сложный) набор функций.

Дипан Мехта
источник
8

Хорошо, я думаю, что нашел подходящий список, просто выполнив поиск немного больше. Есть статья Deselaers и др. какие швы должны быть тем, что я искал!

JStr
источник
6

Существует также книга, которая объединяет ряд документов, связанных с этой темой. Это называется Принципы визуального поиска информации .

Geerten
источник
Google о книгах не дает много положительных отзывов. На самом деле больше жалоб, чем положительных. Вы все еще думаете, что это хороший справочник, и если да, может быть, вы могли бы сказать нам, когда он был полезен для вас? :)
Пенелопа
Основная причина, по которой я это сделал, заключается не в том, что я использовал это много, но мой учитель рекомендовал это (и я ценю его мнение). Гугл об этом показывает, что это действительно пачка бумаг, а не книга. Это также показывает его довольно старую, но все же одну из немногих книг по этой теме. Поэтому я думаю, что мой ответ все еще уместен.
Гертен
3

@Dipan Mehta описал дескрипторы функций, которые можно использовать. Позвольте мне теперь попытаться покрыть другую сторону медали, упомянув некоторые методы обнаружения признаков, которые извлекают функции, полезные для CBIR .

Моя ссылка для моего CBIR исследования были работы по Sivic, Зиссерман и Нистера, Stewenius . Есть более современные статьи этих авторов, но в них представлены все соответствующие идеи.

Они утверждают, что для реализации эффективных методов CBIR следует использовать функции дополнительных свойств :

  • Адаптированные к форме области - как правило, центрированы в угловых элементах

    примеры: углы Харриса, многомасштабный Харрис, DoG (разница с гауссианами - но также реагирует на грани!)

  • Предельно стабильные регионы -правило, сосредоточены на шарикообразных функции

    примеры: MSER (максимально стабильные внешние области), DoG

Удивительно, но Википедия также предлагает хорошую классификацию типов объектов (детекторов) с указанием типов областей интереса, которые они обнаруживают для большинства текущих широко используемых функций:

  • краевые детекторы
  • детекторы углов
  • детекторы BLOB-объектов
  • детекторы гребней

Большинство текущих статей, которые я читал, клянутся, что дескрипторы SIFT (масштабно-инвариантное преобразование объектов) качаются и достаточно надежны для использования в сочетании с выбранными детекторами признаков. Рекомендации включают в себя:

  • уже предоставленные ссылки
  • Миколайчик, Шмид занимается сравнением локальных дескрипторов
  • Даль оценивает комбинации детектор-дескриптор

Заметка! что эти документы не имеют прямого отношения к CBIR, но используются в качестве ссылок в работах, связанных с CBIR .

Наконец, стоит упомянуть, что успешные методы CBIR зависят не только от используемых детекторов функций и дескрипторов , но также:

  • эффективная структура поиска (количественная оценка визуальных особенностей)
  • способ создания дескрипторов изображений - либо на основе общих визуальных особенностей (локальных дескрипторов), либо путем сравнения глобальных дескрипторов изображений (это очень новая идея, поэтому в настоящее время нет ссылок)
  • мера расстояния между дескрипторами изображения

Кроме того, я уже ответил на некоторые вопросы, касающиеся CBIR для DSP и stackoverflow , оба сопровождаются ссылками и пояснениями, и я думаю, что они могут быть актуальны, поэтому вы можете посмотреть:

  • DSP: 1
  • переполнение стека: 1 , 2
Пенелопа
источник