Наиболее распространенные современные методы сегментации изображений

Я немного читал о методах сегментации изображений и задавался вопросом о современных современных алгоритмах сегментации.

Какие современные методы сегментации являются «обязательными для чтения», т.е. в настоящее время наиболее часто используемыми в сообществе? С какими методами вы познакомились и нашли наиболее эффективные и полезные (и для какого применения)?

Я не знаю о многих методах сегментации, но я имел дело со структурами, которые предлагают «выбор» частей сегментации, которые могут быть дополнительно исследованы для получения удовлетворительной сегментации.

Надеюсь, кто-то еще может написать о каком-то другом современном методе сегментации, о котором я не знаю много.

Небольшое введение в то, почему хорошо иметь выбор или уровни сегментации для другого изображения: сегментация является плохо определенной проблемой. Основная истина не существует: желаемые результаты всегда зависят от требований и спецификаций пользователя. Хорошая цитата:

Даже для фиксированного изображения может существовать более одной «наилучшей» сегментации, поскольку критерии, определяющие качество сегментации, зависят от приложения. Это побудило нас сосредоточить наше исследование на методах разделения изображений, дающих «кусочки головоломки», которые можно использовать (...) для создания сегментации, удовлетворяющей конкретным требованиям пользователя

( П. Сойл: Ограниченная связность для иерархического разбиения и упрощения изображений (2008) )

Существуют иерархические структуры , иерархические разложения изображений, которые предлагают разделы изображений с различной сложностью. Эти структуры наиболее просто представлены в виде древовидных структур, где каждый узел представляет область на изображении. Идея со структурами:

• листья структуры - это области тонкого разделения или чрезмерной сегментации изображения (например, пиксели, плоские зоны - соединенные области одинаковой интенсивности, водораздел )
• ссылки в дереве представляют слияние или объединение (соседних) областей и образуют более сложную область и построены таким образом, чтобы наиболее вероятно создать области, соответствующие объектам (будем надеяться :))
• сложность областей увеличивается вдоль каждой ветви от узлов к корню дерева
• каждый уровень дерева (также каждый срез) представляет собой разбиение / сегментацию изображения (чем грубее, тем ближе он к корню)
• корень дерева покрывает всю область изображения

Сегментация чем состоит из изучения регионов и предложили свои союзы, чтобы определить области в дереве или вырезать из дерева , соответствующего требуемой точности, или некоторые известные свойства об объекте интереса или других характеристик пользователей предопределенными.

Деревья (то есть иерархические разложения изображений) с такими свойствами:

• $\alpha$ -trees
• $(\omega)$ -дерево
• Двоичные деревья разделов (нацелены на сегментацию и обнаружение объектов )

В дополнение к ссылкам на уже предоставленные статьи, некоторые более конкретные и менее конкретные текущие статьи о таких методах сегментации:

• Кусти, Дж., Наджман, Л .: Инкрементальный алгоритм для иерархически минимальных остовных лесов и значимость рубок водораздела (2011)
• Soille, P., Grazzini, J .: Ограниченная связность и переходные регионы (2009)

(более практичным):

• Serna, A., Marcotegui, B .: Реконструкция контролируемых атрибутов и адаптивная математическая морфология (2013)
• Merciol, F., Lefèvre, S .: быстрая сегментация изображения и видео на основе многомасштабного представления альфа-дерева (2012)

Как дополнение к ответу Пенелопы , два популярных семейства (и модных) алгоритмов.

суперпикселей

Очень популярное семейство алгоритмов, называемых суперпикселями, сейчас очень модно (есть даже несколько сессий суперпикселей в конференциях CV). Суперпиксели во многом похожи на чрезмерную сегментацию (например, то, что дает вам водораздел), поэтому требуется некоторая постобработка.

Суперпиксели можно рассматривать как небольшие однородные области изображений . Расстояние между пикселями оценивается как при двусторонней фильтрации, т. Е. Оно представляет собой смесь между их пространственным расстоянием и их визуальным сходством, которое уменьшается до 0, когда они близки и похожи, и до некоторого большего значения в противном случае.
Затем методы суперпикселей пробуют различные критерии для формирования небольших однородных областей по этой мере. Их много (основанных на графике, режиме поиска / кластеризации ...), поэтому я думаю, что лучше всего направить вас к этому техническому отчету .

(править :) В случае, если кто-то ищет опубликованную рецензируемую работу, эта статья принадлежит тем же авторам и охватывает тот же материал, что и технический отчет: Р. Аханта, А. Шаджи, К. Смит, А. Луччи, P. Fua, S. Susstrunk: суперпиксели SLIC по сравнению с современными суперпиксельными методами

Обратите внимание, как я написал первую версию ответа, визуально результаты очень похожи на то, что дает вам чрезмерная сегментация водораздела. Это подтверждают авторы технического отчета, которые включают водоразделы в соответствующую рабочую часть. Таким образом, вам также необходимо выполнить ту же пост-обработку: хотя суперпиксели могут быть удобными функциями для использования вместо пикселей, они все равно должны быть сгруппированы для формирования областей более высокого уровня, если вам нужно отслеживать / обнаруживать объекты.

Методы сегментации на основе графа

Другое популярное семейство алгоритмов происходит из анализа взаимосвязи пикселей, т. Е. Того, насколько близки пиксели по внешнему виду. Это дает основанное на теории графов семейство методов сегментации, таких как нормализованный разрез (J. Shi, J. Malik: нормализованные разрезы и сегментация изображения ) .

Вот интуиция для этого подхода: предположим, что ваши пиксели теперь являются точками (вершинами) многомерного графа.
В графе две вершины могут быть соединены ребром , вес которого обратно пропорционален некоторому расстоянию между вершинами. Как правило, весовая функция будет некоторой обратной величиной сочетания между их пространственным расстоянием и их визуальным сходством (как при двусторонней фильтрации).
Затем, учитывая этот график, алгоритмы сегментации могут искать лучшие кластеры вершин, то есть группы вершин, которые имеют небольшое расстояние внутри группы и большое расстояние вне группы .

При подходе нормализованного разреза предпринимаются некоторые дополнительные меры предосторожности, чтобы избежать смещения, обусловленного различными размерами совокупности кластеров. Кроме того, исследования графа можно избежать путем вычисления SVD матрицы весов, также известной как матрица связности в теории графов.

Я предполагаю, что для общего обзора современных алгоритмов сегментации нужно искать последние обзоры. Хороший общий обзор проблем представлен в книге Сзельского .