Наиболее распространенные современные методы сегментации изображений

11

Я немного читал о методах сегментации изображений и задавался вопросом о современных современных алгоритмах сегментации.

Какие современные методы сегментации являются «обязательными для чтения», т.е. в настоящее время наиболее часто используемыми в сообществе? С какими методами вы познакомились и нашли наиболее эффективные и полезные (и для какого применения)?

GamingX
источник
Куда ты так далеко заглянул?
Фонон
1
Я читал о нормализованных срезах, срезах графиков, минимальных срезах в дополнение к методам установки уровней и методам быстрого перехода.
GamingX
3
Хороший и короткий, с ноября 2012 года: Сегментация изображения: обзор .
Эмре
(редактировать, вдохновленный этим вопросом о thresolding, возможно, этот вопрос мог бы стать похожей ссылкой на методы сегментации)
Пенелопа

Ответы:

7

Я не знаю о многих методах сегментации, но я имел дело со структурами, которые предлагают «выбор» частей сегментации, которые могут быть дополнительно исследованы для получения удовлетворительной сегментации.

Надеюсь, кто-то еще может написать о каком-то другом современном методе сегментации, о котором я не знаю много.

Небольшое введение в то, почему хорошо иметь выбор или уровни сегментации для другого изображения: сегментация является плохо определенной проблемой. Основная истина не существует: желаемые результаты всегда зависят от требований и спецификаций пользователя. Хорошая цитата:

Даже для фиксированного изображения может существовать более одной «наилучшей» сегментации, поскольку критерии, определяющие качество сегментации, зависят от приложения. Это побудило нас сосредоточить наше исследование на методах разделения изображений, дающих «кусочки головоломки», которые можно использовать (...) для создания сегментации, удовлетворяющей конкретным требованиям пользователя

( П. Сойл: Ограниченная связность для иерархического разбиения и упрощения изображений (2008) )

Существуют иерархические структуры , иерархические разложения изображений, которые предлагают разделы изображений с различной сложностью. Эти структуры наиболее просто представлены в виде древовидных структур, где каждый узел представляет область на изображении. Идея со структурами:

  • листья структуры - это области тонкого разделения или чрезмерной сегментации изображения (например, пиксели, плоские зоны - соединенные области одинаковой интенсивности, водораздел )
  • ссылки в дереве представляют слияние или объединение (соседних) областей и образуют более сложную область и построены таким образом, чтобы наиболее вероятно создать области, соответствующие объектам (будем надеяться :))
  • сложность областей увеличивается вдоль каждой ветви от узлов к корню дерева
  • каждый уровень дерева (также каждый срез) представляет собой разбиение / сегментацию изображения (чем грубее, тем ближе он к корню)
  • корень дерева покрывает всю область изображения

Сегментация чем состоит из изучения регионов и предложили свои союзы, чтобы определить области в дереве или вырезать из дерева , соответствующего требуемой точности, или некоторые известные свойства об объекте интереса или других характеристик пользователей предопределенными.

Деревья (то есть иерархические разложения изображений) с такими свойствами:

В дополнение к ссылкам на уже предоставленные статьи, некоторые более конкретные и менее конкретные текущие статьи о таких методах сегментации:

(более практичным):

Пенелопа
источник
1
Для «современных» (и модных) алгоритмических семейств сегментации я бы добавил суперпиксели. Поиск в Google для этого термина действительно впечатляет.
Sansuiso
@sansuiso Ну, добавьте это как ответ :) Надеемся, мы сможем собрать несколько интересных современных подходов к сегментации в этом вопросе
Пенелопа
6

Как дополнение к ответу Пенелопы , два популярных семейства (и модных) алгоритмов.

суперпикселей

Очень популярное семейство алгоритмов, называемых суперпикселями, сейчас очень модно (есть даже несколько сессий суперпикселей в конференциях CV). Суперпиксели во многом похожи на чрезмерную сегментацию (например, то, что дает вам водораздел), поэтому требуется некоторая постобработка.

Суперпиксели можно рассматривать как небольшие однородные области изображений . Расстояние между пикселями оценивается как при двусторонней фильтрации, т. Е. Оно представляет собой смесь между их пространственным расстоянием и их визуальным сходством, которое уменьшается до 0, когда они близки и похожи, и до некоторого большего значения в противном случае.
Затем методы суперпикселей пробуют различные критерии для формирования небольших однородных областей по этой мере. Их много (основанных на графике, режиме поиска / кластеризации ...), поэтому я думаю, что лучше всего направить вас к этому техническому отчету .

(править :) В случае, если кто-то ищет опубликованную рецензируемую работу, эта статья принадлежит тем же авторам и охватывает тот же материал, что и технический отчет: Р. Аханта, А. Шаджи, К. Смит, А. Луччи, P. Fua, S. Susstrunk: суперпиксели SLIC по сравнению с современными суперпиксельными методами

Обратите внимание, как я написал первую версию ответа, визуально результаты очень похожи на то, что дает вам чрезмерная сегментация водораздела. Это подтверждают авторы технического отчета, которые включают водоразделы в соответствующую рабочую часть. Таким образом, вам также необходимо выполнить ту же пост-обработку: хотя суперпиксели могут быть удобными функциями для использования вместо пикселей, они все равно должны быть сгруппированы для формирования областей более высокого уровня, если вам нужно отслеживать / обнаруживать объекты.

Методы сегментации на основе графа

Другое популярное семейство алгоритмов происходит из анализа взаимосвязи пикселей, т. Е. Того, насколько близки пиксели по внешнему виду. Это дает основанное на теории графов семейство методов сегментации, таких как нормализованный разрез (J. Shi, J. Malik: нормализованные разрезы и сегментация изображения ) .

Вот интуиция для этого подхода: предположим, что ваши пиксели теперь являются точками (вершинами) многомерного графа.
В графе две вершины могут быть соединены ребром , вес которого обратно пропорционален некоторому расстоянию между вершинами. Как правило, весовая функция будет некоторой обратной величиной сочетания между их пространственным расстоянием и их визуальным сходством (как при двусторонней фильтрации).
Затем, учитывая этот график, алгоритмы сегментации могут искать лучшие кластеры вершин, то есть группы вершин, которые имеют небольшое расстояние внутри группы и большое расстояние вне группы .

При подходе нормализованного разреза предпринимаются некоторые дополнительные меры предосторожности, чтобы избежать смещения, обусловленного различными размерами совокупности кластеров. Кроме того, исследования графа можно избежать путем вычисления SVD матрицы весов, также известной как матрица связности в теории графов.

sansuiso
источник
Эй, это заняло у меня какое-то время, спасибо за ответ, но ... не могли бы вы хотя бы немного рассказать о двух упомянутых вами методах? Я не имею в виду объяснять их подробно здесь, но я был бы очень признателен за одно или два описательных предложения о каждом из них.
Пенелопа
Я расширил ответ. Хотя это немного запутанно, но лучше всего обратиться к техническому отчету, на который я ссылаюсь в ответе (должен признать, что я не из числа суперпикселей и все еще немного скептически отношусь к их интересам, хотя они действительно модно).
Sansuiso
Для методов сегментации на основе графиков, я думаю, эта работа предлагает один из лучших современных результатов: research.microsoft.com/pubs/167600/jmiv_bnm_final.pdf Это интуитивно понятный документ и код доступен.
Толга Бирдал
3

Я предполагаю, что для общего обзора современных алгоритмов сегментации нужно искать последние обзоры. Хороший общий обзор проблем представлен в книге Сзельского .

введите описание изображения здесь

beedot
источник