Различие между пиксельной и объектной классификацией?

14

Я изо всех сил пытаюсь четко понять различие между классификацией на основе пикселей и объектами в области дистанционного зондирования, и я надеюсь, что кто-то из этого сообщества сможет обеспечить понимание.

Основываясь на информации, которую я имею до сих пор, мое текущее понимание имеет следующие черты:

Классификация на основе пикселей : классификация выполняется на уровне каждого пикселя с использованием только спектральной информации, доступной для этого отдельного пикселя (т.е. значения пикселей в пределах местоположения игнорируются). В этом смысле каждый пиксель будет представлять обучающий пример для алгоритма классификации, и этот обучающий пример будет иметь форму n-мерного вектора, где n - число спектральных полос в данных изображения. Соответственно, обученный алгоритм классификации будет выводить прогноз класса для каждого отдельного пикселя в изображении.

Классификация на основе объектов. Классификация выполняется по локализованной группе пикселей с учетом пространственных свойств каждого пикселя, поскольку они связаны друг с другом. В этом смысле обучающий пример для алгоритма классификации будет состоять из группы пикселей, и обученный алгоритм классификации будет, соответственно, выводить прогноз класса для пикселей на групповой основе. Для грубого примера изображение может быть разделено на n сегментов одинакового размера, и тогда каждому сегменту будет присвоен класс (т. Е. Содержит объект / не содержит объект).

Является ли это мышление точным относительно значения этих терминов, или я что-то упустил?

RDG
источник

Ответы:

9

Ваше понимание в целом верно, однако в описании классификации на основе объектов есть опасности - термин «объект» относится к группе пикселей, а не к тому, содержит ли он данный объект или нет.
Кроме того, главная цель в классификации на основе объектов состоит не в том, чтобы иметь сегменты одинакового размера, а в том, чтобы «нарезать» / сегментировать изображение до внутренне однородных фрагментов различного размера. Наконец, обучающим примером для объектной классификации обычно будет один или несколько фрагментов, созданных в сегментации изображения.

В целом, выше всего лишь незначительные изменения вашего описания.

Теперь перейдем к центральной части - когда применять каждый метод и как можно объединить их сильные стороны.

Миккель Лидхольм Расмуссен
источник
Спасибо, что действительно помогло уточнить. У меня было подозрение, что я не совсем понял тонкости объектной классификации! Интересно, что вы упомянули о возможности гибридных подходов, я еще не думал так далеко. Могу ли я спросить, если бы я использовал метод скользящего окна для обнаружения и классификации объектов, существует ли технический термин для такого подхода, применяемого в области дистанционного зондирования?
RDG
1
да, это называется сверток. Смотри мой ответ.
Джон Пауэлл
На мой взгляд, в пиксельной классификации нулевая сила. Существуют интересные рабочие процессы, включающие свертки и регрессию для прогнозирования ограничивающих рамок и местоположения, но пиксельная классификация сама по себе не имеет значения, imho.
Джон Пауэлл
1
@ JohnPowellakaBarça - некоторые пиксельные подходы заслуживают внимания при рассмотрении многовременных приложений, где классификация больше ориентирована на меняющиеся области, чем на традиционный одиночный временной шаг.
Миккель Лидхольм Расмуссен
1
Конечно, да, достаточно справедливо. Хотя, возможно, региональные подходы, векторизованные, а затем сравниваемые во времени, могут дать потенциально более глубокое понимание, но ваша точка зрения хорошо принята.
Джон Пауэлл
12

Что касается классификации на основе пикселей, вы на месте. Каждый пиксель является n-мерным вектором и будет назначен некоторому классу в соответствии с некоторой метрикой, будь то использование машин опорных векторов, MLE, некоторый классификатор knn и т. Д.

Что касается региональных классификаторов, тем не менее, за последние несколько лет произошли огромные изменения, обусловленные сочетанием графических процессоров, огромных объемов данных, облака и широкой доступности алгоритмов благодаря росту с открытым исходным кодом (облегчается). по github). Одно из самых больших событий в компьютерном видении / классификации было в сверточных нейронных сетях (CNNs), Сверточные слои "изучают" объекты, которые могут быть основаны на цвете, как с традиционными пиксельными классификаторами, но также создают детекторы границ и все виды других экстракторов признаков, которые могут существовать в области пикселей (отсюда и сверточная часть), которую вы никогда не сможет извлечь из классификации на основе пикселей. Это означает, что они с меньшей вероятностью ошибочно классифицируют пиксель в середине области пикселей другого типа - если вы когда-либо проводили классификацию и получали лед в середине Амазонки, вы поймете эту проблему.

Затем вы применяете полностью подключенную нейронную сеть к «особенностям», извлеченным из сверток, чтобы фактически выполнить классификацию. Одним из других больших преимуществ CNN является то, что они не зависят от масштаба и поворота, так как между слоями свертки и уровнем классификации обычно имеются промежуточные слои, которые обобщают элементы, используя объединение и выпадение, чтобы избежать переобучения и помочь в решении проблем, связанных с этим. масштаб и ориентация.

Существует множество ресурсов по сверточным нейронным сетям, хотя лучшим должен быть класс Standord от Андрея Карпати , который является одним из пионеров в этой области, и вся серия лекций доступна на youtube .

Конечно, существуют другие способы борьбы с классификацией на основе пикселей и областей, но в настоящее время это современный подход, имеющий множество применений помимо классификации по дистанционному зондированию, например, машинный перевод и автомобили с автоматическим управлением.

Вот еще один пример региональной классификации с использованием Open Street Map для тегированных обучающих данных, включая инструкции по настройке TensorFlow и работе на AWS.

Вот пример использования Google Earth Engine классификатора, основанного на обнаружении краев, в данном случае для кругового орошения - с использованием не более чем гауссовского ядра и сверток, но опять-таки, демонстрирующих силу подходов, основанных на области / крае.

введите описание изображения здесь

В то время как превосходство объекта над пиксельной классификацией достаточно широко признано, здесь есть интересная статья в Письмах Дистанционного зондирования, оценивающая эффективность объектной классификации .

Наконец, забавный пример, просто чтобы показать, что даже с региональными / сверточными классификаторами, компьютерное зрение все еще действительно трудно - к счастью, самые умные люди в Google, Facebook и т. Д. Работают над алгоритмами, чтобы иметь возможность определить разницу между собаки, кошки и разные породы собак и кошек. Так что те, кто интересуется дистанционным зондированием, могут спать спокойно ночью: D

введите описание изображения здесь

Джон Пауэлл
источник
0

Очень простой ответ таков:

Если вы используете только спектральную информацию (интенсивность пикселей) в качестве обучающего набора, вы выполняете базовую классификацию пикселей.

Если вы используете как пространственную (соседние пиксели), так и спектральную информацию в качестве обучающего набора, вы выполняете базовую классификацию объектов (используя алгоритм на основе сегментации, например, DBScan). В Computer Vision этот DBScan используется для извлечения Superpixel.

Примечание: вы можете использовать спектральную информацию в любом смысле (размер, форма, контекст / текстура) для извлечения объектов.

Вы можете использовать разные подходы для извлечения объектов с использованием спектральной информации.

Основной вопрос заключается в том, как найти наиболее подходящий подход для извлечения признаков и применить эффективный алгоритм (обнаружение границ, спектральная сегментация, кластеризация) для поставленной задачи для извлечения информации из спектральной информации.

Можно подумать о матрице свертки, чтобы провести хороший анализ как спектральной, так и пространственной информации для создания обучающего набора.

Справка: Мои знания после более чем трехлетнего опыта работы в области дистанционного зондирования и ГИС-домена.

Morteza
источник