После моего предыдущего вопроса о поиске пальцев в каждой лапе я начал загружать другие измерения, чтобы посмотреть, как они будут выдерживать. К сожалению, я быстро столкнулся с проблемой с одним из предыдущих шагов: распознавание лап.
Видите ли, мое доказательство концепции в основном измеряло максимальное давление каждого датчика с течением времени и начинало искать сумму в каждом ряду, пока не обнаружит на этом! = 0.0. Затем он делает то же самое для столбцов и, как только он находит более 2 строк с этим, снова становится равным нулю. Он хранит минимальные и максимальные значения строки и столбца в некотором индексе.
Как вы можете видеть на рисунке, это работает довольно хорошо в большинстве случаев. Однако у этого подхода есть много недостатков (кроме очень примитивного):
У людей могут быть «полые ноги», что означает наличие нескольких пустых рядов внутри самого отпечатка. Так как я боялся, что это может произойти и с (большими) собаками, я ждал по крайней мере 2 или 3 пустых ряда, прежде чем отрезать лапу.
Это создает проблему, если другой контакт сделан в другом столбце, прежде чем он достигнет нескольких пустых строк, таким образом расширяя область. Я полагаю, я мог бы сравнить столбцы и посмотреть, превышают ли они определенное значение, они должны быть отдельными лапами.
Проблема усугубляется, когда собака очень маленькая или ходит в более высоком темпе. То, что происходит, - то, что пальцы ноги передней лапы все еще вступают в контакт, в то время как пальцы ноги задней лапы только начинают вступать в контакт в той же самой области как передняя лапа!
С моим простым сценарием он не сможет разделить эти два, потому что он должен будет определить, какие кадры этой области принадлежат какой лапе, в то время как в настоящее время мне нужно будет только посмотреть максимальные значения по всем кадрам.
Примеры того, где это начинает идти не так, как надо:
Так что теперь я ищу лучший способ распознать и отделить лапы (после чего я подойду к решению, какая это лапа!).
Обновить:
Я пытался реализовать ответ Джо (потрясающе!), Но у меня возникают трудности с извлечением фактических данных лапы из моих файлов.
Coded_paws показывает мне все различные лапы при применении к изображению максимального давления (см. Выше). Однако решение распространяется на каждый кадр (для разделения перекрывающихся лап) и устанавливает четыре атрибута Rectangle, такие как координаты или высота / ширина.
Я не могу понять, как взять эти атрибуты и сохранить их в некоторой переменной, которую я могу применить к данным измерений. Так как мне нужно знать для каждой лапы, каково ее местоположение, в каких кадрах, и связать ее с какой лапой (перед / зад, лево / право).
Итак, как я могу использовать атрибуты Rectangles для извлечения этих значений для каждой лапы?
У меня есть измерения, которые я использовал в настройке вопроса в моей общедоступной папке Dropbox ( пример 1 , пример 2 , пример 3 ). Для всех, кто интересуется, я также создал блог, чтобы держать вас в курсе :-)
источник
Ответы:
Если вы просто хотите (пол) смежные областей, есть уже простая реализация в Python: SciPy «S ndimage.morphology модуль. Это довольно распространенная операция морфологии изображения .
По сути, у вас есть 5 шагов:
Размыть входные данные немного, чтобы убедиться, что лапы имеют непрерывный след. (Было бы более эффективно просто использовать большее ядро (
structure
kwarg для различныхscipy.ndimage.morphology
функций), но по некоторым причинам это не совсем работает ...)Пороговое значение массива, чтобы у вас был логический массив мест, где давление превышает какое-то пороговое значение (то есть
thresh = data > value
)Заполните все внутренние отверстия, чтобы у вас были более чистые области (
filled = sp.ndimage.morphology.binary_fill_holes(thresh)
)Найдите отдельные смежные области (
coded_paws, num_paws = sp.ndimage.label(filled)
). Это возвращает массив с регионами, закодированными по номеру (каждый регион является непрерывной областью уникального целого числа (от 1 до количества лап) с нулями повсюду)).Изолируйте смежные области, используя
data_slices = sp.ndimage.find_objects(coded_paws)
. Это возвращает список кортежейslice
объектов, так что вы можете получить область данных для каждой лапы с помощью[data[x] for x in data_slices]
. Вместо этого мы нарисуем прямоугольник, основанный на этих срезах, что требует немного больше работы.Две приведенные ниже анимации показывают пример данных «Перекрывающиеся лапы» и «Сгруппированные лапы». Этот метод, кажется, работает отлично. (И сколько бы это ни стоило, это работает намного более гладко, чем изображения GIF ниже на моей машине, поэтому алгоритм обнаружения лапы довольно быстрый ...)
Вот полный пример (теперь с гораздо более подробными объяснениями). Подавляющее большинство из них читает входные данные и создает анимацию. Фактическое обнаружение лапы составляет всего 5 строк кода.
Обновление: что касается определения того, какая лапа в какое время контактирует с датчиком, самое простое решение - просто выполнить тот же анализ, но использовать все данные одновременно. (т.е. складывать входные данные в трехмерный массив и работать с ним вместо отдельных временных периодов.) Поскольку функции SciPy ndimage предназначены для работы с n-мерными массивами, нам не нужно изменять исходную функцию поиска лапы вообще.
источник
convert *.png output.gif
. Я, конечно, раньше заставил imagemagick поставить свою машину на колени, хотя для этого примера она работала нормально. В прошлом я использовал этот сценарий: svn.effbot.python-hosting.com/pil/Scripts/gifmaker.py, чтобы напрямую писать анимированный GIF из Python без сохранения отдельных кадров. Надеюсь, это поможет! Я выложу пример на упомянутый вопрос @unutbu.bbox_inches='tight'
вplt.savefig
, другой нетерпение :)Я не эксперт в обнаружении изображений, и я не знаю Python, но я сделаю это ...
Чтобы обнаружить отдельные лапы, вы должны сначала выбрать все с давлением, превышающим некоторый небольшой порог, очень близким к отсутствию давления вообще. Каждый пиксель / точка, которая выше этого, должна быть помечена. Затем каждый пиксель, смежный со всеми «помеченными» пикселями, становится маркированным, и этот процесс повторяется несколько раз. Массы, которые полностью связаны, будут сформированы, поэтому у вас есть различные объекты. Затем каждый «объект» имеет минимальное и максимальное значения x и y, поэтому ограничивающие рамки могут быть аккуратно упакованы вокруг них.
псевдокод:
(MARK) ALL PIXELS ABOVE (0.5)
(MARK) ALL PIXELS (ADJACENT) TO (MARK) PIXELS
REPEAT (STEP 2) (5) TIMES
SEPARATE EACH TOTALLY CONNECTED MASS INTO A SINGLE OBJECT
MARK THE EDGES OF EACH OBJECT, AND CUT APART TO FORM SLICES.
Это должно сделать.
источник
Примечание: я говорю пиксель, но это могут быть регионы, использующие среднее значение пикселей. Оптимизация - это еще одна проблема ...
Похоже, вам нужно проанализировать функцию (давление во времени) для каждого пикселя и определить, где функция поворачивается (когда она изменяется> X в другом направлении, это считается поворотом к ошибкам счетчика).
Если вы знаете, в какие кадры он поворачивается, вы будете знать, в каком кадре давление было наиболее сильным, и вы будете знать, где оно было наименее жестким между двумя лапами. Теоретически, вы бы знали два кадра, в которых лапы давили наиболее сильно, и могли бы рассчитать среднее значение этих интервалов.
Это тот же тур, что и раньше, знание того, когда каждая лапа оказывает наибольшее давление, помогает вам принять решение.
источник