Дешевое решение для съемки с несколькими (> 2) синхронизированными камерами (genlock или LANC?)

10

Я занимаюсь исследованием природных явлений в компьютерном зрении и ищу метод съемки видео с разных ракурсов. Вероятно, объект будет двигаться очень беспорядочно, поэтому любые проблемы с синхронизацией между камерами будут проблемой. Вообразите пламя или текущую воду, трудно сказать точно, но это должны быть микросекунды, а не миллисекунды. Я хочу использовать до 8 камер, в идеале ограниченных бюджетом, а не возможностью синхронизировать их.

Камеры, которыми владеет отдел, являются зеркальными фотокамерами Canon, однако после долгих поисков их синхронизация кажется невозможной, особенно с таким уровнем точности. Поэтому, если я найду доступные камеры, которые можно будет легко синхронизировать, мы могли бы купить некоторые из них.

Мне кажется, что доступны две опции: genlock и LANC. Из того, что я могу сказать, я не собираюсь заполучить ни одну камеру, способную генерировать генлок, скажем, за £ 5000. Даже если забыть о сигнале genlock, это слишком много, чтобы мы могли его себе позволить, не говоря уже о 8. Функция Sony / Canon LANC кажется более осуществимой, однако я не могу найти надежную информацию о том, как ее настроить или какие камеры на самом деле поддерживают это, которые доступны сейчас. Я продолжаю заглядывать в тупики, пытаясь разобраться в этом, и это не помогает, что в основном все, кто делают это, пытаются снимать только в стерео. Кто-нибудь может посоветовать мне, какие настройки нам понадобятся и сколько это будет стоить? Или если есть какое-то другое решение для синхронизации, которое кто-то хотел бы порекомендовать? Легкость и стоимость - самые большие факторы!

Спасибо! И я надеюсь, что это не похоже на вопрос о рекомендациях по покупкам. Хотя я действительно хочу ходить по магазинам, мне действительно нужна помощь в понимании методов синхронизации, и я разберусь, что купить после этого!

Эндрю Чинери
источник
Если вы беспокоитесь о разнице в 8 миллисекунд, не думаете ли вы, что вам нужно арендовать камеры, которые снимают в ультра-сломо, например, 200 кадров в секунду? GEN замок, вероятно, будет включен в эти камеры.
В идеале я бы хотел иметь возможность арендовать такие вещи, но опять же стоимость непомерно высока. Ничто на потребительском уровне (что я обнаружил) не имеет genlock, даже камеры с высоким fps. И даже «высокий fps» все еще далеко не достаточно высок, чтобы обеспечить синхронизацию, похожую на генлок, только с хлопушкой. Мне все еще очень трудно даже отследить, есть ли у камеры генлок или нет, похоже, что индустрия это понимает, и я совершенно об этом не знаю. В любом случае, спасибо за ответ на такую ​​старую ветку :).
Эндрю Чинери
Я задал подобный вопрос в случае , если вы заинтересованы: video.stackexchange.com/questions/12312/...
Kozuch

Ответы:

5

Через год после публикации этого вопроса я получаю несколько дополнительных комментариев и ответов, и это действительно здорово. Технически это все еще проблема, но позвольте мне поделиться тем, что я узнал за последний год, на случай, если кто-нибудь еще наткнется на эту страницу с аналогичной проблемой.

Мы придумали два недорогих решения проблемы, которые, я думаю, будут работать в правильных условиях.

  1. Используйте высокоскоростной стробоскоп. Это работает, только если объект не излучает свет (к сожалению, это не так для меня) и может быть помещен в очень темную комнату. Возьмите очень быстрый и точный стробоскоп, затем включите его на той же частоте, что и камеры, скажем, 50fps / 50hz. Затем установите выдержку для всех камер на 1/50 секунды, т.е. затвор всегда открыт. Поместите объект в очень темную комнату и установите диафрагму так, чтобы видео казалось черным без света. Затем осветите стробоскопом. Видео, естественно, будет синхронизировано, потому что единственный свет, который они получают, - от строба, и это происходит один раз за кадр. Сложность - получить достаточно точный стробоскоп. Но я слышал, что они используются в тяжелых производственных процессах для проверки лезвий / колес / ремней и т. Д., Которые нельзя отключить. Вы зажигаете инструмент только с помощью стробоскопа, который имеет аналоговое управление, и медленно увеличиваете скорость строба, и, как только вы достигнете частоты инструмента, он будет замедляться и, в конце концов, остановится. Теперь вы можете проверить наличие проблем. Только не трогай это;).
  2. Используйте сигнал vsync для композитного видео с камер. Это вдохновлено http://samj.snappages.com/ . Этот сигнал отправляется регулярно каждый кадр, и с помощью некоторой электроники вы можете измерить разницу между сигналами на двух (или более) разных камерах. Затем вы можете включить и выключить камеру (или на некоторых камерах, сделать снимок. Подробнее об этом позже ...) и снова измерить его, и так далее. Если вы хорошо разбираетесь во времени включения и выключения питания, вы можете приблизить и приблизить их к определенному порогу. Мы не пытались сделать это просто потому, что не построили схему, и решили, что с ней будет слишком неудобно работать, особенно с более чем двумя камерами.

Как я уже сказал, мы ничего не сделали. В итоге мы объявили тендер на финансирование недорогой системы, предназначенной именно для этой цели, от такой компании, как NorPix. Они синхронизируются через Ethernet и устанавливаются. Я так и не смог выяснить, как именно (протокол и т. Д.) Они используют Ethernet для синхронизации, поэтому, если кто-то захочет объяснить, что мне это будет очень интересно. В прошлый раз мне сообщили, что мы нашли немного денег, но, конечно, если вы знаете что-нибудь об академической бюрократии, вы не удивитесь, узнав, что я все еще жду оборудования!

Если у кого-то есть волшебная идея, которая достигает истинной синхронизации недорого, я все еще открыт для предложений.

В заключение я упомяну стратегию, которая не сработала в моих тестах. И это на этом сайте: http://3dfilmfactory.com/index.php?option=com_content&view=article&id=93:gen-lock-canon-5d-mark-ii-cameras-and-shoot-3d

Конечно, у нас другое оборудование, Canon 60D, и у нас были очень дешевые нестандартные выпуски беспроводных затворов. Однако у меня нет оснований думать, что они вызвали какие-либо заметные различия в настройке в ссылке. Я настроил тесты, используя светодиодное устройство, как предложил Бокан в своем ответе, и средняя разница в синхронизации сократилась только на 1 мс после использования спуска беспроводного затвора по сравнению с контрольными тестами, и иногда это ухудшало ситуацию. Я не проводил статистический анализ, но подозреваю, что он не будет значительным по сравнению со случайностью. Я думаю, что вполне вероятно, что 3D Film Factory либо не снимали материал, в котором они заметили бы проблему с синхронизацией, либо их более дорогое оборудование дало чуть более надежный результат, который все же не так сильно отличается. Масштабируясь на более чем 2 камеры, я

Тем не менее, с помощью пульта дистанционного спуска затвора делает сброс видео. Если вы используете кнопку «запись» на камерах (или пульте дистанционного управления), он просто начинает сохранять отснятый материал, который уже обрабатывается. Другими словами, если вы измеряете синхронизацию в нескольких различных тестах, не выключая камеру, не снимая ее и не переводя ее в режим энергосбережения, синхронизация будет такой же. Вы можете включить этот механизм в вышеприведенный подход (2): вместо включения и выключения питания камер он может делать снимки до тех пор, пока сигналы vsync не станут в линию. Это было бы классное устройство, мы просто не удосужились его создать.

Еще раз спасибо за любые предложения. Я надеюсь, что когда-нибудь кто-нибудь сочтет это полезным, и месяцы, которые я потратил впустую на его решение, сэкономят кому-то немного времени!

Эндрю Чинери
источник
Этот парень , кажется, делает HW хак с VSync , чтобы получить композитное видео в синхронизацию: letsmakerobots.com/node/29869
Kozuch
2

Я сделал снимки с четырьмя камерами с помощью Nikon (D7000 и D3S). Для наших снимков мы просто делали помадку после того, как все камеры вращались И непосредственно перед резкой, поэтому у нас было две точки синхронизации. Наш самый длинный выстрел длился около 18 минут, и не было заметного синхронного дрейфа в нашей почтовой системе. Хотя genlock - это предпочтительный способ, я обнаружил, что большое количество цифрового оборудования достаточно близко ~ (черт, я снимал музыкальное видео с воспроизведением с CD-boombox и камеры с постоянной скоростью (не управляемой кристаллом) мотор и он был включен.

Что-то менее минуты, как звучит ваш проект, я уверен, что вам не нужно беспокоиться о синхронизации.

Просто возьмите вагонку, убедитесь, что все камеры видят ее четко и работают, затем хлопните в ладоши. Без обрезки просто измените фокусировку и фокусное расстояние там, где это необходимо для съемки. Сделайте снимок, затем снова, без обрезки, отведите назад, чтобы все восемь камер могли видеть клешню, и хлопните. Затем вы можете сократить свои камеры. Синхронизируйте кадры, в которые попадает клепка во всех 8 кадрах, например, альт.

Удачи!

dwwilson66
источник
2
Проблема не в смещении, а в миллисекундных различиях между камерами, возникающими при запуске. например, даже если предположить, что я снимаю обе камеры со скоростью 60 кадров в секунду, это означает, что между «кадрами» в видео есть ~ 16 мс. В худшем случае две камеры могли бы быть 8 мсек, и это было бы совершенно невозможно исправить в посте, можно перемещать только один кадр «влево или вправо» без интерполяции / фальсификации более высокого fps, а один кадр - движение 16 мс, так что Вы идете от 8 мс до 8 мс вперед. Для многих предметов это, вероятно, не проблема, но, к сожалению, не мерцающий огонь! Спасибо, в любом случае.
Эндрю Чинери
1

Если ваше исследование включает в себя анализ движения, вы должны рассмотреть возможность съемки с высоким FPS. По умолчанию вы получите лучшую синхронизацию, поскольку ошибка синхронизации не может превышать промежуток времени между двумя кадрами.

Съемка с высокой частотой кадров в высоком разрешении стоит дорого, но вы можете обменять разрешение на FPS на дешевых камерах (например, спортивных камерах). Разрешение часто менее важно, чем мы думаем. Компьютерное зрение имеет субпиксельную точность: если вы перемещаете белый объект на черном фоне, край будет смещен (серый). Если ваше программное обеспечение учитывает эти оттенки серого, оно теоретически может получить точность в 1/256 пикселя. Но чтобы это работало, у вас должны быть несжатые данные, потому что сжатие квантует цвет и, следовательно, меняет информацию.

Для дешевого решения синхронизации я могу думать об этом:

  • связать все кнопки запуска вместе электрически
  • Создайте небольшое светодиодное устройство с несколькими светодиодами, отображающими точное время в двоичном формате (один светодиод на бит), покажите это устройство каждой камере, а затем вручную синхронизируйте снимки. Вид продвинутого хлопка.

Разница синхронизации может быть обработана на стороне программного обеспечения. Если вы изучаете движение, вы можете проанализировать его в 2D для каждой камеры, а затем интерполировать результаты с одной камеры, чтобы угадать, каково было положение в момент съемки другой камерой. Спросите, не понятно ли это вам.

Эта программная компенсация - определенно путь. Особенно, если вам нужно компенсировать эффект затвора, который есть у большинства камер. Верхняя часть кадра снята немного раньше нижней части кадра.

Bokan
источник
Высокая частота кадров определенно предпочтительна, разрешение не является большой проблемой (хотя многие камеры с высоким разрешением и низким разрешением также имеют ужасное качество изображения). Но предыдущие исследователи (из работы которых я работаю) мне сказали, что для их системы необходима синхронизация проводов. Чтобы эмулировать это только с высокой частотой кадров, мне нужно более 1000 кадров в секунду. Может быть, я мог бы сойти с рук с меньшим, но на самом деле я разместил вопрос из-за отсутствия понимания методов синхронизации оборудования. У нас уже есть светодиодное устройство, как вы предлагаете. Но спасибо за ответ!
Эндрю Чинери
Помните, что фотографирование - это только захват света. Вам нужно как можно больше света, чтобы получить меньшее время затвора и четкие снимки.
bokan
Правильно, и именно поэтому камеры с низким разрешением имеют тенденцию быть ужасного качества и при высокой частоте кадров. Хотя видеозапись огня означает, что вы получаете достаточно много света! Мы исследовали программную компенсацию, и это создает больше головной боли, чем решает в этом случае. Я ищу «наземную правду», они будут использоваться для реконструкций, а артефакты движения вызовут огромные проблемы, даже игнорируя тот факт, что это подорвало бы утверждение о наличии реальных данных. Кроме того, исследования пламени, в частности, показали, что интерполировать кадры практически невозможно.
Эндрю Чинери
-1

Я думаю, что решение довольно простое: в течение первых нескольких секунд держите большой секундомер перед двумя камерами; во время редактирования можно легко синхронизировать. Я использовал эти методы, работающие нормально.

тапас рой
источник
1
Это не решение. Правильное решение - приобрести камеры, которые поддерживают GENLOCK. GENLOCK обеспечивает синхронизацию затворов обеих камер. Просто нет никакого другого механизма, кроме этого, который может гарантировать любую согласованность синхронизации, основанную на любой попытке запустить все камеры одновременно.
Майкл Тиманн
@MichaelTiemann правильно. Как я указывал выше, проблема не заключалась в выравнивании видео во время редактирования, на самом деле, одна вспышка намного проще (поскольку мы снимали в темноте). Проблема заключалась в синхронизации фактического захвата самих кадров. Как я думаю, я также прокомментировал решение, которое мы в конечном итоге использовали, покупая камеры, которые имели надлежащую синхронизацию (не знаю, была ли это GENLOCK или нет, они были из научной компании по производству камер и работали через Ethernet). И это было всего 5 лет назад! Но я ценю, что этот вопрос все еще иногда получает комментарии ...
Эндрю Чинери