Трекинг в All¹Mix для PTZ-камер по протоколу FreeD

Материал из dgraphic
Перейти к навигации Перейти к поиску

Общие положения

FreeD – протокол обеспечивает синхронизацию pan/zoom реальной PTZ-камеры и виртуальной камеры в 3D сцене. Это позволяет использовать All¹Mix в качестве системы дополненной реальности (AR).

Изображение с PTZ-камеры проецируется на специальный объект 3D сцены. Т.е. текстурные координаты "отбрасываются" от виртуальной камеры на этот объект (Camera Mapping) в каждом кадре, а диффузная текстура материала объекта заменяется на видеопоток с реальной камеры

3D-scene-ru.jpg

В настоящее время All¹Mix поддерживает работу в режиме AR с камерами Panasonic AW-UE100 и AW-UE150, Sony BRC-X1000, Lumens VC-A71P.

Требования к 3D сцене для работы All¹Mix в режиме дополненной реальности (AR)

3D сцена должна содержать специальный объект (обычно планарный, но это не обязательно), который должен быть в поле видимости виртуальной камеры при (синхронном с PTZ) повороте в рабочем диапазоне углов. Как правило специальный объект располагается на заднем плане относительно других объектов сцены.

На этот объект должен быть назначен материал с любой исходной диффузной текстурой. Имя материала должно начинаться с знака "!". При обнаружении материала с знаком "!" All¹Mix переходит в режим AR (в котором текстурные координаты объекта с таким именем материала должны назначаться в каждом кадре особым образом (Camera Mapping). Рекомендуется установить значение 100 для самосветимости материала.

Например:

Material.jpg

Настройка проекта для работы с AR 3D сценой All1Mix

- добавляем видео с камеры в слот и включаем управление PTZ

- загружаем сцену в другой слот и назначаем видео с камеры на текстуру материала специального (AR) объекта

- в свойствах текстуры специального объекта (например с именем 'Reality') должен появиться параметр Tracker on/off

- если Tracker включен, то появляются настройки отслеживания

Настройки отслеживания

3Deditor.jpg


Calibration1.jpg Позволяет скачать калибровочный файл FOV-ZOOM

Calibration2.jpg Вызывает диалог настроек калибровки.

Calibration3.jpg Сброс калибровки трекера - при нажатии генерируется калибровочная кривая по умолчанию.

Диалог калибровки

  • точки на графике можно редактировать перетаскиванием
  • диалог калибровки - если нажать на любую точку, то поворотная камера начинает посылать команды на управление скоростью zoom, пока с камеры не придет нужное значение zoom
  • диалог калибровки - на графике есть выделенная скользящая точка, показывающая текущее состояние камеры
  • диалог калибровки - график сохраняется при сохранении проекта
Calibration.jpg

Настройка аппаратуры (на примере Panasonic AW-UE100)

Заходим на страницу настроек камеры

WebGUI.jpg
  • Выбераем: Setup / Tracking Data Output / IP Out
  • Помечаем галочкой хотя бы одного клиента, например Client 1
  • Назначаем выбранному клиенту IP адрес компьютера на котором установлен AllMix
  • Назначаем выбранному клиенту какой-нибудь Port, например 52381
  • Нажимаем кнопку Set

Заходим на страницу Setup / Tracking Data Output / Connection Type и ставим режим IP(UDP)

Image1.png

Заходим на страницу Setup / Tracking Data Output / Connection Type и ставим режим IP(UDP)

Image2.png

Источник — http://d-graphica.com/mediawiki/index.php?title=Трекинг_в_All¹Mix_для_PTZ-камер_по_протоколу_FreeD&oldid=4335