Трекинг в All¹Mix для PTZ-камер по протоколу FreeD

FreeD – протокол обеспечивает синхронизацию pan/zoom реальной PTZ-камеры и виртуальной камеры в 3D сцене. Это позволяет использовать All¹Mix в качестве системы дополненной реальности (AR).

Изображение с PTZ-камеры проецируется на специальный объект 3D сцены. Т.е. текстурные координаты "отбрасываются" от виртуальной камеры на этот объект (Camera Mapping) в каждом кадре, а диффузная текстура материала объекта заменяется на видеопоток с реальной камеры

В настоящее время All¹Mix поддерживает работу в режиме AR с камерами Panasonic AW-UE100 и AW-UE150, Sony BRC-X1000, Lumens VC-A71P.

Требования к 3D сцене для работы All¹Mix в режиме дополненной реальности (AR)

3D сцена должна содержать специальный объект (обычно планарный, но это не обязательно), который должен быть в поле видимости виртуальной камеры при (синхронном с PTZ) повороте в рабочем диапазоне углов. Как правило специальный объект располагается на заднем плане относительно других объектов сцены.

На этот объект должен быть назначен материал с любой исходной диффузной текстурой. Имя материала должно начинаться с знака "!". При обнаружении материала с знаком "!" All¹Mix переходит в режим AR (в котором текстурные координаты объекта с таким именем материала должны назначаться в каждом кадре особым образом (Camera Mapping). Рекомендуется установить значение 100 для самосветимости материала.

Например:

Настройка проекта для работы с AR 3D сценой All1Mix

- добавляем видео с камеры в слот и включаем управление PTZ

- загружаем сцену в другой слот и назначаем видео с камеры на текстуру материала специального (AR) объекта

- в свойствах текстуры специального объекта (например с именем 'Reality') должен появиться параметр Tracker on/off

- если Tracker включен, то появляются настройки отслеживания:

Позволяет скачать калибровочный файл FOV-ZOOM

Вызывает диалог настроек калибровки.

Сброс калибровки трекера - при нажатии генерируется калибровочная кривая по умолчанию.