Трекинг в All1MIX для PTZ-камер по протоколу FreeD

FreeD – протокол обеспечивает синхронизацию pan/zoom реальной PTZ-камеры и виртуальной камеры в 3D сцене. Это позволяет использовать All¹Mix в качестве системы дополненной реальности (AR).

Изображение с PTZ-камеры проецируется на специальный объект 3D сцены. Т.е. текстурные координаты "отбрасываются" от виртуальной камеры на этот объект (Camera Mapping) в каждом кадре, а диффузная текстура материала объекта заменяется на видеопоток с реальной камеры

В настоящее время All¹Mix поддерживает работу в режиме AR с камерами Panasonic AW-UE100 и AW-UE150, Sony BRC-X1000, Lumens VC-A71P.

Требования к 3D сцене для работы All¹Mix в режиме дополненной реальности (AR)

3D сцена должна содержать специальный объект (обычно планарный, но это не обязательно), который должен быть в поле видимости виртуальной камеры при (синхронном с PTZ) повороте в рабочем диапазоне углов. Как правило специальный объект располагается на заднем плане относительно других объектов сцены.

На этот объект должен быть назначен материал с любой исходной диффузной текстурой. Имя материала должно начинаться с знака "!". При обнаружении материала с знаком "!" All¹Mix переходит в режим AR (в котором текстурные координаты объекта с таким именем материала должны назначаться в каждом кадре особым образом (Camera Mapping). Рекомендуется установить значение 100 для самосветимости материала.

Например:

Знак "!" не отображается в интерфейсе AllMix. Например !back-material отображается как back-material.