Просмотр кода страницы Трекинг в All¹Mix для PTZ-камер по протоколу FreeD

=Общие положения=
<p align=justify>FreeD – протокол обеспечивает синхронизацию pan/zoom реальной PTZ-камеры и виртуальной камеры в 3D сцене. Это позволяет использовать All¹Mix в качестве системы дополненной реальности (AR). В настоящее время All¹Mix поддерживает работу в режиме AR с камерами  Panasonic AW-UE80, AW-UE100 и AW-UE150, Sony BRC-X1000, Lumens VC-A71P.</p>
<p align=justify>Изображение с PTZ-камеры проецируется на специальный объект 3D сцены в режиме "Overlay". Т.е. текстурные координаты "отбрасываются" от виртуальной камеры на этот объект (Camera Mapping) в каждом кадре, а диффузная текстура материала объекта заменяется на видеопоток с реальной камеры</p>

<p align=justify>Существует два основных типа использования трекинга по FreeD – протоколу:
а) видео с PTZ камеры на заднем плане относительно объектов сцены (режим дополненной реальности)
б) видео с PTZ камеры на переднем плане относительно объектов сцены (погружение реальных персонажей/объектов в виртуальную среду)
</p>

[[Файл:3D-scene-ru.jpg|920px|center]]

Оба этих типа реализуются с использованием специальных объектов ("Background" и "Foreground"), которые All'Mix автоматически создает для любой 3D сцены проекта. Медиа, назначенные на эти объекты, всегда отображаются в режиме "Overlay". В зависимости от типа использования трекинга, пользователь назначает видео с PTZ - камеры на "Background" или "Foreground" соответственно. Медиа, назначаемая на "Foreground", разумеется, должна иметь маску прозрачности (альфа-канал).

=Настройка аппаратуры (на примере Panasonic AW-UE80 и VC-A71SN)=

Настройка камеры осуществляется через интернет. Захват выходного потока рекомендуется осуществлять через платы ввода-вывода серии "FD" ([https://softlab.tv/#hardware СофтЛаб-НСК])  или "[https://www.blackmagicdesign.com/products/decklink BlackMagic]".

=== Задание IP PTZ камеры ===

<p align=justify>Подключите камеру к сети интернет. Настройки камер осуществляются в WEB-браузере. Для этого в адресной строке браузера необходимо набрать IP камеры. '''IP камеры и IP компьютера, на котором установлен ALL'MIX, должны находиться в одной зоне'''. Для различных камер задание IP камеры производится по-разному: 
<p align=justify>1. [https://www.mylumens.com/Download/VC-A71SN-User%20Manual-English-2023-0630.pdf VC-A71SN] имеет IP по умолчанию 192.168.100.100 На компьютере на котором установлен All'Mix необходимо поменять IP на  192.168.100.101 (например). Затем откройте браузер и введите IP-адрес камеры (192.168.100.100) в адресную строку. Введите логин и пароль (по умолчанию: admin/9999). Поменяйте логин и пароль (не обязательно). Поменяйте сетевые настройки камеры, так чтобы IP камеры находился в той же зоне в которой исходно находился IP компьютера, на котором установлен All'Mix (DCHP --> off).  </p>

[[Файл:VC-A71SN_network_ip.png|920px|center]]

<p align=justify>Сохраните (Apply) новые сетевые настройки камеры. Верните сетевые настройки компьютера на котором установлен All'Mix в исходное состояние. Введите новый IP-адрес камеры в адресную строку браузера. Продолжите настройки камеры.</p>

<p align=justify>2. [[https://pro-av.panasonic.net/manual/pdf/AW-UE80P.PJ.E.EJ.ED_full(DVQP2625ZA)_E.pdf AW-UE80]]. Для задания IP камеры используйте специальную утилиту для PTZ камер Panasonic: [https://na.panasonic.com/us/resource-center/easy-ip-setup-software easy-ip-setup-software]. 

[[Файл:AW-UE80_network_ip_setup.png|738px|center]]

Найдите камеру (Search), поменяйте сетевые настройки камеры (Network Settings), так чтобы IP камеры находился в той же зоне в которой исходно находился IP компьютера, на котором установлен All'Mix (DCHP --> off).  Продолжите настройки камеры (Acces Camera).</p>

<p align=justify>'''!''' Если прошло более 20 минут с момента, когда выбранная камера была включена, вы не сможете настроить камеру. Рекомендуется выключить камеру, а затем включить ее снова. Это ограничение не распространяется на камеры, которые
еще не настроены или были сброшены к заводским настройкам по умолчанию.</p>

[[Файл:AW-UE80_network_ip.png|920px|center]]

===Настройка трекинга в установках PTZ камеры===
1. VC-A71SN

*В разделе "Tracking data output (FreeD)" снимаем галочку с "Enable". 
*Назначаем  IP адрес компьютера на котором установлен All¹Mix и порт (например 8888).
*Возвращаем галочку на "Enable".

[[Файл:VC-A71SN_network_out.png|920px|center]]

2. AW-UE80

Tracking Data Output / IP Out

*Устанавливаем режим IP(UDP)
*Помечаем галочкой хотя бы одного клиента, например Client 1
*Назначаем выбранному клиенту IP адрес компьютера на котором установлен All¹Mix
*Назначаем выбранному клиенту Port, например 8888
*Нажимаем кнопку Set

[[Файл:AW-UE80_network_out.png|920px|center]]

===Настройка платы ввода-вывода серии FD===

Запускаем '''FDConfig2''' и выставляем частоту кадров такую же как у FreeD камеры

[[Файл:Image3.png|920px|center]]

На всех мониторах устанавливаем частоту кадров такую же как у FreeD камеры.

=Настройка трекинга в проекте All¹Mix=

1. Настройка видео

*добавляем в проект видео с PTZ камеры (Media/Live + FD Boards/FD Input HD)
*назначаем это видео на какой либо слот и кликаем на шестеренку в заголовке этого слота (Edit input).
*в открывшемся окне редактора медиа включаем PTZ Controller
*в свойствах PTZ Controller для NDI (рекомендуется) устанавливается NDI Address. Если выбрано VISCA - IP Address PTZ камеры.

[[Файл:PTZ_NDI.png]]

[[Файл:PTZ_VISCA.png]]


- в свойствах текстуры специального объекта (например с именем 'Reality') должен появиться параметр '''Tracker on/off''' 

- если '''Tracker''' включен, то появляются настройки отслеживания

2. Настройка 3D сцены

*добавляем в проект 3D сцену (Media/3D Scene + SceneName.fbx)
*назначаем эту сцену на какой либо слот и кликаем на шестеренку в заголовке этого слота (Edit input).
*в открывшемся окне редактора 3D сцены выбираем объект <FOREGROUND> или <BACKGROUND> или (если он имеется в этой сцене) заранее созданный специальный объект и назначаем ему в качестве источника видео с PTZ камеры. 

[[Файл:3dscene_tracking1.png]]

*Tracker Port - должен быть таким же как в настройках камеры
*Tracker Parallax -  позволяет компенсировать сдвиг оптического центра при поворотах PTZ камеры
*Tracker Offset - меняет начальный угловой сдвиг между виртуальной 3D камерой и реальной PTZ камерой по горизонтали и по вертикали
*Tracker Delay - позволяет задерживать обработку PTZ координат для компенсации задержки, необходимой для обработки видео

[[Файл:Calibration1.jpg]] Позволяет скачать калибровочный файл FOV-ZOOM

[[Файл:Calibration2.jpg]] Вызывает диалог настроек калибровки.

[[Файл:Calibration3.jpg]] Сброс калибровки трекера - при нажатии генерируется калибровочная кривая по умолчанию.

3. Диалог калибровки

*точки на графике можно редактировать перетаскиванием
*если нажать на любую точку, то поворотная камера начинает посылать команды на управление скоростью zoom, пока с камеры не придет нужное значение zoom
*на графике есть выделенная скользящая точка, показывающая текущее состояние камеры
*график сохраняется при сохранении проекта

[[Файл:Calibration.jpg|center]]

=Создание специального объекта в 3ds Max сцене =

<p align=justify>Иногда требуется более сложная геометрия специального объекта. Например, когда часть объектов сцены должны быть на переднем плане относительно персонажа (видео с PTZ-камеры), а часть объектов сцены - на заднем плане.</p>
<p align=justify>На этот объект должен быть назначен материал с любой исходной диффузной текстурой. Имя '''материала''' должно начинаться с знака "!". Текстура материала с знаком "!" в All¹Mix отображается в режиме "Overlay" (в котором текстурные координаты объекта назначаются в каждом кадре особым образом (Camera Mapping). Если в All¹Mix предполагается назначать на этот материал медиа с альфа-каналом, то и исходный материал должен содержать карту прозрачности. Рекомендуется установить значение 100 для самосветимости материала.</p>


'''Важно:''' В список доступных для редактирования объектов 3d сцены добавляются только те объекты, название которых (или/и название материала) начинается с символа @. Таким образом в нашем случае имя материала специального объекта должно начинаться с двух символов. Например: !@Reality

Например:

[[Файл:Material_.jpg|349px|center]]

Знаки "@", "!" не отображается в интерфейсе All¹Mix. Например имя объекта @ObjectName отобразится как ObjectName.

=Пример работы с AR-проектом All¹Mix=

Запускаем AllMix проект Tracking.mixer в режиме презентации (F3)

*Назначаем на Slot 8 камеру из списка Live FD Boards
*Заходим в редактор Slot 8 и включаем PTZ Controller
*В поле адреса выбираем нужную камеру из выпадающего списка 

Заходим в редактор Slot 9, где находится 3D сцена Tracking.fbx

Находим специальный объект (Reality) и назначаем: 

*Input = Slot8
*Tracker = On