ФОКУС Описание
Введение
Виртуальные студии семейства «Фокус» представляют собой средство создания телевизионных передач. Это – современная и всё более популярная технология телевизионного производства, базирующаяся на совмещении виртуальных декораций (графических 3D - изображений, синтезируемых на компьютере) и реального видео, живых актёров и компьютерных персонажей, и т.п. Традиционные виртуальные студии уже достаточно хорошо описаны в литературе, и мы всё чаще видим продукты, созданные с использованием этих технологий на телевизионном и киноэкране. Основным препятствием к широчайшему распространению этих технологий во всех сферах телевизионного производства является высокая цена и сложность (скорее непривычность) технологического процесса. При создании систем семейства «Фокус» эти проблемы постарались преодолеть при условии сохранения качества и функциональности, присущей во много раз более дорогим системам. Более того, применённая архитектура позволяет использовать системы «Фокус» не только в режиме виртуальной студии, но также для компьютерного оформления эфира при обычной живой съёмке – внедрение анимированных «виртуальных плазменных панелей», трёхмерных персонажей, деловой интерактивной графики и тому подобного.
Предназначение и функциональные возможности
Система “Фокус” ориентирована на использование ее в телевизионных студиях, интернет-студиях или подразделениях телекомпаний. В качестве виртуальной студии она позволяет организовать производство набора телевизионных программ (новости, погода, развлекательные) или другой видео-продукции (видеоклипы и т.п.), используя всего одно подготовленное помещение и упрощенными требованиями к осветительным приборам и телевизионному оборудованию. При этом визуальное качество получаемой продукции соответствует современным требованиям ведущих телекомпаний мира.
Основными отличительными чертами системы «Фокус» являются:
- многоформатный видеоввод с временной (time-base) коррекцией, что позволяет использовать несинхронные видеоисточники;
- возможность синхронизации видеовыхода (GenLock);
- уникальный кеинг (Chromakey, или рирпроекция, – цветовое замещение) (возможна качественная проработка тонких и полупрозрачных объектов: волос, дыма, стекла и т.п.);
- легко наращиваемое число входных каналов с независимым кеингом и временной коррекцией;
- встроенная звуковая задержка для синхронизации выходного видео и звука;
- просчет трёхмерных сцен в реальном времени с использованием входных динамических видео изображений в качестве текстуры на любых объектах сцены;
- неограниченное число виртуальных анимируемых камер;
- поддержка статических или роботизированных видеокамер-источников с переключением между ними в реальном времени;
- широкие возможности по созданию анимированных компьютерных персонажей, элементов интерьера, спецэффектов;
- управление любыми объектами и параметрами автоматически, по сценарию, либо интерактивно;
- возможность интеграции с видео-серверами, титровальными станциями и другим внешним оборудованием, в частности, для обеспечения работы по общему сценарию.
Технические решения позволяют использовать видеоисточники, например, камеры различных типов, и получать при этом качественный результат. Это достигается за счёт применения цифровых декодеров и временной коррекции в каждом входном канале, специально адаптированных уникальных алгоритмов кеинга, фильтрации и микширования. При этом за счёт модульности и наращиваемости система легко может быть развита для работы с компонентными, цифровыми SDI или HD SDI-сигналами.
Особенностью виртуальных студий ФОКУС является то, что изображение актёра, получаемое после кеинга, используется далее в качестве текстуры (материала) в синтезированных трёхмерных декорациях в реальном времени, что позволяет располагать изображение актёра в любом месте трёхмерной сцены и использовать , виртуальные камеры не связанные с реальными. Таким образом, вместо сложной и дорогостоящей системы датчиков положения («tracking») реальной камеры используется компьютерная эмуляция движения и трансфокации. При этом можно заранее создавать произвольно сложные траектории такого движения, что в реальной студии невозможно, либо требует применения чрезвычайно дорогостоящей крановой техники. Конечно, спектр возможных движений виртуальных камер ограничен при использовании реальных статических камер, но вполне достаточен для очень широкого спектра приложений. Например, слишком близкое расположение к актёру виртуальной камеры, направленной на него, будет выглядеть как цифровое увеличение (digital zoom). Или, средствами «Фокуса» нельзя показать изображение профиля актёра, то есть имитировать обход вокруг него без специальных средств (вращающийся подиум «turn table») и т.п. С другой стороны, систему можно использовать в обычном режиме «оверлей», когда полное, немасштабированное видеоизображение актёра просто микшируется с синтезируемыми компьютерными декорациями (накладывается «тексел в пиксел»), но при этом исчезает возможность имитировать наезды и отъезды камер. Стоимость же трекинговых систем (датчиков положения и параметров камер) в несколько раз превышает стоимость самой студии.
Для некоторого класса приложений (например, прогноза погоды) с несколькими статическими положениями камер режим “оверлей” вполне пригоден с учётом того, что он позволяет показать видеоизображение актёра с максимальным качеством за счёт отсутствия дополнительной обработки и фильтрации, неизбежных при использовании видео в качестве текстуры в синтезируемых трёхмерных сценах.
Кроме преимуществ использования анимации виртуальных камер, использование видео в качестве текстур даёт огромные возможности для создания разнообразных спецэффектов типа морфинга, размножения объектов, зеркальных отражений, использования криволинейных поверхностей и многих других. В частности, можно создавать виртуальные телевизионные панели с причудливой анимацией, произвольно искажать изображение актёра и т.п. В качестве источника для такой видеотекстуры может служить не только «живой» источник (видеокамера, видеомагнитофон), но также и файл видео, который можно воспроизводить либо напрямую с жёсткого диска компьютера виртуальной студии, либо с отдельного файлового сервера. При условии, что сетевое соединение обеспечивает бесперебойную передачу данных необходимого объёма. Работа с видеофайлами по сети может оказаться даже более предпочтительной, поскольку исключает влияние нагрузки на систему при работе дисковой подсистемы. Безусловно, существуют ограничения общей производительности системы на одновременное воспроизведение нескольких подобных динамических объектов. Актуальные конфигурации позволяют оперировать одновременно с тремя или четырьмя полноразмерными видео-текстурами в зависимости от общей сложности синтезируемой сцены. При уменьшении разрешения и, следовательно, потоков данных, возможно соответственное увеличение числа используемых одновременно различных видео-текстур в сцене.
Особенности технологии
Технологический процесс телевизионного производства с использованием виртуальной студии «Фокус» условно можно разбить на три этапа:
- Создание 3-х мерных декораций
- Создание сценария управления записью передачи
- Запись телевизионной передачи
Создание виртуальных декораций предполагает использование для этого программного обеспечения Autodesk® 3ds Max® любой из версий. Дизайнер, по заданию режиссера программы создает 3-х мерную сцену с учетом требований и особенностей телевидения и компьютерных систем реального времени.
Сценарий управления записью передачи создается на основании технического задания режиссера монтажа в программном обеспечении HotActions, HotActions Designer. В сценарии учитываются особенности работы с камерами, внешними источниками, медиа данными и т.п. А так же оптимизируется интерфейс управления для выпускающего редактора.
Собственно запись передачи осуществляется из программного обеспечения HotActions или HotActions Live. Любое действие или изменение параметров во время съёмки может осуществляться либо автоматически по сценарию, либо интерактивно, под управлением оператора. Причём могут использоваться несколько рабочих мест операторов для интерактивного управления различными аспектами процесса съёмки (например, виртуальными актёрами с помощью нескольких джойстиков). Система построена по принципам модульности и наращиваемости, и может использоваться как самостоятельно, с соответствующим процессу набором опций, так и интегрированно с существующим у пользователя видео-оборудованием. Остановимся более подробно на технологических этапах:
Подготовка
Определение состава и конфигурации оборудования
Определить состав телевизионного оборудования, используемого в процессе съёмок – количество камер, тип, параметры и расположение камер (возможно одновременное использование в кадре нескольких различных видео источников), видео-оборудование (видеомагнитофоны, микшерские пульты и т.п.), аудио-оборудование и т.п. На основе этого создается технологическая схема коммутации и совместного использования оборудования в студии, а так же определяется количество задействованного персонала и требования к нему.
Создание трёхмерной сцены (декораций)
Основным инструментом для создания виртуальных декораций является широко распространенный пакет Autodesk® 3ds Max®, с помощью которого создаётся трёхмерная обстановка, анимируются подвижные объекты, размещаются видео текстуры, виртуальные камеры и т.п.. Безусловно, требования реального времени накладывают определённые ограничения на сложность создаваемых сцен и требуют соответствующих знаний от дизайнеров (ограничения по количеству используемых в сцене полигонов, размеру текстур, используемых параметров материалов, допустимых источников освещения и т.д.). Подробнее об этом можно прочитать в руководстве пользователя по созданию 3-х мерных сцен. Даже бурный рост производительности компьютеров и графических акселераторов в последнее время и в обозримом будущем не позволит снять подобные ограничения.С другой стороны, не искушённые в трёхмерной графике пользователи могут воспользоваться набором стандартных проектов, поставляемых с системой или приобретённых у внешних дизайнеров, работающих с виртуальной студией. Пользователи стандартных проектов могут произвести необходимую адаптацию (например, изменить цвет, надписи на объектах, текстуры) с помощью параметров проектов.
Монтаж видеоматериалов
Используемые при записи телевизионной передачи медиа материалы (отбивки, заставки, видео сюжеты, рекламные вставки и т.п.) предварительно монтируются с помощью любой доступной системы нелинейного монтажа. Для воспроизведения в реальном времени могут использоваться встроенные сценарные или интерактивные средства. В случае интеграции с внешним воспроизводящим оборудованием (посредством дополнительного канала видео-ввода) монтаж и воспроизведение осуществляются с помощью других имеющихся у пользователя средств.
Подготовка и конфигурирование интерфейса управления трёхмерными декорациями
Для управления записью телевизионной передачи (переключение виртуальных камер, запуск анимации, смена виртуальных декораций и т.п.). создаются кнопочные панели и интерактивные контроллеры. Во время работы студии эти панели и будут использоваться оператором для монтажа в реальном времени - оператор запускает соответствующие действия нажимая на кнопки с помощью мыши, сенсорного экрана или используя назначенные кнопкам “горячие” клавиши на клавиатуре. Ниже, в главе "Идеология пользовательского интерфейса", подробно рассматриваются средства, позволяющие максимально упростить взаимодействие операторов с системой в реальном времени.
Запись телевизионной передачи
Работа в режиме “прямого эфира”
Работа в этом режиме осуществляется в реальном времени и потому требует тщательной подготовки персонала, оборудования и непосредственно виртуальной студии «ФОКУС». Для обеспечения надёжности необходимо стремиться максимально использовать средства автоматизации сценария и по возможности упрощать интерфейс операторов реального времени. В интерактивном режиме оператор использует сконфигурированный заранее интерфейс управления виртуальной студией, представляющий собой набор кнопочных панелей и контроллеров, вызывающих исполнение различных управляющих команд или действий Экшенов в трёхмерной сцене. Исполнение Экшенов в виртуальной студии может также происходить посредством нажатия “горячих” клавиш или через GPI-порты (управляющие сигналы, поступающие через COM- или USB- порты) с внешних управляющих устройств, например, микшерских пультов. При этом производство типовой продукции, например, ежедневного прогноза погоды, не будет требовать от операторов эфира каких-либо глубоких знаний по пользованию системой. Достаточно краткого описания, какое действие в сцене выполняет та или иная кнопка или контроллер созданного интерфейса.
Съёмка в режиме записи
Этот режим позволяет осуществлять итеративную съёмку для выбора лучших дублей и достижения лучших результатов. Съёмка может вестись короткими фрагментами, что облегчает работу со сценарием и оставляет место для импровизационного творчества.
Компоненты системы
Базовая конфигурация
Базовый комплект системы представляет собой специально подобранный и сконфигурированный компьютер класса IBM PC с предустановленными:
- Аппаратными модулями аудио и видео ввода-вывода с временной коррекцией;
- графическим 3D-акселератором;
- специальным программным обеспечением.
В базовой конфигурации «Фокус» представляет собой один компьютер PC (системный блок) с установленными дополнительными модулями. Базовая конфигурация делится на аналоговую либо цифровую для Standard или Hi Definition телевизионных сигналов и обеспечивает два соответствующих независимых канала видеоввода. Видеоизображения с подключенных видеоисточников, прошедшие временную коррекцию и кеинг, можно переключать в “Фокусе” в реальном времени. В трёхмерной сцене могут использоваться и одновременно оба видео источника с входных каналов. Поддерживается воспроизведение видеофайлов в качестве дополнительных видео текстур при условии соответствующей оптимизации сцены по производительности. Конфигурация включает звуковую задержку и не синхронизируемый видеовыход. Предусмотрена возможность подключения внешних устройств интерактивного управления по локальной сети, от джойстиков, GPI-портов.
Опциональные расширения
Набор опциональных расширений включает:
- дополнительные входные каналы различных форматов
- пассивная коммутационная панель;
- активная коммутационная панель
- 3D-манипуляторы;
- устройство для передачи сигналов по GPI;
- средства интеграции с видео сервером и титровальной станцией Форвард ТА /Форвард ТТ.
На рисунках представлены схемы типичных конфигураций системы “Фокус”.
Идеология пользовательского интерфейса
Основным инструментом для управления сценарием записи передачи является программа HotActions (HotActions Live), являющаяся основным пользовательским приложением студии”Фокус”.
HotActions может использоваться в трёх режимах:
1. Редактирования – создание интерфейса управления сценой (для этой цели так же существует версия HotActions Designer).
2. Тестирования - отработка сценария, проверка интерфейса управления.
3. Режим эфира - запись передачи.
Предполагается, что в первых двух режимах работают преимущественно дизайнеры и режиссёры, разрабатывающие виртуальную обстановку, анимацию, сценарий и т.п., а в третьем, соответственно, выпускающие редакторы или операторы эфира.
Создание интерфейса управления декорациями (редактирование)
В этом режиме в HotActions создают и конфигурируют интерфейс управления виртуальной сценой, которым впоследствии предстоит пользоваться оператору в процессе съёмки (в режиме эфира). Выполняются все подготовительные к эфиру работы. Следующие пункты описывают процесс создания интерфейса.
Создание Экшенов (программирование поведения сцены)
Экшен – это некое логически замкнутое действие, представляющее собой одну или несколько объединённых команд, результатом выполнения которых является оперативная модификация виртуальной сцены. Эти команды могут быть описаны на специальном языке описания сценариев (скрипте) либо выбраны из библиотеки стандартных экшенов.
В частности, Экшенами регулируются:
- переключение виртуальных камер внутри сцены (изменение их параметров);
- запуск/остановка анимации различных объектов сцены;
- оперативная загрузка как отдельных текстур и шрифтов, так и целых сцен;
- проигрывание/остановка звука;
- изменение каких–либо свойств элементов сцены (например, видимости объектов, их масштаба, положения, цвета и т.п.).
Некоторые Экшены могут вызывать последовательно (или одновременно) другие, то есть представлять собой сценарные последовательности.
Особо значимы инициализирующие Экшены, автоматически исполняемые при переходе в режим эфира. Они создаются для приведения трёхмерной сцены в некоторое начальное (базовое) состояние, загрузки и инициализации требуемых в процессе эфирной работы компонентов.
Как правило, созданием Экшенов занимается дизайнер/аниматор сцены, поскольку он лучше других знаком с её структурой, и/или режиссёр программы. Для упрощения решения этой задачи в приложение включена библиотека встроенных Экшенов, производящих с объектами сцены стандартные операции: создание и воспроизведение видеопотоков, переключение виртуальных камер, модификация объектов, замена текстур и другие.
Конфигурирование контроллеров
В приложении HotActions поддерживается работа с неограниченным количеством одновременно подключенных контроллеров, как программных, так и аппаратных, в частности, джойстиков или 3D-манипуляторов. Каждый из них можно сконфигурировать для выполнения тех или иных действий (например, исполнять Экшены по нажатию/отжатию кнопок, вращать/перемещать различные объекты сцены в соответствии с положением движка/рукоятки и т.п.). Как правило, информация о конфигурации контроллеров запоминается в тексте инициализирующих Экшенов.
Создание и конфигурирование Хотсетов
Поскольку каждый Экшен представляет собой какое-либо исполняемое действие (или последовательность действий), каждому такому действию можно назначить определённую кнопку, по нажатию которой оно и будет выполняться. Панель, состоящая из таких функциональных кнопок, называется Хотбар. Из различных эргономических соображений подбираются изображения и названия на кнопках, а также форма и название панели (Хотбара). При желании каждой кнопке можно сопоставить “горячую” клавишу на клавиатуре.
Хотбары размещаются в рабочей области окна документа проекта или специального документа – Хотсета. При загрузке любого Хотбара программа автоматически подгружает требуемые Экшены, которые выполняются при нажатии кнопок.
Хотбары и Хотсеты не зависят от содержания Экшенов, поскольку содержат только ссылку на них. Таким образом, составлять Хотбары может и непосредственно оператор управления декорациями, руководствуясь соображениями удобства его работы в эфире.
Объединение в проект
Необходимые для работы в эфире файлы виртуальных сцен, созданные Экшены, их коллекции и Хотсеты для удобства загрузки объединены в единый проект.
В документе проекта (*.vs) запоминаются ссылки на используемые файлы, состояние документов (открыт/закрыт/спрятан), расположение окон открытых документов и Хотбаров относительно основного окна приложения.
Режим управления в прямом эфире
В режиме эфира собственно и производится непосредственная интерактивная работа с трёхмерной сценой – съёмка, демонстрация. Основным пользователем этого режима работы является оператор виртуальной сцены. Нажимая на кнопки Хотбара или используя “горячие” клавиши, оператор запускает исполнение тех или иных Экшенов - таким образом происходит интерактивная модификация трёхмерных декораций. Одновременно управление объектами сцены может осуществляться от различных контроллеров: джойстиков, мыши и других устройств ввода.
При переходе в этот режим приложение HotActions 3.0 меняет свой вид на «ничего-лишнего-кроме-кнопок». Это помогает оператору сосредоточиться на своей работе.
Запускать Экшены на выполнение можно и с другого компьютера, соединённого по сети. Таким образом, в особо сложных или ответственных случаях операторов управления сценой может быть несколько.
Техническая спецификация виртуальной студии (с опциями)
Спецификации конкретных продуктов зависят от используемых конфигураций студий и включённых в них аппаратных модулей. Здесь приведены только некоторые общие и типичные характеристики и форматы.
Входные форматы видеоданных
PAL: 720x576, 25 к/сек, 4:2:2 или 4:2:2:4.
NTSC: 720х480, 29,97 к/сек, 4:2:2 или 4:2:2:4.
HDTV: 1280x720p, 50/59.94 к/сек; 1920x1080i, 25/29.97 к/сек.
Выходные форматы видеоданных
PAL: 720x576, 25 к/сек, 4:2:2 или 4:2:2:4.
NTSC: 720х480, 29,97 к/сек, 4:2:2 или 4:2:2:4.
HDTV: 1280x720p, 50/59.94 к/сек; 1920x1080i, 25/29.97 к/сек.
Внутренняя обработка видеоданных
YUV 4:2:2 или YUV 4:2:2:4, 8-бит на компоненту.
Видеовходы
До 12 Композитных (RCA) (1.0Vp-p, 75 Ohm).
До 8 S-Video (4-pin mini-DIN or BNC) (Y:1.0 Vp-p, 75 Ohm; C: 0.286 or 0.3 Vp-p at burst level, 75 Ohm).
До 8–х компонентных YUV (BNC) (Y:1.0 Vp-p, 75 Ohm; U/V: 0.7 Vp-p, 75 Ohm)
- или RGB (BNC) (R/G/B:1.0 Vp-p, 75 Ohm).
До 8-х SDI (BNC) (SMPTE 259M – 270Mbps).
До 4-х HD SDI (BNC) (SMPTE – 292M).
Видеовыходы
Композитный (RCA) (1.0Vp-p, 75 Ohm).
S-Video (4-pin mini-DIN or BNC) (Y:1.0 Vp-p, 75 Ohm; C: 0.286 or 0.3 Vp-p at burst level, 75 Ohm).
Компонентный YUV (BNC) (Y:1.0 Vp-p, 75 Ohm; U/V: 0.7 Vp-p, 75 Ohm)
- или RGB (BNC) (R/G/B:1.0 Vp-p, 75 Ohm).
SDI (BNC) (SMPTE 259M – 270Mbps).
HD SDI (BNC) (SMPTE – 292M).
Аудио
До 4 входных моно каналов (3 стерео канала) 16 бит, до 48 кГц.
До 4 выходных моно каналов (3 стерео канала) 16 бит, до 48 кГц.
Конфигурируемая задержка звука для каждого аудио-источника.
Синхронизация звука к текущему видеосигналу.
Балансные XLR разъемы (опционально).
Встроенный звук SDI / HDSDI
Коррекция временных искажений
От 2 до 8 каналов КВИ.
Кеинг
Оригинальный табличный или шейдерный с цветокоррекцией, клиппированием и кроппингом.
Трёхмерная графика
Реальное время при приблизительно 500 000 видимых полигонов в кадре.
Задержка видеообработки
Фиксированная, от 3 до 5 кадров в зависимости от режима работы.
Синхронизация
Опциональный модуль синхронизации Генлок.
Замечания по текущей реализации
Сложность используемых в системе 3D-сцен ограничена в основном производительностью используемой аппаратно-программной платформы (на основе операционной системы Windows), которая непрерывно развивается. Производитель оставляет за собой право изменения внутренней конфигурации системы в любое время и предлагает бесплатные и платные обновления всем пользователям системы. Самостоятельная модификация крайне не рекомендуется и может привести к снятию с гарантийного и технического обслуживания.