Motion capture

Если согласиться с тем, что лень — двигатель прогресса, то самыми ленивыми среди разработчиков компьютерных игр окажутся аниматоры. Действительно, программисты продолжают набивать строки кода вручную. Графический планшет, главное техническое достижение художников, показывает чудеса только в руках талантливого мастера. Трехмерные лазерные сканеры и дигитайзеры не спасли моделлеров, и они вернулись к Maya , 3DS Max и прочим станкам по производству игрового контента.

Кругом победа непроизводительного ручного труда! И только аниматоры, кажется, добились с motion capture серьезного прорыва. Ну кто сегодня не слышал о том, как с живых актеров записывают движения для игровых персонажей? Мы пригласили поговорить на эту тему представителей известных зарубежных компаний, среди них:

— Ричард Хайнс ( Richard Hince ), Великобритания, технический директор студии Artem Digital ( www.artem-digital.com ), работавшей над кинофильмами « Александр », « Царство небесное », « Троя », « Гарри Поттер и Кубок огня » и множеством компьютерных игр.

— Золтан Годор ( Zoltan Godor ), Болгария, руководитель подразделения MoCap компании 3dbrigade.com — Nagual Pictures Ltd ( www.3dBrigade.com ). Эта студия наиболее известна роликами к Heroes of Might and Magic 5.

— Ева Остерман ( Eva Osterman ), Швеция, продюсер студии Gotland Interactive Park ( www.gotlandinteractive.com ). Помимо компьютерных игр, студия работает над научно-исследовательскими проектами в области биомеханики.

Клиента нужно правильно готовить

Motion capture со стороны выглядит довольно занятно. Вместо морфинга, кинематики и прочего колдовства специалисты снимают на видео движения живого актера, а затем подключают практически готовую анимацию к персонажам компьютерной игры. Во всяком случае, так все выглядит в теории.

[Игромания] Принято считать, что технология захвата движения понадобилась:

а) для упрощения труда аниматоров и сокращения времени на производство;

б) уменьшения общей стоимости разработок;

в) чтобы добиться реализма, недоступного традиционным методам анимации.

Почему же метод motion capture используется далеко не всеми и не везде?

[Ева] Скажем прямо, так думает большинство клиентов студий motion capture. Однако реальность отличается от рекламных буклетов. Сам процесс захвата движения действительно занимает мало времени. Обработка же данных и наложение текстур могут потребовать массу усилий. Если движения не слишком сложные и данные не нуждаются в тотальной зачистке, mocap (сокращение от motion capture) — хороший вариант.

[Ричард] Все верно. Однако ситуация намного сложнее. По некоторым причинам многие игровые компании предпочитают рисовать и делать анимацию вручную. Иногда это оправдано особенностями проекта. К примеру, если движения персонажей в игре изначально задуманы подчеркнуто нереалистичными, motion capture принесет скорее вред, чем пользу. Придется потратить много времени на доработку «захваченного» материала. Ну а самое главное, многие все еще считают mocap слишком дорогим способом анимации. На самом деле при правильном подходе mocap и быстрее, и дешевле.

[Золтан] Все зависит от подготовки клиента. Motion capture определенно уменьшает общую стоимость разработки, но только после определенного количества заказанных роликов. Их нужно делать много. Но даже в этом случае руководство компании должно заранее подготовиться, иначе потеряет больше, чем выиграет.

Что нужно сделать, прежде чем обращаться в студию:

— определиться с конкретными объектами для записи (допустим, два человека, вертолет, банка пепси-колы и так далее);

— обсудить технологический фон и требования к нему;

— сделать как можно больше описаний, набросков и видеозарисовок того, что необходимо получить;

— выбрать для съемок актеров, которые по всем статьям подходят на роль компьютерных персонажей;

— подготовить для каждой сцены звуковое оформление, чтобы сразу синхронизировать движение со звуком;

— в дальнейшем представителям компании необходимо контролировать каждый сеанс записи.

Если запись motion capture выполнена профессионалами, аниматоры смогут приступить к работе очень скоро. Никаких исправлений не потребуется. Причем все движения персонажей будут отличаться высокой степенью правдоподобия. Если бы то же самое делалось вручную, потребовалось бы гораздо больше времени и денег.

Тем не менее есть несколько причин, чтобы отказаться от захвата движения:

— реалистичность движений компьютерной игре не всегда нужна, а иногда не может быть достигнута с motion capture (например, для персонажей-негуманоидов);

— недостаточная профессиональная подготовка представителей игровой компании (много времени уйдет на различные согласования и обучение);

— захват некоторых движений стоит немало.

Если движения пишут неверно, то порой легче выбросить негодный материал и все переснять заново, чем пытаться поправить данные. То есть «дешевая» студия и непрофессиональная работа в конечном итоге могут обойтись в кругленькую сумму.

С одной стороны, motion capture существует не первый день, с другой — многие разработчики до сих пор считают технологию дорогой, нерентабельной. И это при том, что на самом деле для крупных проектов именно motion capture позволяет быстро и дешево сделать качественную анимацию. Но, конечно, только в том случае, если большая часть персонажей игры — гуманоиды. Для негуманоидов motion capture подходит далеко не всегда. Хотя бывали случаи, когда делали захват движения нескольких актеров, а затем просто составляли из них какого-нибудь многорукого, многоногого монстра. Но это скорее исключение из правила.

Пространство вариантов

Существует несколько систем motion capture, которые различаются техническими особенностями. Оптические системы бывают активными и пассивными. Пассивный захват основан на вычислении положения точек в трехмерном пространстве, снятых с разных ракурсов, по отражениям света от датчиков. Аппаратура засекает набор координат и отслеживает моменты вращения точек. Допустим, системы с датчиками типа Micron обеспечивают видеопоток в 500 кадров в секунду (обычно требуется 100-120 fps) при разрешении 1,3 мегапикселя.

Сами маркеры представляют собой небольшие пластмассовые шарики (от 3 до 25 миллиметров в диаметре), обработанные специальным материалом для усиления отражения света. Яркость видео уменьшается так, чтобы на экране не осталось ничего, кроме ярких точек. По ним получают данные движения актера и передают их компьютерной модели.

В активном захвате происходит нечто похожее, но каждая метка снабжена собственным передатчиком, который непрерывно сигнализирует о своем положении в пространстве. В активных оптических системах это источник света. А в магнитных системах motion capture вместо камер используют приемники сигналов, которые излучают датчики магнитного поля. Однако в этом случае к актеру нужно подводить электропитание. Издалека он похож на новогоднюю елку, опутанную гирляндами.

Более высокую точность обеспечивают оптические системы. Маркеры могут быть очень маленького размера (до 3 миллиметров). Пассивные системы ( Motion Analysis , BTS , Vicon-Peak ) могут фиксировать положение меток со скоростью до 2000 fps. Активные ( Visualeyez , Optotrak ) — почти вдвое больше, до 5000 fps.

Технические проблемы mocap

Несмотря на то, что технология motion capture придумана достаточно давно и программное обеспечение прекрасно отточено, при захвате движений возникает немало проблем. Более того, разные студии подходят к этому по-разному. С одной стороны, так вроде бы и должно быть: моделлеры, аниматоры, художники тоже используют разные техники. С другой стороны, технология по-прежнему не универсальна.

[Игромания] С какими проблемами сталкиваются специалисты при захвате движения? Как вы их решаете?

[Ричард] Оборудование и программы — во всяком случае, от главных производителей — развивались довольно долго. Взять, к примеру, motion capture-системы от фирм Vicon или Motion Analysis — они ведь практически безупречны. Править что-то руками приходится крайне редко, чаще всего материал готов к употреблению немедленно, без дополнительной доводки.

Теоретически можно делать захват любого движения, но на деле мы все еще сталкиваемся с проблемой перекрытия маркеров при использовании оптических систем motion capture (ситуация, когда между меткой на теле актера и камерами оказывается непрозрачный предмет). Иногда приходится специально разрабатывать сцену таким образом, чтобы система могла видеть маркеры хотя бы частично. Например, щиты для актеров, которые использовались в захвате движения для игры King Arthur: Pendragon Chronicles , пришлось делать из проволоки. Представляете, рыцари короля Артура с проволочными щитами! Перекрытие маркеров — главная проблема в оптических системах захвата. Если камера не видит их, захват в принципе невозможен. Другая проблема — физический размер области, на которой можно выполнить съемку. Объект записи должен быть в меру большим. Пока на теле можно разместить достаточное количество датчиков и они видимы для камер, никаких проблем нет. Современная аппаратура высокочувствительна, иногда даже бывают сюрпризы: мы делаем запись в таких условиях, которые кажутся просто невозможными.

[Золтан] Порой во время записи случаются сбои. Во-первых, маркеры могут перепутаться или окажутся скрытыми для камер. Во-вторых, система может ложно сработать на отраженный свет, шумы. Последствия подобных сбоев приходится исправлять вручную. Лучше получить хоть что-то, чем заново начинать работу. Удачный исход дела в первую очередь зависит от профессиональной подготовки специалистов mocap.

[Ева] Когда мультипликация хорошо спланирована, выполнить захват несложно. Мы заранее пытаемся настроить клиентов и просим продумывать «чистые» движения. Но если они хотят, чтобы актер большую часть времени ползал по полу, пусть готовятся к повторным съемкам и длительной чистке анимации.

Большинство проблем motion capture связано с непониманием девелоперами принципов работы технологии. Обычно у них есть только некое общее представление, что нужно объяснить специалистам, какое движение записать, а дальше «они уж сами как-нибудь сделают». На самом же деле работа профессионалов mocap больше похожа на труд, скажем, художников или 3D-моделлеров.

Они смогут сделать правильный захват только в том случае, если девелопер четко объяснил, как должно выглядеть движение. Описания типа «вот тут рыцарь должен выставить щит и выхватить меч» категорически не подходят. Равно как и советы в духе «маленькая девочка-припевочка весело бежит по дорожке, собирает ромашки, несет в лукошке пирожки». Нужны детальные технические описания, а желательно еще и зарисовки.

Не менее важный момент — простота движений. Сделать качественный захват последовательности «персонаж ползет на животе два метра, перекатывается влево, резко вскакивает на ноги, делая взмах руками по широкой амплитуде и при этом сморкаясь» крайне сложно. Зато эту же последовательность можно составить из простых элементов.

Лицевая анимация

Идея обособить лицевую анимацию, выделить ее в отдельное производство не нова. LifeStudio: HEAD SDK применялась для шевеления губ и управления мимикой компьютерных героев в фильмах « Властелин Колец » и Final Fantasy. Но ей не нужны живые актеры. Разработчики LifeStudio построили компьютерную модель человеческого лица, в которой движение каждой мышцы запрограммировано на определенную реакцию. Каждая «косточка» математически просчитана.

Чтобы «лицо» изобразило эмоцию, нужно набрать комбинацию команд. Основная сложность — привязать к общему «лицу» свою модель и научиться дергать «за ниточки». HEAD SDK использовалась в игре « Мор: Утопия ». Artem Digital пошла по совершенно иному пути.

[Игромания] Что представляет собой система лицевого захвата 4D Facial Capture?

[Ричард] В motion capture при обычном захвате на лицо актера приклеивают небольшое количество маркеров. Они могут передать лишь малую часть мимики. Чтобы получить лицевую анимацию высокого качества, меток требуется гораздо больше. Мы выяснили, что можно точно передать фактическое выражение лица актера в каждый момент времени, если снимать его с нескольких камер, зафиксированных в определенном положении.

Полученное видео обрабатывается специальными программными методами. Изображение покрывается сетью контрольных точек, а затем отслеживается изменение их положения относительно друг друга. Как будто на физиономии актера размещаются тысячи лицевых маркеров!

Мы уже опробовали систему в игре TOCA Race Driver 3 для Codemasters. С очень неплохими результатами закончили работу для Pivotal Games. Причем если раньше только с заранее прописанными сценами, то теперь добавим в систему скелетную анимацию. Это позволит использовать данные непосредственно в игровом движке, что открывает широкие перспективы, особенно для новых платформ (Xbox 360, PS3). Не останется в стороне и старый добрый PC. Новая система лицевой анимации будет востребована в играх с традиционно «болтливыми» NPC.

Системы записи

Принцип работы аппаратуры для mocap не менялся с момента изобретения технологии. А вот сами приборы постоянно совершенствуются. Давайте разберемся, на каких системах работают современные специалисты по захвату движения.

[Игромания] Какая аппаратура используется для захвата движения? Что выбирать?

[Ричард] Все зависит от того, что вы хотите сделать, какова конечная цель. Многие предпочитают системы, от которых легче получить данные в режиме реального времени. К ним относятся магнитные (например, Ascension , Polhemus ) или системы кинематики (вроде Gypsy ). Некоторые предпочитают аппаратуру активного оптического захвата. Она тоже неплохо работает в режиме реального времени. Но, без сомнения, наиболее широкое распространение получили пассивные оптические системы. По качеству данных они абсолютные лидеры. Мы, например, используем и оптические, и магнитные системы.

[Золтан] Магнитная система слишком чувствительна. Чтобы работать с ней, нужно исключить любое влияние постороннего электромагнитного поля. Кроме того, магнитную систему непросто настроить. Однако у нее свои преимущества. К примеру, нет проблем с распознаванием маркеров — они не перемешиваются и не скрываются от камеры за другими предметами.

[Игромания] У некоторых студий на вооружении до полусотни камер. Зачем так много?

[Ричард] Для оптических систем объем захвата четко связан с количеством камер, и все они активны во время записи. Да и число маркеров на теле актера при обычном захвате меняется редко.

Есть определенное количество точек, достаточное для описания движения (около 50). Для гарантии добавляют несколько избыточных маркеров. Впрочем, всегда есть желание поставить их немного больше. Но чем больше маркеров налеплено на актера, тем больше должно быть расстояние между ним и камерами. Слишком далеко камеры ставить тоже нельзя, магнитные датчики начнут создавать помехи, а оптические сольются в однородное светлое пятно. Вот и приходится выбирать: либо побольше маркеров и куча помех, либо небольшое число датчиков, но чуть дерганная анимация. Тем не менее техника идет вперед, мы вот разработали собственную систему 4D Facial Capture для захвата лицевой мимики.

[Ева] Мы для съемок используем 12 оптических камер Eagle (производства Motion Analysis Corporation ), такие же применяли в « Матрице ». Когда камер не хватает, арендуем дополнительное оборудование в другой компании.

Все зависит от того, сколько актеров будет работать на площадке одновременно. Три камеры способны зафиксировать на актере по крайней мере 1 маркер. Тогда система сможет «соединить» полученную информацию в единое целое. 12 камер вполне справятся со сценами, в которых участвуют один-два актера (по 45 маркеров на каждом). Если появится еще один, придется добавлять камеры.

Основные ограничения mocap — число датчиков на теле актеров; количество камер и расстояние, на котором движение может быть нормально захвачено. Чем дальше отнесены камеры от сцены, тем большее число актеров попадет в кадр, но если отнести камеры слишком далеко, то система не будет различать сигнал от разных датчиков. Приходится идти на компромисс. В некоторых случаях жертвовать детализацией, в некоторых — числом актеров и амплитудой движений.

Принципиальные ограничения

В завершение разговора о motion capture давайте разберемся в самом важном вопросе. В каких же случаях разработчикам лучше обратиться к технологии захвата движений, а когда проще (или даже нужно) использовать классические технологии 3D-моделлинга? Практика показывает, что даже профессиональные девелоперы не всегда знают ответ на этот вопрос и делают неправильный выбор. В результате страдает качество, да и с экономической точки зрения проигрыш.

[Игромания] Какую часть анимации персонажей желательно, на ваш взгляд, выполнять именно с motion capture? А где нужно вернуться к традиционным методам?

[Ричард] Конечно, мультипликация с motion capture получается намного быстрее, чем, например, при ротоскопировании. С motion capture вы получаете то, что действительно попало в объектив. Допустим, планировался удар в прыжке ровно на полсантиметра выше головы противника. Как актеру обеспечить такую точность? Не приделывать же к ноге линейку. В финале будет так, как получилось на съемках.

При ручной анимации персонажи полностью под контролем создателя. Когда имеется четкая цель и понимание того, как должен выглядеть конечный результат, хороший аниматор сделает все в лучшем виде. Зато ему потребуется очень много времени, чтобы передать незаметные характерные детали, которые придают достоверность любому движению.

[Золтан] Сила motion capture именно в ее реалистичности. Принципиальное ограничение метода в том, что нельзя повторить «мультяшных» движений. Мы не можем пригласить на съемки Винни-Пуха с кроликом Роджером. В этом случае выход один — записать в системе motion capture только ключевые, самые сложные моменты.

[Ева] Я обсуждала этот вопрос со многими аниматорами, которые профессионально работают с захватом движений. При всех плюсах, отмеченных коллегами, они замечают общую нехорошую тенденцию. Традиционная мультипликация начинает использоваться как дополнение к mocap. Молодежь хочет быстрых чудес и не желает слушать старых мастеров. В погоне за скоростью искусством жертвуют в пользу технологичности. Так постепенно из анимации уходит душа.

Ротоскопирование

Ротоскопирование пришло в компьютерные игры из Голливуда. Метод изобрели давно, еще в эпоху немого кино. Именно там впервые были использованы компьютерные спецэффекты, для чего в каждом кадре вручную дорисовывали нужные детали (или убирали лишнее). В компьютерной анимации, как правило, под ротоскопированием понимается покадровый вывод на экран (механизм Display Background ) реального видео и последующую ручную подгонку модели под положение частей тела актера. Это очень долгий и трудоемкий процесс.