performance capture что это
Как оживают мечты: технология захвата движений
Любуясь грацией героев Assassin’s Creed или глядя на немного неуклюжую походку Натана Дрейка из Uncharted, мало кто задумывается о том, что каждое движение героев на экране — результат труда сотен людей. Без технологии, которая пару десятилетий назад казалась фантастикой, нынче трудно представить любую крупнобюджетную игру. Вспомните только прошлогодние The Last of Us или Grand Theft Auto 5, где исполнители главных ролей не просто зачитывали свои реплики в микрофон, а полноценно играли: носились по сцене, трясли руками и переворачивали стулья. Ну а при разработке Beyond производился захват не только движений тела, но и мимики актеров.
Сегодня motion capture используется чуть ли не везде — от медицины и до спорта. Однако нас в первую очередь интересует, что эта технология может дать искусству.
Что это такое и с чем его едят?
Для начала разберемся, как производится motion capture. Как правило, на особым образом оборудованной съемочной площадке (нужен очень хороший свет, специфические «декорации» и, желательно, одноцветный фон) устанавливаются камеры, считывающие круглые маркеры («шарики для пинг-понга», как их часто называют) с костюмов актеров. Результат накладывается на трехмерные модели, и они «оживают».
Казалось бы, дело сделано. Как бы не так — это лишь первая стадия. После захвата движений аниматорам предстоит долгая и кропотливая работа над плавностью и правдоподобностью перемещений героя — технология все-таки не совершенна. К тому же порой во время постпродакшена авторы решают что-то подправить, убрать, заменить — сгиб локтя, поворот головы, детали в походке, да что угодно! А уж если актер играл не человека, а какое-нибудь существо — скажем, дракона или гориллу, — от изначальной анимации остается лишь основа. Итогом всех этих трудов и становится волшебный результат: фантазии, крутившиеся в голове режиссера (сценариста, геймдизайнера), воплощаются в реальность на мониторе компьютера.
Разновидностей систем для захвата движений сегодня масса. Самые популярные — маркерные. Среди них есть пассивные, когда «шарики» передают информацию о своем положении, отражая посланный им инфракрасный свет (после записи яркость уменьшают до такой степени, что на экране не остается ничего, кроме блестящих точек). Есть активные, где вместо светоотражающих маркеров используются светодиоды, снабженные собственными процессорами и радиосинхронизацией. А еще применяют магнитные (местоположение маркеров вычисляется по искажениям магнитного потока) и гироскопические (данные сенсоров передаются напрямую компьютеру) маркеры и даже целые механические костюмы.
У каждой системы свои преимущества и недостатки. Пассивные, например, точны, но если маркер чем-нибудь перекрывается от объектива камеры — сигнал не засчитывается, а что до магнитных, там любые помехи скажутся на качестве захвата.
Наконец, есть и вовсе безмаркерные системы, использующие дорогие и сложно устроенные камеры, и, по словам их создателей, они «дешевле, точнее и удобнее» классического motion capture. Загвоздка в том, что в большинстве случаев между дешевизной, качеством и удобством приходится ставить «или», а не «и».
Но оборудование эволюционирует, и если раньше даже на специальных студиях аниматоры сталкивались со множеством проблем, то постепенно системы становятся точнее, камеры способны работать на все больших расстояниях, а захват мимики перестал быть настолько затруднительным (хотя по-прежнему остается самым сложным).
С чего все начиналось
Началом истории motion capture с некоторой натяжкой можно считать 1915 год, когда знаменитый новатор анимации Макс Флейшер изобрел технику ротоскопирования: сперва производилась съемка с вполне себе живым человеком, а потом «фильм» проецировался на стекло и художник кадр за кадром все обрисовывал. Для создания первого мультфильма при помощи ротоскопа понадобился год и 2600 кадров — и это при хронометраже в минуту!
Но технология совершенствовалась, мультсериал Флейшера Out of Inkwell про приключения клоуна завоевал большую популярность, и в том или ином виде ротоскопирование стали применять почти все, включая студию Уолта Диснея. Однако сейчас технология если и используется, то в других целях: искусственно увеличить массовку, добавить какие-то свечения во время постпроизводства, и так далее.
Следующий толчок сделали в 1970-х, и, как ни странно, вовсе не киношники, а… врачи-кинезиологи, в чьи обязанности входит изучение и лечение нашего опорно-двигательного аппарата. Именно они первыми додумались крепить к телу пациентов (а на самом деле испытуемых) потенциометры и, считывая с них данные, с помощью компьютера оцифровывать движения.
Метод начали заимствовать все кому не лень, попутно внося усовершенствования. Со временем появились системы, основанные на светодиодных маркерах и различных светоотражающих элементах (результат выходил не очень точным и требовал последующей «очистки»), а в 1983 году была разработана уникальная в своем роде система Graphical Marionette, которая с горем пополам рендерила анимированных таким образом персонажей. Но до этапа, когда motion capture стали применять в кино и играх, прошло еще много времени. Лишь в середине девяностых стало ясно, что технология готова к коммерческому использованию.
О захвате движения в кино
В кино motion capture в привычном для нас виде впервые использовали в 1990 году в фильме «Вспомнить все» с Арнольдом Шварценеггером в главной роли. Несмотря на то, что в плане спецэффектов картина во многом была прорывной (аниматроника, сложный грим и эффект миниатюры соседствовали с редким на тот момент CGI), анимированные с помощью технологии захвата движений персонажи выглядели, чего уж греха таить, не очень правдоподобно.
Что касается действительно громких ролей performance capture (это когда производится передача не только движений, но и мимики с голосом), то их пришлось ждать вплоть до 2002 года, когда посетители кинотеатров увидели Голлума во «Властелине колец» Питера Джексона. Да, удачные примеры были и до того — например, в фильме «Звездные войны: призрачная угроза» (1999). Однако только Голлум смог заставить всех поверить, что будущее наступило, а многие критики наперебой кричали о том, что исполнителю этой роли Энди Серкису обязательно надо вручить премию «Оскар». К сожалению, представители Американской академии кинематографических искусств и наук не прислушались — по их мнению, актер должен присутствовать на экране во плоти, а вся эта цифровая ересь вовсе не игра.
Первое время на съемочной площадке даже самому Серкису казалось, что он занимается чем-то нелепым. Однако именно благодаря богатству его пластики, голосу, а также невероятной работе художников и аниматоров даже сейчас, спустя десяток с лишним лет, Голлум производит сильное впечатление. По словам Питера Джексона, он был настолько поражен талантом Энди, что дал команде аниматоров установку: сделать мимику и внешность персонажа как можно более близкими к мимике и внешности актера.
Как мы сегодня знаем, решение было правильным, но впечатляющий результат давался нелегко: все сцены снимались по несколько раз, с Серкисом в белом костюме и остальными актерами, без Серкиса, но с остальными, и, наконец, с одним лишь Энди Серкисом в студии, увешанным кучей светоотражающих шариков. Что забавно, по признанию самого актера, съемки велись на каком-то заброшенном складе, камер было мало, а компьютеры висли чуть ли не каждые полчаса.
Уже в следующем фильме Джексона, «Кинг-Конге» (2005), где роль огромной гориллы тоже досталась Серкису, в специальном павильоне было уже 52 камеры, считывающих движения актера, и еще двадцать отвечали за лицо. Но сам процесс мало изменился: часть времени Серкис работал вместе с коллегами по фильму в специальном «мускульном» костюме гориллы, а часть — в одиночестве, обвешанный различными маркерами.
Отдельного упоминания заслуживает и стадия подготовки к съемкам. Дав согласие на роль, Серкис прочитал кучу книг и пересмотрел множество документальных фильмов о приматах, но самое главное — два месяца провел в лондонском зоопарке в компании нескольких горилл, чтобы изучить их поведение и понять, как исполнить столь необычную для него роль.
А уж как странно выглядел сам процесс съемок! Серкис, опираясь руками на специальные полозья или перемещаясь с помощью протезов, удлиняющих руки, имитировал движения гориллы, взаимодействовал с различными конструкциями, изображавшими деревья и дома, и даже подарил Кинг-Конгу свою мимику (для этого была написана специальная программа, которая переводила изменения человеческого лица в гримасы на морде Кинг-Конга)!
Единственные сцены, в которых создателям фильма пришлось отказаться от motion capture, — это драки с динозаврами. «Горилла» у Питера Джексона была, а вот найти человека, который смог бы правдоподобно изобразить тираннозавра, — та еще задачка.
За год до «Кинг-Конга» на экраны вышел «Полярный экспресс» Роберта Земекиса, в котором performance capture использовался для всех без исключения персонажей. Это спровоцировало море разговоров о смерти традиционного кинематографа и переходе от него к цифровому (но риторика, что забавно, была примерно такой же, как после выхода фильма по Final Fantasy в 2001-м).
Были и «Пираты Карибского моря: сундук мертвеца» (2006) с, без преувеличения, шикарным Дэви Джонсом. Ну а еще через какое-то время все принялись удивляться снятому в 3D «Аватару», после которого мир кино, как казалось некоторым, уже не будет прежним (а на деле мы увидели только несколько очень красивых фильмов вроде «Гравитации» и «Жизни Пи» да волну ширпотреба, быстренько конвертированного в 3D).
Что касается дня сегодняшнего, то самый актуальный пример использования mocap в кино — выходящий в скором времени блокбастер «Планета обезьян: революция». Именно «Обезьяны» в полной мере отражают то, насколько за эти годы эволюционировала технология, ведь большая часть съемок прошла не в закрытых павильонах, а в самых настоящих лесах, городах и так далее. Учитывая, что раньше даже съемки в специально оборудованном зале давались с большим трудом, наблюдать за тем, как сегодня они проходят на природе, удивительно.
А вот участие в проекте Энди Серкиса — нет. Прошло уже больше десяти лет, но в мире так и не появилось большего профессионала на этом поприще. Именно Серкису досталась роль Цезаря — обезьяны, которой предстоит стать ключевой фигурой в назревающем конфликте между людьми и приматами. И эта роль — очередное доказательство того, насколько тяжелую работу проделывают актеры performance capture и насколько удивительные результаты она приносит.
Серкису, у которого за плечами уже был опыт игры дальних предков человека («Восстание планеты обезьян», «Кинг-Конг»), недостаточно было «лишь» сымитировать поведение обезьяны — в фильме приматы эволюционировали в высокоразвитое общество с собственным укладом жизни и языком. Необходимость показать в персонаже как интеллект, свойственный Homo sapiens, так и звериные черты — главная сложность этой роли. Удалось ли Серкису справиться со своей задачей, мы узнаем уже совсем скоро.
О захвате движения в играх
Энди Серкис внес немалый вклад и в развитие индустрии видеоигр. Сотрудничество началось почти случайно. Дело в том, что ипотечный брокер, услугами которого пользовался актер, оказался братом одного из разработчиков Heavenly Sword (2007), готовящегося на тот момент эксклюзива для PS3. Именно он показал Серкису трейлер, который произвел на того такое сильное впечатление, что встреча с Ninja Theory, авторами игры, стала лишь вопросом времени.
В итоге он не только блестяще изобразил короля Бохана, главного злодея игры, но и приложил руку чуть ли не ко всем ключевым сценам в качестве режиссера. А затем исполнил запоминающуюся роль Обезьяны (да-да!) в Enslaved: Odyssey to the West. Во втором проекте влияние Серкиса ощущалось еще сильнее, и во многом благодаря ему игра оказалась такой хорошей.
Но до перехода к сложному performance capture наша любимая индустрия прошла длинный путь. Поначалу лучшей анимации получалось добиться при помощи ротоскопирования. Самый яркий пример — Prince of Persia (1989). Автор игры Джордан Мехнер обрисовывал движения своего младшего брата, а также кадры из некоторых фильмов — к примеру, «Приключений Робина Гуда» (1938).
В 1993-м Мехнер пошел еще дальше: он основал новую компанию, выбил немыслимый бюджет в шесть миллионов долларов и на протяжении целого месяца вел съемки с живыми актерами. Четыре года спустя полученный материал стал основой для одной из самых необычных и недооцененных игр в истории — The Last Express. Она поражала своим сценарием и концепцией (все происходило в реальном времени — и это семнадцать лет назад!), а также очень необычной стилистикой, напоминавшей ожившую раскраску (ближайший аналог из мира кино — «Помутнение» Ричарда Линклейтера).
Впрочем, все то время, что понадобилось Мехнеру на The Last Express, индустрия не стояла на месте. Хороший motion capture демонстрировали Mortal Kombat (1992), Rise of the Robots (1994) и трехмерная Highlander: The Last of the MacLeods (1995). Но до момента, когда технология захвата движений смогла избавить разработчиков от утомительного ручного труда (который к тому же не обеспечивал правдоподобности), опять же прошло много лет.
По большому счету, лишь в конце нулевых анимация в играх стала действительно качественной, а реалистичные эмоции виртуальных актеров мы увидели совсем недавно. Лучший пример — симулятор детектива в Лос-Анджелесе 1940-х годов L.A. Noire. Разработчики загорелись идеей сделать допросы по-настоящему эмоциональными и натуралистичными, чтобы по мимике подозреваемого можно было понять, врет он или нет, а потому не поскупились на новомодную технологию MotionScan, созданную австралийской компанией Analysis. С ней для захвата движений не нужны ни маркеры, ни смешной костюм, ни какая-либо «очистка» данных. Лишь одна ярко освещенная комната и тридцать две камеры очень высокого разрешения, снимающие с частотой 30 кадров в секунду. Ну и сидящий неподвижно в центре этой импровизированной сцены актер, разумеется. Камеры охватывают его лицо со всех возможных углов, и на выходе получается очень живая анимация, повторяющая любое, даже самое незначительное движение.
Правда, несмотря на высочайшее качество анимации, получаемое таким способом, минусов у MotionScan тоже хватает. Во-первых, актеров нужно гримировать перед съемкой, сделать какого-нибудь фэнтезийного героя достаточно сложно. Во-вторых, проводить «захват» приходится в два этапа: сначала классический motion capture для движений тела, а затем — болтология в кресле. После этого «говорящую голову» сажают на плечи компьютерной модели. Как правильно отметил Дэвид Кейдж, это делает верхнюю и нижнюю части персонажа несколько обособленными. В повседневной жизни мы постоянно наклоняем голову в разные стороны во время разговора, а когда сидишь в кресле, менять положение нельзя. Да и роль «тела» зачастую «играет» совсем другой человек, дублер или каскадер.
К мнению геймдизайнера стоит прислушаться, он знаком с технологиями захвата движений не понаслышке. В его Beyond: Two Souls был выполнен самый большой объем motion capture за всю историю игростроения. За время съемок была проведена работа над более чем тремя сотнями персонажей, создано 23 000 уникальных анимаций, а сам процесс растянулся на целый год. Впрочем, немудрено: игра Quantic Dream не принадлежит ни к шутерам, ни к боевикам, в которых многие действия повторяются, — это интерактивное кино, где каждое сражение, прыжок и открытие двери должны быть уникальными.
Более того, Quantic Dream — одна из немногих компаний-разработчиков в мире, где умеют делать качественный performance capture. Одновременная запись движений тела, лицевой анимации и голоса позволяет сильно ускорить производство и полностью сконцентрироваться на главном — работе с актерами и сюжетом. Это особенно важно, когда в проекте участвуют такие титаны, как Уиллем Дефо и Эллен Пейдж. К слову, по признанию Дэвида Кейджа, он писал сценарий, держа в голове только Эллен Пейдж как исполнительницу главной роли, и никого иного.
Калифорнийцы из Naughty Dog исповедуют немного другой подход. В их играх актеры не дарят персонажам мимику и внешность (художники рисуют концепт-арт задолго до кастинга), хоть и полностью выкладываются на съемочной площадке в присутствии требовательного режиссера. Скажем, те же слезы актера на площадке никто не оцифрует, однако, чтобы правдоподобно передать настроение, заплакать ему необходимо.
Но если мимика исполнителей ролей не фиксируется камерами, то почему в той же The Last of Us такая высококачественная лицевая анимация? Ответ поражает — все делается вручную, по старинке. Каждый раз, когда Джоэл морщит лоб или поджимает губы, — это результат работы команды аниматоров.
Быть актером performance capture нелегко. Вы должны представить, что нелепая конструкция из металла — это машина, кусок картона, который нужно с аппетитом жевать, — пицца, а стоящая в дурацком «костюме водолаза» партнерша — настоящая красавица. При этом требования к качеству исполнения те же: героя необходимо наделить характером, эмоциями и душой, как в любом фильме или театральной постановке, только вот уловить суть роли куда труднее, когда вокруг нет нормальных декораций и реквизита.
Как говорит Энди Серкис, игра актера в кино всегда будет зависеть от слаженной работы множества людей — аниматоров, костюмеров, гримеров, специалистов, отвечающих за освещение, монтаж и спецэффекты. В некоторых сценах актеров подменяют трехмерными моделями, какие-то трюки отрабатывают дублеры, сложный грим скрывает половину лица, но все это не мешает Американской академии кинематографических искусств номинировать исполнителей таких ролей на «Оскар». А специалистам performance capture вроде того же Серкиса отчего-то отказывают в соперничестве с коллегами или хотя бы в выделении отдельной номинации. Хочется верить, что скоро все изменится.
Как работает Motion Capture: эволюция и закулисье
В первой части материала мы вместе со специалистами разбираем современное состояние одной из важнейших технологий в индустрии развлечений и специфику работы с ней.
Появление Киану Ривза на презентации Cyberpunk 2077 вызвало фурор, а касту и режиссуре Death Stranding позавидует любой блокбастер. Работа с Motion Capture давно стала для популярных актёров такой же обыденностью, как грим и костюмы. В кино Энди Сёркис и его коллеги давно отстаивают своё право на конкуренцию с другими актёрами за «Оскар», а звёзды Голливуда всё чаще участвуют в создании игр.
В недавнем видео мы уже рассказывали о зарождении технологии захвата движения и о том, как она устроена. В рунете также полно материалов об истории создания мокапа и его лучших воплощениях в кино. Но что стоит за костюмами для захвата движения и как широко может применяться технология? Попробуем разобраться в тонкостях работы с мокапом вместе с экспертами из индустрии: мокап-аниматором Сергеем Лобанковым, руководителем студии Watt Сергеем Томским и специалистом компании Mocap Tech Иваном Кириенко. Первая часть двухсерийного материала посвящена эволюции технологии и специфике работы с ней.
Историю мокапа часто ведут с возникновения ротоскопа в начала прошлого века с его применением в диснеевских мультфильмах. А в качестве важных современных вех приводят рождение термина Performance Capture — с полноценной игрой и режиссурой виртуального пространства в реальном времени, как в «Аватаре» или трилогии «Планета обезьян».
По мере развития инструментарий технологии только расширяется. Дебютное появление мокапа в кино случилось в сцене «Вспомнить всё» — это была анимация скелета, которую «оживила» игра Арнольда Шварценеггера.
В «Парке Юрского периода» с помощью захвата движения актёров и специальных фигурок доводили до идеала поведение динозавров. В «Мумии» и первом эпизоде «Звёздных войн» мир увидел CGI-персонажей, которые полноценно взаимодействовали с актёрами и окружением. До нового уровня, который до сих пор служит образцом, это довела команда «Властелина колец» — работа над созданием Голлума сделал актёра Энди Сёркиса настоящим королём мокапа.
Помимо захвата актёрских движений и совершенствования мимики мокап применялся и довольно функционально: например, чтобы размножить массовку. Впервые с помощью мокапа скопировали персонажа Вэла Килмера в «Бэтмен навсегда», а затем трюк с Ctrl+C — Ctrl+V в большем масштабе повторили в «Титанике» и «Гладиаторе», где размножили до массовки небольшую группу людей.
Есть несколько важных вех в истории развития мокапа в кино — от первого популярного реалистичного мультфильма Final Fantasy до противоречивого омоложения культовых актёров в «Ирландце». Спектр использования технологии сегодня настолько широк, что часто её применяют как вспомогательный инструмент для создания графики.
«Основное применение мокапа — это запись движения актёра для анимации персонажей. Довольно часто записывают животных, лошадей и собак. Иногда мокап данные используют как референс для дальнейшей ручной анимации персонажей, например для «Притяжения» мы снимали движения акробата, которые стали некой основой для движения пришельца. Основное преимущество мокапа заключается в том, что аниматор сразу получает правильный вес и тайминг персонажа. Реалистичные движения чаще всего не такие плавные и точные, как в мультфильме, и как раз эту погрешность, жизненность, довольно сложно бывает анимировать руками».
История эволюции технологии в играх даже богаче, чем в кино. Ещё в 1989-м году создатель «Принца Персии» Джордан Мехнер создал фундамет для будущей технологии. Молодой разработчик снял несколько часов видео, где его младший брат бегал, прыгал, подтягивался и фехтовал, а затем с помощью ротоскопирования перенёс движения на игровую анимацию.
Следующий большой шаг в сторону мокапа — оцифровка изображения. Яркий пример — серия Mortal Kombat, для создания которой снимали реальных бойцов и актёров на фоне хромакея, после чего полученные кадры оцифровывали. Система и принцип работы актёров с тех времён остались примерно теми же — монотонный длительный процесс записи однообразных движений, во время которого нельзя выходить из образа. Авторы Mortal Kombat позже даже ввели шуточного секретного персонажа под названием Мокап, который выглядит как обычный актёр в костюме для захвата движений.
Впервые же именно технология захвата движения была использована тоже в файтингах и по тому же принципу — в играх Rise of Robots, Soul Edge и Virtua Fighter 2, которые использовали CGI-спрайты вместо классического пиксель-арта и отличались 3D-анимацией.
Первой, кто сделал всю игровую анимацию полностью на основе технологии Motion Capture, стала студия Quantic Dream, выпустившая в 2005-м году Fahrenheit. Вместе с этим родилось целое направление кинематографичных игр, кульминацией которых является недавняя Death Stranding.
Важным прорывом как для игр, так и для мокапа в целом стало изобретение системы MotionScan во время разработки L.A. Noire. Один из важных элементов игры — это умение распознать ложь по мимике персонажей. Поэтому перед разработчиками встала непростая задача максимально точно передать движения лицевых мышц актёров. На создание прорывной технологии понадобилось семь лет — зато с тех пор актёрам не требуется носить маркеры на лице, ведь всю мимику одновременно сканируют 32 камеры.
Современные движки, вроде Unreal Engine 4 упрощают и ускоряют работу над мокапом, потому что помогают в предвизуализации и позволяют сразу увидеть всю сцену. Сегодня работать с мокапом стало значительно проще, чем десять лет назад — актёры могут видеть свои 3D-аватары и окружение прямо на площадке.
С развитием технологий и графики, как в играх, так и в кино, всё чаще вместо Motion Capture употребляют сочетание Performance Capture. Таким образом подчёркивают заслуги актёров — как тех, что отвечает за движения персонажей, так и знаменитостей, дарящих компьютерным моделям лица и голоса. Сотрудничество с десятками или даже сотнями актёров давно стало неотъемлемой частью производства, а для Киану Ривза или Мадса Миккельсена участвовать в разработке игры сегодня так же захватывающе, как и сниматься в блокбастере.
«За последние 10 лет активное развитие получили инерционные костюмы, типа Xsens и Rokoko. В маркерном мокапе сильно улучшился софт, алгоритмы солвинга стали умнее. Solving — этап создания скелета актера (или животного), когда система распознает какой маркер должен двигать какую кость, и, в случае потери маркера из вида, автоматически достраивает движение. Мокап теперь можно писать сразу в игровых движках, активно развивается направление виртуального производства — где мокап используется для захвата движения камеры на съемочной площадке. Технологии мокапа начали появлятся в телефонах, Arkit позволяет трекать как положение смартфона в пространстве, так и лицо и тело человека. Стоит отметить, что стоимость оборудования стала существенно меньше».
Основная тенденция в развитии мокапа — упрощение технологии производства и предоставление актёрам большей свободы. Сегодня инструменты позволяют снимать в большом спектре даже естественных локаций (в том числе под водой) и почти не сковывать себя в движениях. Один из самых доступных и удобных сегодня вариантов — это инерционные системы захвата движений, как, например, Xsens MVN Animate. Благодаря датчикам, расположенным в костюмах, она позволяет работать в неограниченной по площади рабочей зоне.
«Наша команда более 10 лет занимается поиском классного и инновационного оборудования по всему миру и помогает применить его российским клиентам в различных сферах деятельности. Несколько лет назад мы наткнулись на систему Xsens в качестве инструмента для анализа биомеханики человека (в основном в спортивной науке и реабилитации). С тех пор, мы успешно сотрудничаем с Xsens во всех направлениях использования системы — спортивная наука и медицина, эргономика на производстве и 3D-анимация персонажей.
Самой главной особенностью систем мокапа от Xsens является мобильность без потери качества. Систему можно развернуть там, где оптические системы установить просто невозможно или же крайне затратно с точки зрения финансов. Например: внутри автомобиля (технически невозможно), в аэротрубе (технически невозможно), в помещениях на несколько этажей/с высокими потолками/с разным количеством комнат или других помещений (требуется большое количество дорогостоящих камер).
Кроме мобильности, важен и ещё один аспект — качество анимации остается на достаточно высоком уровне, и не требует долгой чистки. Тем самым достигается идеальный баланс трех факторов — мобильность (удобство использования)/качество анимации/цена. На выходе получаем высокую эффективность. Использование систем Xsens экономит время и деньги наших клиентов, а, как мы знаем, для индустрии gamedev’а это особенно важные ресурсы».
Студии часто публикуют различные видео и репортажи со съёмок, показывая, как выглядит работа с мокапом изнутри. Но это не более чем иллюзия и грамотная маркетинговая стратегия. Реалии производственного процесса раскрываются нечасто, а подробно о процессе создания мокапа для популярных игр или фильмов почти никогда не рассказывают.
Известно, что это трудоёмкий и специфический процесс, где намного больше рутины и чисто функциональных задач, чем магии. Даже при быстром развитии технологий сегодня мокап несовершенен и создаёт множество неудобств во время работы.
«Основная трудность — потеря данных, когда камеры не видят маркер. Поэтому приходится изобретать декорации из сетки, ставить камеры по кругу, ограничивать количество актеров и прочее. Следующая трудность заключается в корректной передаче данных на персонажа. Мы стараемся понять, как двигаются кости актёра, но маркер прилеплен к костюму, который находится поверх мышц или жира, и только где-то под нимикость. В итоге мы изначально имеем погрешность данных.
Далее нужно это передать на персонажа, который чаще всего не совпадает по пропорциям, а даже если совпадает, человеческий скелет движется сложнее, чем 3D-шный. Особо сильно это заметно в плечах и позвоночнике. Ну и пальцы. Все хотят снимать классные пальцы рук, но пока это очень сложно технологически. Инерционные перчатки не дают точности результата, а маркеры постоянно пропадают».
Это лишь часть трудностей и непростых задач, с которыми сталкиваются мокап-аниматоры сегодня. Мы видим, как правило, только перфоманс актёров и конечный результат, но не очень понимаем, что именно происходит на этапе непосредственного использования технологии Motion Capture. Чтобы закрыть этот пробел, мы попросили одного из главных специалистов по мокапу в России Сергея Лобанкова рассказать о производственном процессе и его особенностях в нашей стране.
«Площадка, камеры, маркеры, реквизит— это всё инструменты. Но на инструменте надо уметь грамотно работать. Важно так снять и получить такой материал, который потом не приходилось бы долго обрабатывать. А именно: а) получить качественный материал мокап-данных (без шума, без «дрыжков», без выкручивания скелета модели ); б) правильно и выразительно отыграть действия. На эти две составляющие и разделяется процесс производства мокапа.
Надо разбираться в процессе правильного размещения камер на площадке. Задача мокапа — захватить движения, то есть получить отражённый сигнал от маркера. Поэтому камеры надо расставить так, чтобы получить хорошую зону захвата. Луч, исходящий от камеры, начинается с точки, а потом рассеивается — значит, между лучами будут зазоры. И надо расположить камеры так, чтобы этих зазоров (мёртвых зон) было как можно меньше. Существует много тонкостей в расположении и настройке камер, их надо понимать.
В процессе производства всё важно: от расположения камер на площадке до верно выбранного положения актёров для лучшего захвата движения. И, конечно, необходим опыт и понимание, каким образом замокапить то или иное действие, которое совершает персонаж в кадре. Существует много хитростей и приёмов, которые мы используем во время съёмок. Например, мы недавно снимали сцены для заставок Первого канала — анимацию с белками. Их показывают обычно по ТВ в новогодние праздники. Была задача: сделать так, чтобы белки ползали и прыгали по стеллажам. Причём заказчикам хотелось, чтобы белки подтягивались и именно ползали по вертикали. Понятно, что сделать это непросто — мы же не можем строить огромные стеллажи и по ним ползать вертикально как белки. Мы использовали хитрость: актёр полз по полу, перебирая руками и ногами как белка лапами. А мы уже потом поставили отыгранного персонажа вертикально. В кадре убедительно смотрелось, что белка ползёт по стеллажу.
Это не то же самое, что показывают в ролике со съёмок, где Бенедикт Камбербэтч играет дракона. Он тело дракона не отыгрывал. Если смотреть не на него, а обратить внимание на экраны, которые расположены на площадке, то видно, что никакого дракона там нет, а просто трёхмерная модель человечка, который делает всё то же самое, что Камбербэтч. К движению дракона это не имеет никакого отношения — у дракона совсем другое строение скелета и другая механика передвижения. Бенедикту честь и хвала — он пробовал поймать органику и характер этого существа, чтобы определить и подобрать верное поведение, что помогло ему во время озвучки этого дракона. Ну, и, на мой взгляд, это некий маркетинговый ход, чтобы все говорили о том, что Камбербэтч сыграл дракона. На самом деле, всё анимировали руками. Но ход, по-моему, сработал, если это до сих пор упоминают.
Если говорить о том, как и сколько всё делается мокапом у нас, то индустрией это пока рано называть — слишком мал спрос и толком нет специалистов. В России с мокапом мы начали работать первыми, было это в далёком 1997-м году. Тогда ещё использовалась электромагнитная система — на ней работать сложнее, чем на оптике. Там не те возможности, но трудности закалили нас. Поработав на ней 15 лет, я получил колоссальный опыт. Тогда мы и открыли для себя различные съёмочные приёмы и очень многому научились.
В том 1997-м году мы участвовали в создании телепередачи для ОРТ (тогда так назывался Первый канал) «Чердачок Фруттис». Это был первый опыт оживления цифровых персонажей с помощью мокапа. В кадре с живыми людьми общались виртуальные герои мультфильмов Александра Татарского Шеф и Коллега. В передаче в качестве гостей участвовали звёзды и медийные персоны. А мокап использовали, потому что делать анимацию надо было быстро. Выработка одного среднего аниматора даже сегодня, если я не ошибаюсь, три секунды в неделю. А нам нужно было в конце недели выдавать в эфир 23 минуты. Плюс не надо забывать, что в то время не только аниматоров, но и моделеров и других специалистов CG сильно не хватало. А позже, когда мы выпускали передачу «Тушите свет» с Хрюном и Степаном, нужно было выдавать 15 минут в ежедневный эфир. Руками это было сделать невозможно, поэтому и была приобретена мокап-установка. Эта технология во многом для того и существует — чтобы ускорить производство больших объёмов анимации.
До съёмок тоже проводится подготовительная работа. Сначала идёт разбор с режиссёром, что и как мы будем снимать. Иногда в ходе обсуждения выясняется, что какие-то задачи выполнить невозможно — увы, мы не всесильны, не всё возможно сделать в мокапе. Если таких проблем нет, то мы дальше обсуждаем, сколько человек потребуется и какими силами можно снять сцену, ищем постановочное решение, находим подходящие приёмы. Так же и актёрам всё заранее объясняется, чтобы на площадке не было неожиданностей и каждый знал, что делать.
Дальше актёры на площадке выполняют поставленные творческие и технические задачи. Есть аниматики и лэйауты, по которым отыгрываются сцены. Первая попытка — это обычно как репетиция: отыграли, посмотрели анимированную сцену, увидели какие-то недостатки, переиграли заново с их учётом. В этом как раз преимущество работы с мокапом. Можно сразу увидеть отыгранный дубль.
Иногда придумываются приёмы прямо на площадке, за счёт которых можно сыграть специфичные вещи. При создании анимационного фильма «Необыкновенное путешествие Серафимы» нужно было сделать сцену, где женщина держит пятилетнюю девочку на руках, а потом приходят чекисты и их разъединяют. Что в такой ситуации делать? Маркировать женщину и пятилетнюю девочку? Но где найти пятилетнюю девочку-актрису именно для мокапа? Но даже если мы замаркеруем девочку, то сидя на руках, будет перекрываться много маркеров и у неё, и у мамы. Значит «по правде» это сыграть нельзя.
Поэтому мы придумали один приём. Всё играли два взрослых человека. Мы стояли рядом на небольшом расстоянии друг от друга. Я играл за маму, а девушка актриса отыгрывала девочку. Я стоял в позе, держащей девочку на руках — это тоже не так просто, надо понимать всю физиологию. А девушка заняла позу как бы сидящей на руках девочки и обнимающей шею мамы. А мокап-оператор в кадре на компе это всё соединил и получилась нужная мизансцена мамы с девочкой на руках. Вот так мы вышли из положения. В сцене всё получилось убедительно.
При создании таких сцен надо понимать все тонкости форм и пластики. Плюс мы в таких сложных сценах каждый момент отслеживаем через мониторы, которые расположены по всему периметру площадки. Это очень помогает ориентироваться — подобную сцену невозможно сыграть, не видя что происходит в кадре. Есть очень много условностей, которые актёр должен учитывать, при этом не выходя из процесса игры.
Как правило, мы работаем не больше шести часов. Не из-за физической усталости, а из-за напряжения, связанного с концентрацией внимания. Ты должен всё время наблюдать в монитор, всегда держать игру, учитывать, что руками нельзя «протыкать» тело своего персонажа, ориентироваться в виртуальных локациях, реагировать на звук, под который играешь и так далее»
В продолжении материала мы подробнее расскажем об особенностях работы актёров мокапа и обсудим со специалистами будущее технологии.