nvidia broadcast что это
Превратите свой дом в студию для стриминга с функциями на базе ИИ в NVIDIA Broadcast
В этом году стриминг переживает скачок популярности: число стримеров в Twitch выросло на 89%, а зрителей — до 56%. Присоединяются и звезды из всех сфер: от Терри Крюса (Terry Crews) до Post Malone и Logic.
Мы оснастили видеокарты GeForce RTX 20 новым кодировщиком NVIDIA (NVENC), который обеспечивает отличное качество видео и позволяет разгрузить процессор, чтобы повысить частоту кадров в играх. Мы также тесно сотрудничали с разработчиками топовых стриминговых приложений, таких как OBS, Discord, Streamlabs, Twitch Studio и Xsplit, чтобы повысить качество трансляций.
Хотя мы улучшили качество кодирования видео, это лишь одна составляющая хороших стримов. Качество звука, камера и визуальный ряд также играют важную роль для привлечения подписчиков. Однако не все могут позволить собственную студию или дорогие камеры, микрофоны и хромакей, чтобы повысить качество своих стримов.
С выходом видеокарт GeForce RTX 30 у стримеров появится еще больше возможностей улучшить качество трансляций при помощи нового приложения NVIDIA Broadcast. Оно превращает любое помещение в студию для стриминга и трансформирует стандартные веб-камеры и микрофоны в смарт-устройства при помощи ИИ.
Приложение Broadcast содержит три инструмента на базе ИИ:
Эти возможности можно использовать не только для стриминга, но и для видеоконференций в Zoom или игр с друзьями в Discord.
NVIDIA Broadcast — это универсальный плагин, который работает с самыми популярными приложениями для стриминга, видеоконференций и голосовых чатов. Оно поддерживается всеми видеокартами NVIDIA GeForce RTX, TITAN RTX и Quadro RTX и обеспечивает работу моделей ИИ в реальном времени при помощи процессоров для обработки алгоритмов ИИ (тензорных ядер) в видеокартах RTX.
Новые видеокарты GeForce RTX 30 объединяют лучший в отрасли аппаратный кодировщик и обработку видео и голоса на базе ИИ в приложении NVIDIA Broadcast, которое позволит стримить на уровне профи. Скачать приложение NVIDIA Broadcast можно будет в конце этого месяца.
Виртуальный фон и шумоподавление в новом приложении от Nvidia
Nvidia анонсировала новый плагин: NVIDIA Broadcast. Это плагин, который устраняет звуковой шум, заменяет фон в кадре на виртуальный, а также кадрируется на вашем лице. В этом материале мы подробнее расскажем о этих функциях, а также о том, на каких устройствах и когда ждать приложение.
1 сентября прошла презентация от Nvidia, на которой показали новые видеокарты серии RTX 30. Если кратко: они лучше и дешевле собратьев 20-й серии. Вместе с видеокартами произошёл анонс Nvidia Broadcast. Это приложение, которое нацелено на стримеров, но использовать его сможет любой обладатель видеокарт NVIDIA GeForce RTX, TITAN RTX и Quadro RTX. В фундаменте Nvdia Broadcast находится другое приложение – RTX Voice.
RTX Voice – приложение, которое использует графические процессоры NVIDIA RTX и возможности искусственного интеллекта для удаления фонового шума из трансляций, голосовых чатов и видеоконференций.
Nvidia Broadcast показывает ещё большую функциональность. Оно выполняет три функции:
Как работают новые возможности
Устранение шумов в Nvidia Broadcast работает по принципу RTX Voice. Все поступающие звуки, кроме вашего голоса, будут подавляться. В ролике это можно увидеть с 0:24 по 0:42. Спикер попросил девушку включить фен, а затем включил подавление шума. Результат: фен не слышно, а спикера – вполне.
Этим функционал подавления шума не ограничивается. Функцию можно применить не только на собственный микрофон, но и на голос собеседника. В ролике это можно увидеть с 1:20 по 1:32. Пользователь по ту сторону экрана стучит по клавиатуре и разговаривает. Стоит нажать одну кнопку, как звук клавиатуры пропадает, а голос – остается.
Вторая функция Nvidia Broadcast – виртуальный фон. С помощью этой штуки можно включать эффект размытия, либо полностью заменять фон. В ролике это можно увидеть с 1:48 по 2:24.
Последняя функция – автоматическое кадрирование. Она «приближает вас, используя ИИ для отслеживания движений вашей головы и удерживая вас в центре событий, даже когда вы двигаетесь в кадре». В ролике это можно увидеть с 2:36 по 2:52.
Многоугольное кадрирование или кадрирование камеры – это возможность, которую можно спокойно настроить с помощью кучи оборудования или предварительных правок в софте, подобном OBS. Nvidia просто упрощает этот процесс. Сильно. Компания запустит автоматическое кадрирование и виртуальный фон в формате бета-тестирования, как это произошло с RTX Voice. Всё ради обучения искусственного интеллекта.
Ничто из описанного не является эксклюзивом для 30-й серии RTX. Broadcast будет работать на любой RTX-видеокарте. Выход утилиты состоится в конце этого месяца. Точной даты названо не было.
Nvidia Broadcast использует искусственный интеллект на базе RTX для стримов
Nvidia совершенствует набор функций, которые она предлагает стримерам, с помощью своих видеокарт GeForce RTX. Сегодня компания представила обновленный инструмент Nvidia Broadcast в рамках развертывания графических процессоров следующего поколения RTX серии 3000. Это программное обеспечение использует искусственный интеллект с ускорением RTX, чтобы помочь стримерам улучшить качество звука и видео.
Nvidia уже тестировала некоторые из этих функций в недавнем выпуске RTX Voice. Этот бета-инструмент использует ИИ для удаления фоновых шумов. Nvidia Broadcast встраивает это в улучшенный интерфейс, чтобы легко изолировать ваш голос или голоса ваших товарищей по команде. На демонстрации Nvidia показала, как он устраняет звуки фена и клавиатуры товарища по команде.
Но Nvidia также предлагает видео инструменты, такие как удаление фона и автоматическое кадрирование. Как и в случае с голосовыми функциями, графические процессоры RTX используют свои ядра ИИ Tensor для обнаружения вещателя и удаления окружающего фона. Как и в случае с Zoom, вы можете добавить собственное изображение или видео. Nvidia Broadcast также может отслеживать перемещение стримеров и удерживать их в центре кадра.
Эти инструменты универсальны, а это значит, что вы можете подключить их к любому программному обеспечению для вещания. Nvidia Broadcast должна отображаться как виртуальная камера, и вы можете добавить ее в OBS или Xsplit. Вы также можете добавить его в Zoom, Google Hangouts и другие подобные приложения для видеоконференций.
Как настроить и использовать Nvidia Broadcast
Большинство людей услышав слово «Nvidia» представляют себе лучшие видеокарты для игровых ПК и рабочих станций. Это правильно, но Nvidia — это не только сверхмощные графические процессоры видеокарт.
Nvidia работает как с программным обеспечением, так и с оборудованием, создавая целый набор вспомогательных приложений, чтобы помочь пользователям максимально использовать возможности своей системы. Одно из таких приложений — Nvidia Broadcast.
Как скачать настроить и использовать Nvidia Broadcast
Изначально выпущенная как RTX Voice, Nvidia Broadcast теперь охватывает ваш микрофон, динамики и веб-камеру. Независимо от того, являетесь ли вы стримером, учитесь или работаете дома, Nvidia Broadcast может улучшить качество вашего видео и звука. Вот как им пользоваться.
Загрузка и установка Nvidia Broadcast
Прежде чем начать, убедитесь, что в вашей системе есть поддерживаемая видеокарта Nvidia. Nvidia Broadcast, в отличие от RTX Voice, работает только на графических процессорах RTX, и вам понадобится RTX 2060 и выше, или Quadro RTX 3000 и выше, или Titan RTX.
Рекомендуемый процессор — Intel Core i5 8-го поколения или AMD Ryzen 5 2600, но, поскольку видеокарта выполняет большую часть работы, может подойти и более старый процессор.
Если вы все еще графический карту Nvidia GeForce GTX, вы не сможете использовать полную версию приложения Broadcast, но вы все равно можете установить RTX Voice отдельно. Если у вас установлена новая видеокарта, тогда загрузите установщик Nvidia Broadcast на свой компьютер и запустите его. Установка не сложная, вы должны разобраться без инструкции.
Установка оборудование по умолчанию в Nvidia Broadcast
Чтобы получить преимущество от Nvidia Broadcast, вам нужно будет использовать его в качестве источника микрофона и веб-камеры в других приложениях на вашем ПК. Но сначала вам нужно указать Nvidia Broadcast, какую веб-камеру и микрофон использовать.
Каждая часть приложения имеет отдельную вкладку, что упрощает настройку. На вкладке «Микрофон» выберите правильное устройство в раскрывающемся списке «Источник микрофона», а на вкладке веб-камеры сделайте то же самое в раскрывающемся списке «Источник камеры».
Это особенно важно для ноутбуков, если вы хотите использовать внешнюю веб-камеру и микрофон. По умолчанию для каждого будет выбрано встроенное оборудование ноутбука.
Удаление фонового шума в Nvidia Broadcast
Чтобы ваш микрофон звучал наилучшим образом с помощью Nvidia Broadcast, вы можете использовать его для удаления фонового шума. Приложение будет использовать мощность графического процессора и его технологию искусственного интеллекта, чтобы изолировать ваш голос и удалить нежелательный шум. Это так хорошо, что вы можете участвовать в конференц-связи с музыкой в фоновом режиме, и никто другой ее не услышит.
Он также работает по скользящей шкале, и вы можете протестировать его в приложении, прежде чем передавать его своим ценным вызовам или потокам. На вкладке микрофона в поле «Эффект» сейчас есть только одна опция — «Удаление шума».
Ползунок «Strength» показывает, насколько сильным должно быть шумоподавление. Он всегда будет в некоторой степени включен, но если у вас особенно шумная среда, вы можете сделать его сильнее. Чтобы проверить это, запишите образец с элементами управления справа и воспроизведите его, чтобы убедиться, что вы довольны.
Размытие фона или замена
Инструменты веб-камеры предлагают несколько больше эффектов, чем микрофон в Nvidia Broadcast. У вас есть три инструмента для создания фонов; размытие, замена и удаление. Существует также четвертый вариант для автоматического кадрирования лица и удаления пустого пространства, но в настоящее время вы не можете применять его в тандеме с другими фоновыми инструментами.
Использовать любой так же просто, как выбрать соответствующие параметры в раскрывающемся меню. В случае размытия и удаления у вас есть дополнительные элементы управления, чтобы выбрать «Производительность» и «Качество», а также вы можете изменить силу размытия фона с помощью ползунка. Все они просматриваются в режиме реального времени, чтобы помочь вам определиться с желаемым внешним видом.
Замена фона сочетает в себе инструмент удаления фона с размещением изображения по вашему выбору позади вас. Когда этот параметр выбран, у вас есть второе поле для выбора файла с вашего ПК, который вы хотите использовать.
Улучшение качества звука микрофона
Малоизвестный секрет Nvidia Broadcast заключается в том, что он также может помочь удалить шум из звука, поступающего к вам через наушники или динамики. В приложение включены различные образцы, такие как кондиционер и набор текста, чтобы помочь вам почувствовать эффект, который он может обеспечить.
Включение функции такое же, как для микрофона. На вкладке «Динамики» убедитесь, что вы выбрали предпочитаемое аудиоустройство в поле «Источник звука». Затем вы можете изменить силу с помощью ползунка и использовать образцы справа, чтобы понять, как он будет себя вести.
Использование Nvidia Broadcast для всех приложений
Если вы хотите использовать Nvidia Broadcast во всех приложениях на вашем ПК, в которых вы используете микрофон, тогда самое простое, что можно сделать, — это установить его по умолчанию в Windows 10. Для этого зайдите в приложение «Настройки», выберите «Система», а затем «Звук» на боковой панели. В разделе «Вход» выберите «Микрофон (Nvidia Broadcast)».
Кроме того, вы можете использовать его для отдельных приложений, выбрав «Nvidia Broadcast» в качестве источника микрофона и веб-камеры. То, как вы это делаете, будет зависеть от того, какое приложение вы используете, но обычно его можно найти в настройках, как и в популярных приложениях, таких как Skype, Google Meet и Zoom.
Заключение
Приложение Nvidia Broadcast — невероятный инструмент, который может использовать любой, у кого есть подходящее оборудование. Он не добавляет заметной нагрузки на систему, настолько прост в использовании и преобразует качество всего, с чем вы его используете.
Без использования подобного приложения устранение фонового шума от микрофона — сложный процесс, который требует баланса аппаратных и программных настроек и большого количества тестов. Nvidia Broadcast устраняет все это.
Это также один из самых простых способов изменить фон веб-камеры. Развлекаетесь ли вы во время вызова Zoom или ищете эффект зеленого экрана для своей трансляции Twitch, Nvidia Broadcast — одно из лучших приложений для этого, и оно не стоит ни копейки.
Приложение NVIDIA Broadcast поможет стримерам очистить звук и улучшить картинку
В этом году игровые трансляции переживают настоящий скачок популярности (в том числе из-за повсеместных карантинных мер против COVID-19): количество стримеров в Twitch выросло на 89 %, а зрителей — на 56 %. Неудивительно, что в новых игровых ускорителях NVIDIA Ampere направлению обработки видео уделено особое значение.
Например, NVIDIA оснастила свои ускорители новой версией блока кодирования и декодирования видео (NVENC), который обещает отличное качество и позволяет разгрузить ЦП, чтобы минимально снижать частоту кадров в играх во время трансляций. Мы уже писали об аппаратной поддержке декодирования AV1 в Ampere. NVIDIA тесно сотрудничает с разработчиками популярных приложений для организации трансляций вроде OBS, Discord, Streamlabs, Twitch Studio и Xsplit, чтобы повысить качество потоков.
Качество звука, камера и визуальный ряд тоже играют важную роль, но не все могут позволить собственную студию или дорогие камеры, микрофоны и хромакей, чтобы повысить качество своих стримов. Эту проблему NVIDIA стремится решить с помощью интеллектуальных возможностей GeForce RTX 3000 через новое приложение Broadcast.
Оно содержит три инструмента на базе ИИ:
Эти возможности можно задействовать не только для трансляций, но и для видеоконференций через Zoom или игр с друзьями через Discord. NVIDIA Broadcast — это универсальное дополнение, призванное работать в связке с популярными приложениями для стриминга, видеоконференций и голосовых чатов. Оно поддерживается всеми видеокартами NVIDIA GeForce RTX, TITAN RTX и Quadro RTX, которые обладают тензорными ядрами. То есть не только новыми GeForce RTX 30-й серии, но GeForce RTX 20-й.
Кстати, эффективное устранение шума при помощи ИИ можно проверить с помощью утилиты RTX Voice, которую компания пообещала официально выпустить для всех видеокарт GeForce (раньше оно было доступно только неофициально). Скачать же приложение NVIDIA Broadcast можно будет в конце этого месяца.