nvidia ngx что это
Архитектура Turing от Nvidia: что она дает и как получить максимум производительности
Архитектура Turing – одно из главных достижений в компьютерной графике за 20 лет, по заявлению самой Nvidia. Turing SDK теперь доступен для разработчиков. Дизайнеры и художники могут создавать контент с улучшенной графикой, фотореалистичным рендерингом, использовать AI для обработки изображений и видео в режиме реального времени с помощью NVIDIA RTX. Рассказываем о разработках Nvidia, которые помогут исследователям раскрыть все возможности новой архитектуры.
CUDA 10
CUDA 10 включает поддержку Turing GPUs, оптимизированных по производительности библиотек, новую асинхронную модель программирования графов, улучшенную интеграцию CUDA и графического API и новые инструменты разработки. CUDA 10 также предоставляет все составляющие, необходимые для создания серверных платформ NVIDIA для AI и нагрузок высокопроизводительных вычислений (HPC), как локально (DGX-2), так и в облаке (HGX-2).
TensorRT 5 (доступен с 20 сентября)
TensorRT 5 показывает до 40 раз производительность вывода по сравнению с CPUs благодаря новым оптимизациям, APIs и поддержке Turing GPUs. Он оптимизирует точность в рекомендательные системах, машинном переводе, обработке естественного языка. Основными особенностями TensorRT 5 являются INT8 APIs, предлагающие новые гибкие схемы работы, оптимизация для глубокой свертки, поддержка платформ NVIDIA Drive на основе Xavier и акселератор NVIDIA DLA. Кроме того, TensorRT 5 поддерживает операционные системы Windows и CentOS. Смотрите туториал.
cuDNN 7.3
Главные особенности фреймворка cuDNN 7.3 — улучшенная сгруппированная свертка для формата данных NHWC и расширенная производительность сверток для ResNet50, DeepSpeech2 и Wavenet.
NCCL 2.3
Фреймворки, использующие NCCL 2.3 и более поздние версии, заточены на работу с архитектурами Volta и Turing для обеспечения высокой производительности многоузловых и многопроцессорных вычислений глубокого обучения. Новые функции включают улучшенные алгоритмы с низкой задержкой для сообщений небольших размеров и удобная регулировка при использовании графических процессоров Direct P2P и RDMA.
CUTLASS 1.1
CUTLASS 1.1 позволяет использовать Tensor Cores Turing для высокопроизводительного умножения матриц в CUDA C ++. Новые особенности включают поддержку CUDA 10 и новых матричных функций для доступа к Turing.
NVIDIA RTX — NGX SDK
SDK будет доступен в ближайшее время.
VRWorks Graphics 3.0
Функциональные особенности VRWorks Graphics предлагают новый уровень визуальной точности, производительности и скорости реагирования в виртуальной реальности. Эта версия, объединенная с Turing на базе GPU, включает в себя переменную скорость раскраски (Variable Rate Shading) и визуализация в нескольких проекциях (Multi-View Rendering). Variable Rate Shading — новая технология визуализации, которая выделяет больше мощности GPU для обработки полутонов детализированных областей сцены и меньшую для менее подробных участков.
Multi-view рендеринг
Multi-View Rendering расширяет возможности Single Pass Stereo, увеличивая количество проекционных центров или представлений для одного прохода с двух до четырех. Все четыре вида, доступные за один проход, теперь не зависят от положения и перемещаются вдоль любой оси в проекционном пространстве, что позволяет поддерживать новые конфигурации дисплея.
Инструменты разработчика
Nsight Compute 1.0
NVIDIA Nsight Compute — это инструмент нового поколения, который обеспечивает интерактивную отладку CUDA API и профилирование ядра. Эта версия Nsight Compute предлагает быстрый сбор данных о показателях производительности и отладке API с помощью пользовательского интерфейса и командной строки.
Nsight Systems 2018.2
NVIDIA Nsight Systems — это инструмент для анализа производственных характеристик, позволяющий разработчики оптимизировать программное обеспечение, например, выявлять узкие места в процессорах и графических процессорах. Обновления в Nsight Systems 2018.2 включают поддержку CUDA 10, обновление интерфейса командной строки для реализации новых сценариев использования, улучшенную совместимость и удобство использования.
Nsight Graphics 2018.5
Nsight Graphics — автономный инструмент разработки, позволяющий отлаживать, профилировать и экспортировать фреймы, созданные с помощью популярных графических API. Версия 2018.5 обеспечивает публичную доступность GPU Trace, поддерживает расширения Direct3D 12 DXR и Vulkan Ray Tracing, расширяет функционал для DirectX 12 и поддерживает Windows RS3 DirectX 12 SDK.
Nsight VSE 6.0
NVIDIA Nsight Visual Studio Edition — это среда разработки приложений для GPUs, которая позволяет создавать, отлаживать, профилировать и отслеживать набор приложений. Обновления в Nsight VSE 6.0 включают графическую отладку с поддержкой трассировки лучей, расширенную отладку и анализ с поддержкой CUDA 10.
NVIDIA NGX is a new deep learning powered technology stack bringing AI-based features that accelerate and enhance graphics, photos imaging and video processing directly into applications. NVIDIA NGX features utilize Tensor Cores to maximize the efficiency of their operation, and require an RTX-capable GPU. The NGX SDK makes it easy for developers to integrate AI features into their application with pre-trained networks.
The following are examples of how Deep Learning and NGX can be used to improve creativity, performance and image quality for gamers and content creators.
InPainting allows the removal existing content from images, and uses NGX to replace the removed content with a realistic computer-generated alternative. For example, InPainting could be used to automatically remove power lines from a landscape image, replacing them seamlessly with the existing sky background.
While content aware replacement methods currently exist, these solutions utilize more basic methods of replacing image data. Traditional content aware fill algorithms search the image to find other areas of the image which best match the area to be replaced based on color data similarity. Because the replaced data is a copy of data already existing within the image, the matching process can introduce semantically meaningless data which exists within this copied data into the replacement if the algorithm feels that the content offers the best match.
InPainting uses a fundamentally different method for replacing content within an image. InPainting is based on a deep learning model that has been trained on a large scale image dataset. The training and the deep learning based algorithms allow InPainting to generate new content which may not exist in the original image. This method can help to minimize the inclusion of extraneous image information and result in more visually meaningful replacement results.
Image above: the areas in white are intelligently filled in.
AI Slow-Mo inserts interpolated frames into a video stream to provide smooth, slow-motion video. The application analyzes frames for features and objects and identifies object and camera movement to create new video frames between the existing video frames.
AI Up-Res increases the resolution of an image or video by 2x, 4x or 8x. Unlike traditional filtering methods which stretch out the existing pixels and filter between them, AI Up-Res creates new pixels by interpreting the image and intelligently placing data. This results in a sharper enlargement that correctly preserves the depth of field and other artistic aspects.
Image above: Up-Res provides improved image clarity over Bicubic filtering.
NGX Architecture
If you would like to try out the NGX SDK please submit your request to join our Early Access Program by clicking the button below:
Что такое NVIDIA DLSS, как она повышает FPS и улучшает графику в играх — подробное объяснение
Что такое DLSS?
Чтобы окончательно определиться с тем, что такое DLSS, нужно дословно разобрать само понятие Deep Learning Super Sampling. Итак, суперсэмплинг — это технология сглаживания, которая создаёт каждый кадр в разрешении большем чем разрешение монитора, после чего уменьшает его обратно. То есть количество пикселей в кадре увеличивается и таким образом технология помогает сгладить резкие контрастные переходы между пикселями разных объектов. Говоря проще, убирает «лесенку» на краях объектов, нежелательные шумы на текстурах в движении и прочие «шероховатости» изображения.
Теперь немного о глубоком обучении. «Глубокими» называются нейронные сети, состоящие более чем из 1 входного и выходного слоя, например, нейронную сеть из 4 слоев уже можно считать глубокой. Каждый нейрон нового слоя соединен со всеми нейронами предыдущего слоя при помощи «весов». Фактически веса нейронной сети кодируют силу сигнала и позволяют ей обрабатывать входную информацию. Путем множества повторяющихся вычислений, веса глубокой нейронной сети подстраиваются при помощи алгоритма обратного распространения ошибки для того, чтобы ответ на выходе нейронной сети был как можно ближе к желаемому на проверочном наборе данных.
Если немного упростить, то глубокое обучение — это множество вычислений, выполняющихся на мощном оборудовании в процессе, выполнение которого совершенствуется раз за разом. Система не учится в человеческом понимании этого слова, она просто становится лучше, снова и снова проделывая одни и те же действия.
Как работает DLSS?
В итоге получается технология, использующая обученную на высококачественных примерах нейросеть, которая берет несколько кадров игры для создания суперсэмплинга и комбинирует их в финальный кадр. Вследствие чего экономится пользовательская вычислительная мощность и, соответственно, повышается FPS.
Эта технология с её выученными техниками улучшения изображения применяется и обновляется при помощи сервиса NGX. NGX — это пакет инструментов разработчика для интеграции алгоритмов глубокого обучения. Он позволяет разработчикам с легкостью интегрировать в приложения обученные нейронные сети для улучшения графики, редактирования фотографий и обработки видео.
Со стороны пользователя ничего не требуется, DLSS будет улучшаться автоматически путём обновления нейронной сети.
Где лучше использовать DLSS? Почему технология недоступна для всех разрешений?
DLSS разработана для увеличения частоты кадров при высокой нагрузке на видеокарту. То есть когда кадровая частота остаётся низкой при полной загрузке видеокарты и отсутствии так называемых «ботлнеков», ситуаций, в которых один из компонентов системы не даёт другим компонентам раскрыть весь свой потенциал. Если ваша игра уже работает с высокой частотой, то время визуализации кадра вашей видеокартой может оказаться меньше, чем время выполнения DLSS. В этом случае DLSS не нужна, потому что она не увеличит частоту кадров. Тем не менее, если игра сильно нагружает видеокарту (FPS находится ниже отметки в 60 кадров в секунду), то DLSS обеспечит оптимальное повышение производительности. В этом случае можно повысить свои настройки графики, чтобы получить максимальную выгоду от DLSS.
Если говорить чуть более технически, DLSS требует фиксированного количества времени видеокарты на каждый кадр для обработки данных нейросетью. Таким образом, игры, которые работают с меньшей частотой кадров или в более высоком разрешении, получают больше преимуществ от DLSS. В случае же с играми, работающими с высокой кадровой частотой или в низком разрешении, DLSS может не справиться с улучшением производительности. Когда время визуализации кадров видеокартой меньше, чем требуется для выполнения модели DLSS, технология не работает. Она активируется лишь в случаях, когда может дать прирост производительности. Доступность DLSS зависит от игры, модели видеокарты и выбранного разрешения.
А что насчёт размывания кадров?
Как уже указывалось выше, DLSS изначально создавалась для увеличения FPS при высокой нагрузке на видеокарту. И при разработке основной упор делался на высокие разрешения (когда нагрузка доходит до максимума), а 4K (3840×2160) является наиболее тяжёлым разрешением. Работа с 4K даёт больше преимуществ, когда речь идёт о качестве изображения, так как количество входных пикселей велико. Для 4K DLSS имеется 7,4 миллиона входящих пикселей, из которых можно сгенерировать окончательный кадр, в то время как для 1920×1080 имеется только около 1.84 миллионов пикселей. Чем меньше исходных данных, тем сложнее DLSS обнаруживать особенности исходного изображения и предсказывать окончательный кадр. То есть чем меньше разрешение, тем хуже работает DLSS.
NVIDIA знает о проблеме с размытием изображения на низких разрешениях и работает над её решением. Добавляется больше обучающих данных и новых методов для повышения качества. Обучение глубокой нейронной сети продолжается, и со временем она улучшится.
Чем хуже технология TAA?
Игровая индустрия использовала временное сглаживание многие годы и, по мнению вышеупомянутого Эндрю Эдельстена (Andrew Edelsten), его время скоро подойдёт к концу. Так как конечный результат работы TAA генерируется из нескольких кадров, получившееся изображение может страдать от ореолов и мерцаний при высокой скорости движения. DLSS же справляется с этим лучше во многом благодаря нейросети, способной выдавать более качественную картинку как в статике (неподвижном состоянии), так и в динамике (движении). Также, в отличие от TAA, DLSS в процессе работы реконструирует изображение до более высокого разрешения.
Какие игры уже поддерживают DLSS?
В Battlefield 5 DLSS, по мнению NVIDIA, на данный момент обеспечивает значительное улучшение производительности (до 40 %) в разрешениях 4K и 2560 × 1440 при сопоставимом качестве. В дальнейшем командой разработки планируется работа над улучшением качества изображения для разрешения 1920×1080, а также для сверхшироких мониторов (например, с разрешением 3440 × 1440).
А для Metro Exodus уже есть обновление, улучшающее чёткость DLSS и общее качество изображения для всех разрешений, которые не были включены в день запуска. Также ведётся обучение DLSS для этой игры, в результате которого ожидается ещё одно повышение качества изображения.
Для каких ещё игр будет добавлена DLSS?
NVIDIA NGX: AI для улучшения графики с помощью RTX
Глубокое обучение формирует NVIDIA NGX AI
Как мы наверняка уже знаем, блоки тензорных ядер используются NVIDIA в видеоиграх для суперсэмплирования глубокого обучения, поскольку для суперсэмплинга пикселей требуется вывод ИИ.
Но это представление о тензорных ядрах является неполным, поскольку мы видим только то, что происходит со стороны игрока, а не со стороны разработчика, который создает те изображения, которые затем масштабируются. Именно здесь на помощь приходит NVIDIA NGX, и в ее основе лежит ее использование для создания более реалистичных изображений, поскольку это не более чем стек технологий на базе Глубокое обучение который предоставляет разработчикам функции искусственного интеллекта для ускорения или улучшения обработки графики, изображений и даже видео в реальном времени.
Как мы уже упоминали, для работы ему необходим конкретный блок, который работает снизу, и именно здесь вступают в силу тензорные ядра графических процессоров RTX. NVIDIA NGX SDK предоставляет разработчикам ряд функций искусственного интеллекта в их распоряжении через сети, обученные на суперкомпьютере NVIDIA Saturn V.
На что способна эта технология и как она это делает?
Можно сказать, что в целом есть 3 сценария, которые охватывают все остальное: изображения, видео и игры. Для каждого из них есть разные функции, которые разработчики могут использовать для разных целей, поскольку мы говорим о полном и очень мощном SDK.
Чтобы включить несколько примеров, в изображении мы можем удалить контент из него и создать его с помощью ИИ, который идеально заменит контент, поскольку нейронная сеть (InPainting) была обучена.
Мы можем вставлять интерполированные кадры в видео, оживлять любую жидкость в серии изображений, которые ее не содержали, и с двумя разными скоростями, поскольку ИИ определяет движение камеры и позволяет нам добавлять те FPS на экран, которые не существует.
При низком разрешении или дефектных изображениях вы можете масштабировать до 8 раз по сравнению с исходным качеством, растягивая существующие пиксели и фильтруя их между ними благодаря AI.
Он создает новые пиксели на основе ваших тренировок и размещает их там, где они необходимы, улучшая как качество изображения, так и резкость. В играх это еще более удивительно, поскольку функция включена в драйвер NVIDIA и, как мы уже догадались, она используется для DLSS в ходе предыдущего обучения на Saturn V.
Его работа проста, поскольку, когда драйвер обнаруживает вызов функции, он предоставляет NGX полный доступ к оборудованию и масштабированию кадров в реальном времени с помощью DLSS.
Технология NVIDIA DLSS в играх: что это такое и зачем нужна
Содержание
Содержание
Алгоритм улучшения изображений DLSS — визитная карточка компании NVidia. Его работа всегда вызывает особенный интерес у пользователей. С помощью DLSS игры стали быстрее — растет FPS, увеличиваются максимальные значения разрешений, что, в конечном итоге, непосредственно влияет на «играбельность» контента и способствует глубокому погружению в него. В материале рассмотрим суть технологии DLSS и области ее применения в игровой индустрии.
Технология трассировки лучей в гейминге, можно сказать, не дотягивает по производительности и скорости отрисовки кадров. Особенно сильно это заметно в линейке видеокарт семейства RTX 20. Рейтрейсинг вроде бы заявлен и фактически присутствует, но толком не работает — прорывной производительности в играх не наблюдается. Исправить ситуацию вроде должна новинка от NVIDIA — абсолютно новый графический процессор Ampere и видеокарты поколения RTX 30, построенные на его основе. Об архитектуре нового процессора очень подробно рассказано в статье блога Клуба DNS.
DLSS без купюр
Геймеру со стажем, особенно ценителю технических решений от «зеленого» лагеря, не нужно объяснять суть технологии суперсемплинга DLSS. Тем же, кто только делает первые шаги мире компьютерных игр и пока в поиске оптимальных настроек для своего «железа», нелишним будет знакомство с «механикой» алгоритма DLSS.
Дословно DLSS (Deep Learning Super Sampling) переводится как «сглаживание на основе глубокого обучения». На момент написания данного материала миру известны две версии алгоритма глубокого ресемплирования.
Разница между версиями алгоритма заключается не в логике его работы, а в его физической реализации.
В случае с DLSS 1.0 компания NVIDIA предложила производителям игрового контента «прогнать» графические сцены их игр через свой «суперкомпьютер», наделенный искусственным интеллектом. Такой подход требовал больших затрат времени, и, что называется, «не взлетел», поскольку разработчики игр, в большинстве своем, его просто игнорировали.
Вторая версия алгоритма DLSS 2.0 стала более «клиентоориентированной», ведь NVIDIA верила в успех технологии и включила в состав видеокарт тензорные ядра, тем самым наделив свои графические адаптеры искусственным интеллектом.
Основная суть работы алгоритма — получение качественного изображения (кадра) высокого разрешения на основе его уменьшенного аналога. Не вдаваясь в дебри тензорных вычислений и довольно сложных и громоздких математических операций с матрицами, упрощенно работу алгоритма DLSS можно описать так.
При рендеринге простых геометрических фигур (в примере используется треугольник) из исходных кадров малого размера определяющим фактором качества конечного результата является субпиксельная маска. К примеру, с использованием маски 4х4 при отрисовке треугольника конечный результат мало напоминает исходную фигуру. При увеличении же сетки ресемплирования всего в 4 раза — до размера 8х8 — конечное изображение уже больше напоминает исходник.
В этом и заключается основная «механика» работы алгоритма сглаживания.
Основной принцип DLSS — преобразование изображений с низким разрешением в кадры с более высокой разрешающей способностью, вплоть до 4К, без потери качества картинки игрового мира.
Такой подход к рендерингу игровых сцен дает конечному пользователю несколько очень важных преимуществ:
Искусственный интеллект на службе создания графических сцен
Работа алгоритма сглаживания DLSS невозможна без искусственного интеллекта, заложенного в каждый новый продукт NVIDIA. Именно он вырабатывает методику сглаживания определенных игровых сцен на основе многомиллионных «прогонов» эталонных изображений и полигонов. В первой версии DLSS предварительная обработка графических кадров велась на базе вычислительных мощностей компании NVIDIA под конкретные проекты: Metro: Exodus, Battlefield V.
Конечные «рекомендации» по улучшению сцен прописывались в обновленные версии драйверов к конкретной модели видеокарты.
Во втором поколении DLSS 2.0 львиная доля этой работы отдана тензорным ядрам самой графической карты. Это и есть принципиальное отличие между первым и вторым поколениями глубокого ресемплинга. Оно открывает просто безграничное поле для деятельности производителям игрового контента, которым не нужно теперь создавать уникальную нейронную сеть на серверах компании NVIDIA и «обкатывать» на ней полигоны своих игр. Вполне достаточно адаптировать свой код под тензорные вычисления и произвести расчет сцен силами «универсальной» нейронной сети. Такой подход существенно упрощает жизнь производителю контента и ускоряет выпуск новых продуктов.
Топология Ampere
Новая линейка видеокарт не останавливается на достигнутом предыдущими поколениями адаптеров. В основе каждой новой карточки от NVIDIA лежит процессор Ampere, произведенный по 8 нм технологии, которая позволяет разместить большее количество полупроводниковых компонентов на той же площади кристалла. Конечному пользователю это дает увеличенную производительность графического чипа при тех же размерах.
Если сравнить технические характеристики новых адаптеров, то можно увидеть уменьшение количества тензорных ядер в новых моделях в сравнении с предыдущим поколением. И может закрасться крамольная мысль: «А все ли так хорошо? И за счет чего возникает прирост производительности?».
Ответ на этот вопрос достаточно прост. В новой линейке используются тензорные ядра третьего поколения, вычислительная мощность которых в несколько десятков раз превышает возможности предшественников.
Если «в лоб» сравнить спецификации адаптеров RTX 20 и RTX 30, то можно заметить, что тензорных ядер в новой линейке видеокарт стало меньше. Но за счет их производительности вкупе с обновленным алгоритмом вычислений просчет каждой сцены ускорился в разы. ЧВ итоге это позволяет игроку получить высокие, а главное стабильные значения FPS, играть на высоких разрешениях и максимальных настройках графики, а производителям — всерьез задуматься о производстве контента в разрешении 8 К.
На следующей иллюстрации наглядно показан прирост производительности в актуальных играх (на момент написания статьи).
Из диаграмм видно, топовая видеокарта с использованием технологии DLSS дает двух-, а то и трехкратный прирост производительности в не самых «легких» с точки зрения графики играх.
Пока нет официальной информации можно предположить, что новые адаптеры рано или поздно обзаведутся обновленным алгоритмом DLSS версии 3.0, способным интеллектуально ресемплировать игровые сцены в реальном времени в разрешение 8К. Но говорить об этом пока рано. Для наступления эры DLSS 3.0 нужно, как минимум, чтобы у каждого второго-третьего геймера на столе красовался 8К-монитор.