nvidia omniverse что это
Nvidia omniverse что это
Стартовала открытая бета NVIDIA Omniverse. Присоединяйтесь и тестируйте!
Платформа повышает эффективность, продуктивность и гибкость, поскольку команды из одной комнаты и из любой точки мира могут войти в Omniverse и вместе работать над проектами с фотореалистичным рендерингом в реальном времени.
В рамках открытой бета-версии мы выпустили несколько приложений Omniverse, которые можно использовать в рамках Omniverse, в том числе Omniverse View для специалистов в области архитектуры, проектирования и строительства; Omniverse Create для дизайнеров, создателей контента и специалистов в области медиа, развлечений и производства/разработки продукции; и Omniverse Kaolin для экспертов в области глубокого обучения.
В начале следующего года мы представим Omniverse Audio2Face, приложение для лицевой анимации на базе ИИ; Omniverse Machinima для геймеров GeForce RTX; и Isaac Sim 2021.1 для разработки роботов.
NVIDIA Omniverse сыграла решающую роль в физически точном моделировании виртуального мира.
На GTC в октябре мы продемонстрировали, как DRIVE Sim использует возможности фотореалистичного моделирования в реальном времени для полной физически точной виртуальной проверки автономных транспортных средств. Смотреть видео DRIVE Sim.
Версия NVIDIA Isaac Sim 2021.1, выпущенная в феврале, полностью построена на Omniverse и предлагает точные, надежные и простые в использовании инструменты моделирования в робототехнике. Исследователи и разработчики со всего мира могут использовать это приложение в Omniverse, чтобы улучшить моделирование и обучение в области робототехники. Смотреть видео Robots Building Robots.
В сфере исследований Omniverse сочетает инструменты научной визуализации с высококачественной компьютерной графикой. NVIDIA продемонстрировала симуляцию COVID-19, визуализированную в Omniverse, где каждый всплеск белка коронавируса представлен более чем 1,8 миллионами треугольников, отрисованных графическими процессорами NVIDIA RTX. Visualizing COVID-19 Spikes in Action
NVIDIA открывает миллионам пользователей доступ в Метавселенную с расширением платформы Omniverse
Blender, ведущий в мире инструмент для 3D-анимации с открытым исходным кодом, получил поддержку формата Universal Scene Description (USD) и таким образом открыл художникам доступ к производственным конвейерам Omniverse. Adobe совместно с NVIDIA работает над плагином Substance 3D, который обеспечит поддержку Substance Material для Omniverse и откроет новые возможности редактирования материалов для пользователей Omniverse и Substance 3D.
NVIDIA Omniverse позволяет дизайнерам, художникам и редакторам работать вместе в реальном времени в ведущих программных приложениях в общем виртуальном мире из любого места. Сейчас платформу тестируют профессионалы из более чем 500 компаний, включая SHoP Architects, South Park и Lockheed Martin. С момента запуска открытой бета-версии в декабре Omniverse скачали более 50 000 раз.
Расширение экосистемы Omniverse
Экосистема партнеров NVIDIA Omniverse растет очень быстро.
Apple, Pixar и NVIDIA объединили усилия, чтобы наделить USD передовыми возможностями физики и используют открытые стандарты, чтобы обеспечить поддержку рабочих процессов 3D на миллиардах устройств. Blender и NVIDIA совместно добавили поддержку USD в новую версию Blender 3.0 для миллионов художников, использующих это программное обеспечение. NVIDIA добавляет поддержку USD и материалов в альфа-версии Blender 3.0, которая скоро будет доступна для разработчиков.
NVIDIA и Adobe совместно работают над плагином Substance 3D, который откроет новые возможности редактирования материалов для пользователей Omniverse и Substance 3D. Художники и дизайнеры смогут работать напрямую с материалами Substance, полученными из платформы Substance 3D Asset или созданными в приложениях Substance 3D, что в целом улучшит рабочий процесс в 3D.
Экосистема NVIDIA Omniverse продолжает расти, объединяя ведущие в отрасли приложения от разработчиков программного обеспечения, таких как Adobe, Autodesk, Bentley Systems, Blender, Clo Virtual Fashion, Epic Games, Esri, Golaem, Graphisoft, Lightmap, Maxon, McNeel & Associates, Onshape® от PTC, Reallusion, Trimble и wrnch Inc.
Мировые лидеры используют Omniverse
Lockheed Martin работает в Omniverse для моделирования, прогнозирования и подавления лесных пожаров. Ее центр искусственного интеллекта совместно с NVIDIA выступил с инициативой под названием Cognitive Mission Management по разработке стратегии действий в чрезвычайных ситуациях и пожаротушения.
Компания SHoP Architects из Нью-Йорка использует Omniverse для совместной работы и визуализации в реальном времени. Omniverse позволяет команде использовать подходящее программное обеспечение для решения нужных задач и собирать все полученные данные в одном месте, где их можно дополнять и применять с помощью платформы.
Доступность и цены
NVIDIA Omniverse Enterprise в настоящее время доступна только участникам программы раннего доступа. Платформа будет широко доступна в конце этого года по подписке через партнеров NVIDIA, включая ASUS, BOXX Technologies, Dell Technologies, HP, Lenovo, PNY и Supermicro.
Информацию о ценах на Omniverse Enterprise смотрите здесь.
NVIDIA представила профессиональные видеокарты и платформу для совместного моделирования производств
Вчера NVIDIA провела большую презентацию, и мы уже начали рассказывать о том, как компания собирается покорять рынок процессоров. На этом интересные анонсы не заканчиваются. Также корпорация показала профессиональные видеокарты и средства проектирования для распределённых команд.
Платформа Omniverse
NVIDIA показала рабочие станции и системы для платформы Omniverse, которые будут выпускать ASUS, Cisco, Dell, HP, Lenovo и другие компании.
Omniverse обеспечит команде физически удалённых 3D-разработчиков одновременную работу над сложными проектами. NVIDIA обещает, что платформа работает из любого места на любом устройстве.
NVIDIA Omniverse уже развернула у себя BMW для создания цифровой копии своего завода. Виртуальное планирование производств — популярный метод, но раньше данные приходилось собирать из разных приложений. Это приводило к конфликтам и тратило очень много времени. Omniverse автоматически получает информацию из всех доступных баз и избавляет от необходимости повторно их импортировать.
Виртуальный завод BMW
Ещё один кейс использования платформы продемонстрировала британская компания WPP. После начала карантина она потеряла возможность снимать рекламу для клиентов на природе. Чтобы спасти положение, она смоделировала в Omniverse фотореалистичный виртуальный лес и использовала его для съёмок.
Фотореалистичный лес, в котором WPP снимает рекламу
Компания Bentley Systems (не автопроизводитель в системе Bentley iTwin использует Omniverse для рендеринга, искусственного интеллекта и моделирования в реальном времени.
С помощью Bentley iTwin инжиниринговые компании могут создавать, визуализировать и анализировать цифровых двойников своей инфраструктуры. Интеграция с Omniverse позволяет виртуально исследовать крупные промышленные предприятия и морские сооружения в реальном времени. Всё это работает с точностью до миллиметра, фотореалистичным освещением и эффектами окружающей среды. А самое главное, что платформу можно использовать даже через веб-браузер.
Профессиональные GPU
Чтобы всё описанное выше стало возможным, нужны мощные профессиональные видеоускорители. NVIDIA представила и их — как в мобильных, так и в десктопных вариантах. Новая линейка состоит из восьми видеокарт на архитектуре NVIDIA Ampere.
Десктопные GPU RTX A5000 и RTX A4000 оснащены новыми RT, тензорными и CUDA-ядрами. Всё это используется для ускорения ИИ, графики и рендеринга в реальном времени. Производитель обещает, что новые чипы обеспечат прирост в производительности до 2 раз в сравнении с железом прошлого поколения.
Для ноутбуков показали видеочипы RTX A2000, RTX A3000, RTX A4000 и RTX A5000. В NVIDIA говорят, что эти GPU работают с технологиями Max-Q и RTX и оптимизированы для производительности и стабильности в творческих приложениях.
Для ЦОД тоже представили новые видеоускорители: это NVIDIA A10 и A16.
Обещают, что виртуальная рабочая станция на A10 будет работать до 2,5 раз быстрее, чем на предыдущем поколении. A16 же до 2 раз увеличивает плотность пользователей и требует меньше затрат на владение и обслуживание, чем прошлогодние GPU.
NVIDIA запланировала выход представленных ускорителей для ПК и серверов ближе концу месяца. Ноутбуки с новыми чипами появятся в продаже во втором квартале этого года.
Develop with NVIDIA Omniverse
NVIDIA Omniverse™ is a scalable, multi-GPU real-time reference development platform for 3D simulation and design collaboration, and based on Pixar’s Universal Scene Description and NVIDIA RTX™ technology.
NVIDIA Omniverse is built from the ground up to be easily extensible and customizable with a modular development framework. While end-users and content creators leverage the Omniverse platform to connect and accelerate their 3D workflows, developers can plug into the platform layer of the Omniverse stack to easily build new tools and services.
Develop Quality Tools, Faster than Ever
The modular, easily extensible and flexible platform replaces strict monolithic development. With low- and no-code Python-based development, teams can produce quickly, efficiently, and sustainably.
Build More Advanced Technology with Minimal Effort
Save time and effort and leverage over 20 years of core NVIDIA rendering technologies, AI, and simulation SDKs by building on the Omniverse platform.
Connect to New Markets, Expand Your Audiences
Take advantage of NVIDIA’s reach across all industries, audiences, and workflows and gain access to new markets and use cases to grow your user base.
Universal Scene Description
The fundamental representation of assets in Omniverse is Pixar’s open-source Universal Scene Description (USD), a powerful scene representation and interchange framework that enables complex property inheritance, instancing, layering, lazy loading, and a wide variety of other key features. Omniverse uses USD for interchange through the Nucleus DB service.
Platform Components
Nucleus
Connect
Simulation
RTX Renderer
Omniverse Nucleus is the database and collaboration engine of the Omniverse platform. It allows a variety of client applications, renderers, and microservices to share and modify representations of virtual worlds.
Nucleus operates under a publish/subscribe model. Omniverse clients can publish modifications to digital assets and virtual worlds to Nucleus or subscribe to their changes that are transmitted in real time between applications with bi-directional Omniverse Connectors. Nucleus can be installed in multiple ways: on a workstation, on-premises, or in a private cloud.
There are multiple ways to connect asset libraries and DCC tools to Omniverse, with varying fidelity. Omniverse Connectors—plugins that enable client applications to connect to Nucleus and publish and subscribe to individual assets and full worlds—provide the highest fidelity connections to Omniverse, often enabling a live-sync workflow between client applications and Omniverse Apps.
Developers can build their own Connectors using the Omniverse Connect SDK, available for free in the Omniverse Launcher.
Unlike monolithic development platforms, Omniverse is built to be extremely modular for maximum flexibility and extensibility. Omniverse Kit is a powerful toolkit for developers to build their own extensions, apps, microservices, or plugins for their ecosystem. The SDK can be run headless as a microservice, or with a UI. The UI application can be fully written using the UI engine which enables it to be fully customized.
The platform natively supports renderers compliant with Pixar’s Hydra architecture.
Omniverse also features an advanced, multi-GPU scalable renderer accelerated by RTX technology. End users can easily toggle between real-time ray traced mode for ultra-fast interactive performance, and referenced path-traced mode for final-frame cinematic quality.
Developers without the desire to build their own renderer can enhance their user base’s capabilities by connecting to the Omniverse platform to leverage either the Omniverse RTX Renderer or any connected Hydra-delegate renderers.
Building on Omniverse
Independent or enterprise developers can easily build and sell their own Extensions, Apps, Connectors, and Microservices on the Omniverse platform with the wealth of available tools and samples.
Omniverse Extensions
Omniverse Extensions are small pieces of code purpose-built to achieve a specific task. Extensions are authored in Python, enabling developers of any level to build or customize their own extensions. Explore an extract of the extensions available in the Omniverse platform below to see what is possible.
Core Extensions
NVIDIA offers source code for over 200 extensions that can easily be leveraged by developers as part of their workflows, with more constantly being created. The collection includes a robust collection of content browsers extensions, from USD widgets and window extensions, to UI extensions, and more.
AI Toy Box Extensions
HDR Light Studio
Lightmap has built an Omniverse Extension for HDR Light Studio, an application that adds live HDRI map authoring and live HDRI textured Area Lights which gives image-makers the professional controls and content they need to light beautiful imagery in Omniverse.
Replica Studios
Replica Studios is a Voice AI platform that enables developers and creators to tell stories and voice over with the power of AI voice technology. Replica Studios built an Omniverse Extension to enable creators across industries to create a seamless animation workflow between design applications.
Omniverse Apps
Every Omniverse app, such as Omniverse Create or Omniverse View, is composed of a collection of specific Omniverse Kit Extensions. Extensions can be leveraged by developers in building their own workflows for faster time to development, with more regularly being created by NVIDIA or third parties.
Omniverse Create
Omniverse Create is one of the core apps on the Omniverse platform. The massive world-building and simulation app is actually composed of over 200 Omniverse Extensions. Based on the workflow they are trying to enable, NVIDIA researchers, developers, and even technical artists will create new Extensions in Python, or tweak existing Extensions.
NVIDIA DRIVE Sim
NVIDIA DRIVE Sim is a simulation platform designed for end-to-end simulation of autonomous vehicles. DRIVE Sim has been architected on the Omniverse platform to run large-scale, physically accurate, multi-sensor simulations in rich 3D environments—and all in real time. Simulation can be used for validating AV functions or using the Omniverse Replicator for DRIVE Sim built to generate synthetic data for training AI perception networks. Omniverse’s native extensibility also means DRIVE Sim is open to customization from a wide range of industry ecosystem partners.
NVIDIA Isaac Sim
NVIDIA Isaac Sim is a scalable robotics simulation application and synthetic data generation tool that powers photorealistic, physically accurate virtual environments to develop, test, and manage AI-based robots. The robotics application, built entirely on Omniverse, can be customized to support new sensors, bridges to different robotics frameworks, application-specific domain randomization, and more. Its powerful synthetic data generation capabilities are built on the Omniverse Replicator synthetic data-generation engine.
Omniverse Replicator
Omniverse Connectors
Omniverse Connect libraries are distributed as plugins (or “Connectors”) that enable client applications to connect to Nucleus and to publish and subscribe to individual assets and full worlds. Developers can build their own Connectors using the Omniverse Connect SDK, available for free in the Omniverse Launcher.
Omniverse Microservices
Services in Omniverse can be part of an Extension, use an Extension, or be a simple script executed by Omniverse Kit. Developers can easily build tools to automate repetitive tasks for themselves, or their user base, from rendering workflows, creating turntables, generating thumbnails, synthetic data generation, and more.
Omniverse Farm
Omniverse Farm is the system layer that allows users to orchestrate multiple computing resources to execute batch and interactive tasks. It is both infrastructure agnostic—meaning it can work across typical workstations, VMs, bare-metal servers, or advanced cloud scheduling platforms such as Kubernetes—and task agnostic, able to orchestrate and distribute tasks from rendering, streaming, file conversion, synthetic data generation, to simulation.
Developers can build tools for their users, or themselves, to leverage Farm in batch mode for ad hoc tasks such as rendering or file conversion; or in interactive mode for persistent tasks that are executed by an arbitrary machine, or cluster of machines, that have been allocated for the specific use.
Batch Rendering
Batch Synthetic Data Generation
Generating datasets from realistic simulations is a powerful tool for training ML algorithms. Built-in capabilities include synthetic data visualization and recording, broad synthetic sensor support, and powerful domain randomization techniques. NVIDIA teams have built their own microservices to execute batch synthetic data generation tasks via Omniverse Farm to power robotics and autonomous vehicle training and validation.
DeepSearch
DeepSearch is a set of services and clients that allow users to tag their 3D models automatically using AI, add additional tags manually, and search through their entire content with tags. The system relies on two services that are designed to run on a Kubernetes cluster: Inference Service, a classification of existing assets using a pre-trained Deep Learning (DL) mode, and Search Service, the indexing of assets in Omniverse and efficient retrieval of objects given an input tag.
Omniverse Avatar
Omniverse Avatar platform is currently under development. Sign up to be notified.
Recommender for Customer Support
See customers interact with Project Tokkio, a Metropolis-powered AI talking kiosk. This reference application leverages NVIDIA Metropolis vision AI and NVIDIA Riva speech AI technology to communicate with the user. It uses NVIDIA’s NeMo Megatron-Turing 530B, a state-of-the-art language model for understanding intent and NVIDIA Merlin to make meaningful recommendations. The 3D avatar is animated and visualized with Omniverse to deliver a visually stunning customer service experience—all in real-time.
Natural, Expert Q&A Assistant
Project Maxine
Collaboration with global audiences can be dramatically improved when speaking in their language. To enable better communication and understanding, Project Maxine integrates NVIDIA Riva’s real-time translation and text-to-speech with photo animation “live portrait” and eye contact in real time.
Drive Concierge
Omniverse Avatar enables DRIVE Concierge to serve as everyone’s digital assistant, helping them make recommendations, book reservations, make phone calls and provide alerts. It’s personalized to each driver and passenger, giving every vehicle occupant their own personal concierge. Passengers will be able to have a natural conversation with the vehicle and use voice to control many functions that previously required physical controls or touch screens.
Developer License and Pricing
It is free to develop Omniverse Kit SDK-based Extensions, Apps, and Microservices, or Omniverse Connect SDK-based Connectors on the Omniverse Platform.
Developers can sell their own Apps, Extensions, Microservices, or Connectors on their own, or be featured in the Omniverse Exchange. Developers are not able to distribute any NVIDIA-developed Omniverse Apps, Extensions, or Microservices, nor Omniverse Nucleus or Omniverse Kit.
End-users of the Omniverse-based Extension, App, Microservice, or Connector will need either an Omniverse Open Beta license or an Omniverse Enterprise license.
Developer Ecosystem
See Omniverse in Action
Validating NVIDIA DRIVE Sim Camera Models
This post covers the validation of camera models in DRIVE Sim, assessing the performance elements, from rendering of the world scene to protocol simulation.
Experience Immersive Streaming with Omniverse XR Remote
Creators and developers can now view their 3D content as it was meant to be experienced, in full immersive detail with NVIDIA Omniverse XR Remote for iPad.
Omniverse User Group Spotlights Talented Community Members
At NVIDIA GTC, the Omniverse User Group held its second meeting, focusing on developers and users of the NVIDIA open platform for collaboration and simulation.
TIME Magazine Calls NVIDIA Omniverse One of Year’s 100 Best Inventions
NVIDIA Omniverse, a simulation and design collaboration platform for 3D virtual worlds, is already being evaluated by 700+ companies and 70,000 individuals.