Jak Nvidia zamienia proste zdjęcie w animowane renderowanie 3D przy użyciu sztucznej inteligencji

Firma Nvidia Research zaprezentowała GANVerse3D, nową technologię sztucznej inteligencji, która może przekształcić prosty obraz w animowane modele 3D z możliwością dostosowania.

GANVerse3D Enabled Kitt Modeling for the K2000 Series // Źródło: Nvidia

Po raz kolejny sztuczna inteligencja opracowana przez Nvidię pokazuje swoje umiejętności technologiczne. Szkolenie dzięki GAN (Generative Adversarial Network) Co skłoniło go do przejrzenia setek tysięcy zdjęć i Lada (Wzrosła dyskryminacja adaptacyjna) Umożliwiając adaptacyjne i selektywne przekształcanie obrazów w celu ulepszenia, sztuczna inteligencja może w ten sposób zrekompensować brak biblioteki wystarczająco dużej, aby wzbogacić się o informacje, które należy następnie zmielić.

Najnowsze wykorzystanie potencjału tej sztucznej inteligencji jest imponujące.

Powiększ obraz, aby stał się modelem 3D

Nvidia Research opracowała nowy silnik dla Głęboka nauka Dzięki temu możliwe jest tworzenie modeli 3D obiektów z prostych obrazów 2D. Wszystko to odbywa się za pośrednictwem nowej aplikacji o nazwie GANVerse3D opracowanej przez Nvidia AI Research Lab w Toronto.

Obsługiwany przez tysiące wstępnie wchłoniętych obrazów, GANVerse3D będzie w stanie „powiększyć obraz”, aby ożywić go w obrazie 3D, a nawet animować go na komputerze w środowisku wirtualnym.

GANVerse 3D umożliwia ożywienie modelowania 3D z obrazu (po prawej) // Źródło: Nvidia

Nvidia ma nadzieję przyciągnąć architektów, twórców gier wideo, projektantów, a nawet projektantów Scenorysy W kinie, oferując łatwe w użyciu narzędzie, Nawet dla tych, którzy nigdy nie tworzyli modeli 3D», Aby dodać elementy do prezentacji, formularza, wersji roboczej …

Aby zademonstrować moc swojego silnika, Nvidia zaprojektowała KITT, popularny samochód z tej serii K2000 . Z prostego zdjęcia czarny samochód z czerwoną taśmą LED znalazł się wirtualnie na komputerze 3D, jeżdżąc w wirtualnej scenie, z oświetleniem lub miganiem i efektami świetlnymi na karoserii.

Nvidia Omniverse Kit i Nvidia PhysX Tools spodziewali się następnie tekstury z materiałami najwyższej jakości, które mogłyby pochodzić z KITT, aby nadać jej trochę więcej realizmu. W ten sposób GANVerse3D jest wprowadzany jako rozszerzenie Omniverse ”.Aby pomóc artystom w tworzeniu bogatszych wirtualnych światów do tworzenia gier, planowania miast lub projektowania nowych modeli edukacyjnych„Jean-Francois LaVlecci, który się specjalizujeGłęboka naukaW Nvidii.

Następnie amerykańska firma wyjaśniła, jak łatwo można zmienić kolor, fakturę i dowolny element samochodu, jednocześnie ewoluując w jego wystroju.

Można to zrobić za pomocą przedmiotów lub koni, jeszcze nie osób

Aby to osiągnąć, konieczne było dostarczenie do GANVerse3D ponad 55 000 zdjęć pojazdów wszelkiego rodzaju.Prawdziwe zdjęcia„Badacz i autor projektu, podkreśla Juan Zhao. W ten sposób obrazy zrobione pod różnymi kątami zostały połączone, a następnie zsyntetyzowane przy użyciu technologii GAN firmy Nvidia. Proces rozpoczął się od połączenia dwuwymiarowych obrazów w celu uzyskania trójwymiarowego widoku. Następnie wystarczy wstrzyknąć jeden obraz do szablonu, aby oprogramowanie wykonało swoje zadanie i uzyskać jego szybkie renderowanie.

Leanne YouTubeZasubskrybuj Frandroid

Dzięki wsparciu silnika renderowania neuronowego 3D programiści mogą kontrolować dostosowywanie obiektów i zmiany w tle. Działa przy użyciu procesora graficznego Nvidia RTX i Platforma Nvidia OmiverseNiedawno ogłoszone i zaprojektowane dla firm, które chcą współpracować w czasie rzeczywistym w 3D, GANVerse3D będzie w stanie odtworzyć model 3D w mniej niż sekundę. Wyświetlacz nie jest tak dokładny i dopracowany jak oryginał, ale nie ma w tym sensu. Chodzi o uzyskanie wyniku, który jest szybki, niedrogi i łatwy w użyciu.

Siła naukowców z Nvidii polega na tym, że z powodzeniem zoptymalizowali swój model GAN, który jest zasilany przez tysiące obrazów, dzięki czemu sztuczna inteligencja może generować dane w celu stworzenia obiektu 3D z prostego obrazu 2D. Aby przyspieszyć proces i szybko wygenerować dane, technologia wybiera widok pojazdu na określonej wysokości i z określonej odległości kamery.

Na razie GANVerse3D doskonale współpracuje z pojazdami, końmi, budynkami, statycznymi obiektami inżynierskimi, a nawet ludzkimi twarzami. Jeśli chodzi o całe ciało, NVIDIA tłumaczy, że nie ma wystarczającej liczby elementów pod względem możliwych ruchów, aby móc uzyskać zadowalający efekt. Ale to tylko kwestia czasu.