엔비디아 최신 디지털 휴먼 AI 기술 NVIDA RTX와 NVIDIA NeMo 및 NVIDIA Avatar Cloud Engine에 대한 정보를 정리한 글입니다. 자세한 내용은 아래 포스팅을 확인해 주세요.
아바타 제작을 위한 생성형 AI, NVIDIA RTX, NEMO, Avatar Cloud Engine
엔비디아(NVIDIA)는 GDC 2024와 GTC 2024에서 디지털 휴먼 기술을 지원한다고 밝혔습니다. 이 기술은 다양한 업계의 AI 개발자들이 상용 애플리케이션 및 연동적인 게임 캐릭터를 위한 현실적인 아바타를 만드는 데 사용됩니다.
엔비다아의 디지털 휴먼 기술 제품군에는 다양한 기술이 포함되어 있습니다. 그 중에는 레이 트레이싱 렌더링을 위한 NVIDIA RTX, 언어를 위한 NVIDIA NeMo, 그리고 음성 및 애니메이션을 위한 NVIDIA Avatar Cloud Engine(ACE)이 있습니다.
NVIDIA RTX
NVIDIA RTX는 레이 트레이싱 기술을 기반으로 한 그래픽 처리 장치(GPU)입니다. 이 기술은 현실적인 렌더링 및 그래픽 처리를 위해 딥러닝을 활용합니다. RTX는 광선 추적 알고리즘을 사용하여 실제 광선의 경로를 추적하고 광학적으로 현실적인 그래픽을 생성합니다.
이를 통해 디지털 휴먼의 외관 및 환경을 보다 생생하게 렌더링하고, 실제 세계와 유사한 시각적 경험을 제공합니다. 또한, RTX는 디지털 아바타의 애니메이션 및 그래픽 처리에 사용되어 사실적이고 다이내믹한 상호 작용을 가능하게 합니다. 이러한 기술적인 처리는 디지털 휴먼이 사용자와 보다 현실적이고 몰입적인 상호 작용을 할 수 있도록 도와줍니다.
NVIDIA NeMo
NVIDIA NeMo는 자연어 처리(NLP) 및 음성 인식 기술을 위한 고급 AI 프레임워크입니다. NeMo는 딥러닝 모델을 구축하고 훈련하기 위한 강력한 도구와 라이브러리를 제공하여 다양한 자연어 처리 작업을 수행할 수 있습니다. 이를 통해 NeMo는 음성 및 텍스트 데이터를 이해하고 처리하여 디지털 휴먼이 실시간으로 상호 작용하고 응답할 수 있도록 합니다.
NeMo는 언어 모델의 학습 및 튜닝을 위한 다양한 기술과 알고리즘을 제공하여 디지털 휴먼의 언어 이해 능력을 지속적으로 향상시킵니다. 따라서 NeMo는 디지털 휴먼의 언어 처리 능력을 최적화하여 사용자와의 상호 작용을 개선하는 데 중용한 역할을 합니다.
NVIDIA Avatar Cloud Engine(ACE)
NVIDIA Avatar Cloud Engine(이하 ACE)는 디지털 휴먼의 음성 및 애니메이션을 처리하는 데 사용되는 기술입니다. ACE는 클라우드 기반의 서비스로서, 사용자가 상호 작용할 때 디지털 휴먼이 자연스럽게 응답하고 반응할 수 있도록 합니다.
이를 위해 ACE는 음성 및 텍스트 입력을 분석하여 디지털 휴먼의 언어 이해 능력을 개선하고, 실시간으로 음성을 합성하여 응답을 생성합니다. 또한, ACE는 디지털 휴먼의 애니메이션을 생성하고 제어하여 보다 사실적인 상호 작용을 가능하게 합니다. 이러한 기술적인 처리는 사용자 경험을 혁신적으로 개선하며, 디지털 휴먼과의 대화 및 상호 작용이 더욱 자연스럽고 효과적으로 이루어지도록 합니다.
이러한 기술들은 AI 기반 자연어 상호 작용이 가능한 디지털 휴먼을 만들고 대화할 수 있으며, 이로써 사용자 경험이 더욱 현실적이고 다이내믹해집니다.
특히, 인월드와 NVIDIA가 협력하여 개발한 코버트 프로토콜(Covert Protocol)은 디지털 휴먼이 게임 내에서 중요한 역할을 수행하는 데 새로운 가능성을 제공합니다. 이 기술을 통해 플레이어의 실시간 결정과 전략 계획에 따라 게임이 변화하며, 두 플레이어가 같은 상황에 처하더라도 각자의 선택과 전략에 따라 경험이 다르게 형성될 수 있습니다.
Covert Protocol 👈
Covert Protocol이란?
“Covert Protocol”은 NVIDIA와 인월드(Inworld)가 협력하여 개발한 새로운 기술로, 게임 내에서 AI 디지털 휴먼이 주요 역할을 수행하고 플레이어와 상호작용하는 데 사용됩니다. 이 기술은 게임 내 특정 상황에서 디지털 휴먼이 플레이어의 결정과 행동에 반응하고, 게임의 진행을 적응적(adaptive)으로 조절할 수 있는 가능성을 제공합니다.
Covert Protocol은 소셜 시뮬레이션 게임 메커니즘을 활용하여 디지털 휴먼이 중요한 정보 관리자 역할을 하며, 게임의 주요 내러티브를 개발하고 플레이어에게 과제를 제시하는 데 사용됩니다. 이를 통해 게임 내에서 디지털 휴먼이 실제로 캐릭터의 역할을 하면서 플레이어의 선택에 따라 게임의 진행이 변화하게 됩니다.
Covert Protocol은 게임 엔진으로 Unreal Engine 5를 기반으로 구축되었으며, NVIDIA ACE 기술과 인월드의 엔진을 활용하여 구현되었습니다. 이를 통해 디지털 휴먼이 플레이어와의 상호작용에 대한 적절한 응답을 생성하고 게임의 진행을 적절하게 조절할 수 있습니다.
또한, Covert Protocol은 엔비디아 리바(NVIDIA Riva) 자동 음성 인식(ASR) 및 자연스러운 행동 모션을 취하는 엔비디아 오디오투페이스(NVIDIA Audio2Face(A2F))와 같은 기술도 통합하여, 음성 및 애니메이션 파이프라인을 강화하고 게임 내에서 보다 사실적인 상호작용을 가능케 합니다.
총론적으로, Covert Protocol은 플레이어의 선택과 행동에 따라 게임이 동적으로 변화하고, 이로 인해 플레이어는 더욱 다양한 상황을 경험하며 게임을 즐길 수 있게 됩니다.
또한, Unreal Engine 5를 기반으로 구축된 게임인 World of Jade Dynamise와 Unawake에서는 NVIDIA의 기술이 어떻게 활용되고 있는지가 소개되었습니다. 이러한 게임에서는 NVIDIA의 기술을 사용하여 캐릭터의 얼굴을 생성하고, 다국어 버전을 지원하는 등의 기능이 구현되었습니다.
마지막으로, NVIDIA는 Hippocratic AI와 UneeQ와 협력을 통해 디지털 휴먼 및 가상 비서를 위한 빌딩 블록을 제공하고 있습니다. 이를 통해 의료 분야나 고객 서비스 분야에서 AI 기반의 디지털 보조원을 구축하는데 도움이 될 것으로 기대합니다.