周二(8月20日),英伟达在官网技术博客中宣布,其在2024科隆国际游戏展(Gamescom
2024)上发布了首款设备端小型语言模型(SLM),可用于提升游戏角色对话能力。
英伟达还宣布,首款展示“NVIDIA ACE”数字人技术的游戏是Amazing Seasun Games(西山居)开发的《Mecha
BREAK》(解限机) ,新技术能让游戏中的角色栩栩如生,以提供更具活力和沉浸感的游戏体验。
年初的时候,英伟达就发布了其数字人技术NVIDIA
ACE,可以提供由生成式人工智能驱动的语音、智能和动画。现在这项技术拥有了其第一个SLM“Nemotron-4 4B Instruct”。
新闻稿称,英伟达对该模型进行了优化,提高了其响应速度和设备端推理的性能,VRAM使用量被降至约2GB,显著缩短了首个Token的生成时间,可作为“NVIDIA
NIM”推理微服务供游戏开发人员在云和设备上部署。
作为首款采用NVIDIA ACE NIM的游戏,《解限机》中的NPC(非玩家控制角色)机械师能够响应玩家的指令——NVIDIA Audio2Face-3D
NIM和Whisper在设备上负责面部动画和语音识别,Elevenlabs则通过云端提供角色声音。
Whisper是OpenAI研发并开源的一个自动语音识别模型。这些技术相结合,玩家能够与《解限机》中的机械师进行互动,机械师可以帮助玩家根据战斗风格和团队需要选择机甲,协助玩家定制机甲外观,并就战斗提供建议