Looking Glass 使用NVIDIA ACE 和Maxine 3D 来实现全息视频通话

（Nweon 2024 年7 月30 日）谷歌在2021 年5 月的I/O 大会上公布了光场显示项目Project Starline。它基本上是一个可以通过光场技术创建的3D 视频聊天室。就像另一个人坐在你对面一样。这一突破性的远程通信工具结合了Google 的硬件和软件进步，旨在增强朋友、家人和同事远程聚会时的临场感。

利用NVIDIA的Maxine 3D和NVIDIA ACE，全息技术公司Looking Glass也展示了类似的远程呼叫平台。

,

NVIDIA近期展示了NVIDIA Maxine AI开发者平台的最新进展，包括Eye Contact NIM微服务和Audio2Face-2D。

Maxine 3D 和NVIDIA ACE 为广泛的开发人员和应用程序带来了栩栩如生的数字人类。它可以支持使用实时、逼真的3D 头像进行视频会议。

NVIDIA 创新的前沿之一包括Maxine 3D。这项突破性技术可将2D 视频肖像输入实时无缝转换为沉浸式3D 头像。这一进步使您可以使用商业视频会议设备将3D Avatar 集成到实时双向通信中。

NVIDIA Maxine 正在推动虚拟远程呈现技术在虚拟活动空间和视频会议等沉浸式环境中的采用。它利用NVIDIA RTX 渲染逼真、超逼真的视觉效果，并承诺通过将标准2D 视频输入转换为动态3D 头像来重新定义用户体验。

Looking Glass 联合创始人兼首席执行官Shawn Frayne 表示：“NVIDIA Maxine 让我们离实现Looking Glass 成立以来的梦想又近了一步：物理空间之间的虚拟全息隐形传态。”借助Maxine，我们现在能够将任何2D 视频输入转换为身临其境的高保真3D 全息体验，从而无需复杂的摄像机设置。”

Look Glass 一直与NVIDIA Research 合作，利用全息3D 显示器创建创新的视频会议平台。此次合作使用了NVIDIA 技术，包括NVIDIA RTX 6000 Ada GPU 和Maxine 3D。多个用户可以同时体验真实的3D全息内容。

目前提供抢先体验的Maxine 3D 主要利用人工智能、神经重建和实时渲染来创建高度逼真的数字化身。通过利用神经辐射场(NeRF)，它可以从单个2D 图像重建详细的3D 视图。

通过与Audio2Face-2D 技术集成，Maxine 可以将2D 化身提升为沉浸式3D 表现形式。这一突破性功能使您能够塑造类似于现实世界的数字人，丰富虚拟会议、娱乐等方面的体验。

Eye Contact NIM 和Audio2Face-2D 预览版发布

Maxine 的两个最受欢迎的功能Eye Contact NIM 和Audio2Face-2D 现已推出。

眼神交流NIM 提供直接眼神交流，增强虚拟会议中的参与度和存在感。 Audio2Face-2D 根据音频输入为静态肖像制作动画，从单个图像创建动态的、会说话的化身。

随着视频和音频技术的不断发展，该团队正在引入一系列新的和增强的功能来增强用户体验：

音效背景降噪2.0 for Video Relighting Studio Maxine 托管API Maxine Video Relighting 微服务使用3D HDR 内容映射来实现实时照明，使前景照明能够无缝匹配各种背景和环境。视频重新照明使用人工智能来实时改善照明条件，确保您的拍摄对象始终呈现最佳状态，无论其物理环境或虚拟背景如何，都能匹配逼真的照明。此功能对于在各种次优照明情况下保持最佳外观特别有用。 Studio Voice：最新版本的Studio Voice 在质量和性能方面有了显着改进，并首次实现了实时通信。这一进步使用低延迟模型为日常视频会议设置带来了工作室品质的音频。背景降噪2.0：背景降噪2.0为音频清晰度设定了新标准，有效消除背景噪音，同时保留自然的语音质量。此功能对于在不同环境中保持清晰的通信至关重要。当与自动语音识别(ASR) 技术相结合以减少转录错误时，该模型特别有用。

Maxine 托管API：从行业领先的Eye Contact 开始，Maxine 功能可作为NVCF 的REST API 提供。它们为Maxine 算法提供灵活且低代码的部署选项。前面提到的Studio Voice 很快就会作为NVCF API 发布。为开发商和行业赋能

NVIDIA Maxine 是一个综合平台，旨在帮助您创建用于远程呈现和数字人类创作的下一代应用程序。