英伟达AI技术让2D视频快速转成3D模型

2023年6月10日，南极熊获悉，美国GPU制造商英伟达（Nvidia）发表了一篇研究论文，概述了一种能够将2D视频快速转换为详细3D模型的新型人工智能（AI）模型Neuralangelo。

△利用AI技术可将视频快速创建为3D模型演示视频（传送门）

最新研究发现，现有的生成式AI模型难以逼真地捕捉物体的精细细节，例如复杂纹理、均匀的颜色和强烈的颜色变化。然而，英伟达的新一代人工智能技术Neuralangelo，据说可以解决这些问题。该技术不仅提供高保真度模型，还可以准确将2D视频转换成3D模型，展现材质纹理的细微之处。这为3D打印行业带来了更大的可能性。

△Neuralangelo：高保真神经表面重建论文（传送门）

作为3D打印工具的英伟达AI将如何发展？

英伟达特别强调了Neuralangelo技术在创意专业人士中的潜在好处，他们可以利用智能手机的镜头快速轻松地创建虚拟对象，并展现出在艺术、虚拟现实、视频游戏开发、机器人技术以及工业数字双胞胎生产中的广泛应用前景。

此外，该公司已经成功展示了Neuralangelo新技术的广泛功能，通过重新制作米开朗基罗的大卫雕塑和重建平板卡车，展现模型的精细程度。该技术还可以重建大规模环境, 例如利用无人机拍摄的鸟瞰视频片段，成功创建了公园的3D模型。

Nvidia高级研究总监，也是该研究论文的共同作者Ming-Yu Liu解释道：“Neuralangelo提供的3D重建功能将为创作者带来巨大的好处，帮助他们在数字世界中重建真实世界。该工具最终将使开发人员能够将详细的对象，无论是小型雕像还是大型建筑物导入到视频游戏或工业数字孪生的虚拟环境中。”

他补充说道：“除此之外，Neuralangelo的性能和精度也将为制造业和建筑业提供极大的帮助，以更快速和准确地创建模型和设计。”

尽管Neuralangelo项目尚未与3D打印应用相结合，但英伟达公司表示，该技术未来很有可能是增才制造的发展发展方向之一。目前，该项目的模型尚不支持3D打印。

那个未来会比预期来得更早吗？英伟达宣布了一款名为Magic3D的AI 3D模型生成工具。该公司表示，Magic3D在40分钟内生成3D对象，速度是DreamFusion的两倍。

使用AI将2D视频转换为3D模型

Neuralangelo结合使用即时神经图形基元 (NGP) 和信号距离函数 (SDF) 来实现高质量的视频转换。 NGP提供了具有多分辨率哈希编码的混合3D网格结构，从而大大提高了神经域的表示能力，同时可以捕捉更细微的细节。这种方法非常适合三维打印行业。

具体来说，Neuralangelo首先拍摄一个物体或环境的2D视频，并选择几个突出显示不同视点的帧。然后确定每一帧的相机位置，进而创建一个初步的3D模型。之后，通过精细的渲染和锐化细节来优化该模型，生产出具有高质量表面和精度的成品。

使用数值梯度计算高阶导数是这种方法的一个关键因素，能够稳定优化过程。此外，渐进式优化计划对于恢复不同细节级别的结构至关重要，这使得全面和准确的 3D模型重建成为可能。

据悉，英伟达的Neuralangelo项目将于6月18日至22日在加拿大温哥华举行的计算机视觉和模式识别（CVPR）会议上展示。此次展示会将与近30个其他项目一起展示，主题涵盖姿势估计、3D重建和视频生成等领域。

△英伟达的总部公园视频使用Neuralangelo快速换为3D模型

南极熊认为，未来，将AI工具与3D打印技术结合起来可以帮助制造商更轻松地进行生产，快速生产复杂性高的部件，并且可以随着时间的推移持续优化其生产流程。因此将3D打印技术的灵活性和快速制造能力与AI快速生成高质量的3D模型相结合，将带来巨大的优势。这是一个非常有前景的应用领域，值得我们关注。