一个“合格”的游戏玩家,在打出各种辣眼睛操作之后,一般都不会自我复盘,而是各种找理由,而电脑不行、外设不行,也是他们找得最多的理由之一。
但是,最近英伟达在一项新技术上获得的突破,或许将在未来让一部分玩家无法再用这个理由了。
那么,这项技术究竟是什么呢?
实时渲染速度提升数倍,英伟达究竟在研究什么?
实时渲染这一技术,在大众眼中的最广泛应用,就是3D游戏了。不过在相关行业人员看来,影视特效、工业设计乃至AR、VR等行业一样非常依赖实时渲染。
因此,对实时渲染技术更新换代的需求也一样非常旺盛。
在此之前,行业内效果最佳的实时渲染技术,是Facebook与MIT研究团队在2019年推出的Deep SDF,但它也随着英伟达的最新研究成果SDF实时渲染的实现而退居到第二位,而且差距相当之大。
从上面的动图中,橙色的是DeepSDF,而SDF的渲染效果则是蓝色。
在英伟达的研究成果中表示,SDF的实时渲染速度相比之前的技术提升了2～3个数量级,而我们也可以从上面的动图中,看到两者之间的差别。将实时渲染效果放慢60倍时,DeepSDF的效果已经看上去像是PPT了,而SDF则依然能够保持流畅。
SDF不仅在实时渲染速度上有了飞跃性的提升,同时它还可以更好地处理更复杂的3D模型,甚至还能实时同步环境光照所能形成的阴影。
这项最新的研究,发表在英伟达联合多伦多大学、麦吉尔大学的研究人员共同发布的论文《神经几何细节水平:隐式 3D 形状的实时渲染》中。在论文里,研究人员引入了一种高效的神经网络表达方法,也就是说,这一项新的实时渲染技术,采用了与之前的技术不同的编码。
是什么样的编码,让实时渲染速度有如此进步?
SDF其实就是符号距离函数Signed Distance Function的缩写,这是一种计算机图形学中一种有效的表达方法。在现在的研究中,通常采用了一个较大、具有固定尺寸的多层感知器(MLP)来对SDF进行编码,为复杂图形提供一个近似的计算数据。
不过,这种实时渲染方式需要通过大型神经网络进行实时渲染,这导致了高昂的计算成本。
▲ 传统的编码方式需要使用大型神经网络进行实时渲染
针对这种情况,研究团队则提出,改用稀疏体素八叉树(SVO)来对几何形状进行编码。
稀疏体素八叉树是什么“树”?可能这是许多小伙伴好奇的问题。其实,这棵“树”的特征量,使他们可以自适应地拟合具有多个细节层次的形状,并且直接通过SDF插值来拟合连续的细节层次。
这样一来,就可以用一个小得多的MLP实现加速渲染了。
▲ 新的编码拟合复杂形状会更简单
这么解释,似乎还有些烧脑,没关系,小黑换种说法来解释:
简单地说,原来的编码方式,就像一个复杂的公式,虽然可以算出近似答案,但计算过程又慢又复杂;而新的编码方式则相当于通过另一种方式推导出的新公式,这个新公式就简单得多,因此计算过程可以做到又快又简单了。
▲ 新编码下的实时渲染插值计算示意
当然,SDF实时渲染不仅采用了新的编码技术,还开发了新的光线遍历算法(Rray Traversal Algorithm),实现了比DeepSDF快100倍的渲染速度。
不仅更快,还更精致
在实时渲染的质量上,SDF实时渲染也超越了现有研究的最佳性能。下面这张对比图,是在低存储和推理参数(相当于低电脑配置)的情况下,这项研究的渲染效果与目前流行的NI和FFN的对比,其中第三项就是最新的实时渲染技术渲染所得的效果图。
可以看出,新的SDF实时渲染技术在细节呈现上要远胜它的竞争对手,甚至和最右侧的参考图像相差无几。
并且,在特殊案例“旧车”和“递归分形结构”(这两者的渲染对实时渲染的某一方面有极高的要求)中,SDF实时3D渲染技术也表现出了更好的效果。
当然,目前这项技术还有其局限性,例如在大场景、薄膜等无体积物体的渲染中并不适用,但这将会是未来非常有价值的研究方向。
想起那些整晚整晚埋头在电脑前等渲染结束的建模师和剪辑师朋友们,小黑就觉得非常心疼,因为等待渲染完成的时间是非常痛苦而无聊的。
如果新的渲染技术能够尽快完善并投入使用,对他们的工作来说应该也是很大的助力吧。
图源:研究论文配图、网络
