由慕尼黑工业大学Westermann 教授的博士生Sebastian Weiss提出的一种用于直接体绘制的快速神经表示方法[1]，是深度学习技术在计算机可视化中的应用，具有实时探索大型数据集的能力。

        此方法特别之处在于提出了一种新的场景表示网络，使用GPU张量核将数据重建过程集成到片上光线跟踪内核中。同时，作者研究了一种将图像引导网络训练作为经典数据驱动方法的替代方案，探讨此方案在质量和速度方面的潜在优势和劣势。

        场景表示网络（Scene Representation Networks）通过由全连接层组成的神经网络对3D多参数场V进行编码和压缩，实现 的映射。具体过程： 作为 的输入位置，网络的第 i 层计算为 ， 是层权重矩阵， 是偏置向量，a 是激活函数，层数用 表示。最后一层的输出 是最终的网络输出。

        然而SRNs在评估网络推定给定区域位置的数据样本时性能欠佳， SRN由7层网络组成，在直接体绘制中，沿着每条射线都要进行渲染评估，对SRN来说，数据处理量是巨大的。而近期通过GPU处理评估一层网络时，输入和权重会从全局加载更新，然后将结果写回全局内存以供下一层使用。因此，在快速场景表示网络（Fast Volumetric SRN, fV-SRN）中，为避免将中间层处理结果加载和存储到全局内存中，使用了GPU流处理器，将网络停留在每个GPU共享内存和数据缓存内，与其他以SRN为基础的网络架构相比，fV-SRN自定义的CUDA 张量核快达十几倍。

        此外，作者观察到，当使用具有足够小的网络配置以启用交互式体绘制的V-SRN[2]时，由于仅依靠少数网络权重对体素进行编码，网络的表达能力会有所下降，造成网络的预测能力显著下降。为了解决这个问题，作者利用了Takikawa 等人提出的方法，每个体素八叉树节点存储一个可训练的F维向量，该向量跨空间插值作为输入传递给SRN网络，在SRN学习更高分辨率的自适应体素八叉树。使用潜在空间插值的SRN可以保留传统插值丢失的特征，并在任意粒度启用时间超分辨率，证明SRN在科学数据可视化方面的巨大潜力。

        在未来工作中，作者准备进一步在SRN中对位置-速度关系进行编码，简化体绘制光线追踪过程，关注应用自适应采样策略表现出最大预测误差的时间步长的潜力。

参考文献

[1] S. Weiss, P. Hermüller, and R. Westermann, “Fast Neural Representations for Direct Volume Rendering,” ArXiv211201579 Cs, Dec. 2021, Accessed: Dec. 13, 2021. [Online]. Available: http://arxiv.org/abs/2112.01579

[2] Y. Lu, K. Jiang, J. A. Levine, and M. Berger, “Compressive neural representations of volumetric scalar fields,” in Computer Graphics Forum, 2021, vol. 40, no. 3, pp. 135–146.

撰稿：张子慧

指导：罗胜舟