喜报丨我院曹衍龙教授团队在IEEE TPAMI发文！
研究背景-问题提出
光度立体技术能够重建像素级的表面三维法向细节信息，在智能制造领域应用广泛。重建过程需要解决未知表面反射和全局照明影响这两个重要的挑战。深度学习以其强大的非线性拟合和从显式标签中泛化学习的能力，展现出了卓越的性能。然而现有的基于深度学习的光度立体方法通过增加模型深度和训练数据广度的方式，提升重建的精度。目前未知表面反射和全局照明影响是如何被解决的，仍然是个未知的问题。
为此，曹衍龙教授团队从深度本征特征、本征特征编码和网络架构等方面重新审视了基于学习的有监督光度立体网络，解决了以下三个问题：1）有监督的光度立体神经网络在优化过程中需要学习的深层本征特征是什么？2）如何在深层本征特征的编码过程中解决光度立体的难题？3）理想的基于有监督学习的光度立体网络架构是怎样的？相关研究以“Revisiting Supervised Learning-Based Photometric Stereo Networks”为题近期发表在《IEEE Transactions on Pattern Analysis and Machine Intelligence》（五年IF为22.2）。浙江大学机械工程学院博士生韦逍遥（第一作者）和丁斌杰参与工作，浙江大学机械工程学院曹衍龙教授与南洋理工大学博士生李宗瑞、浙江大学计算机学院郑乾研究员为共同通讯作者，北京大学施柏鑫研究员、浙江大学潘纲教授、南洋理工大学蒋旭东教授提供指导。
研究内容
有监督学习的光度立体重建方法分为逐像素、全像素和混合方法。无论哪种方法，本文都将其分为三个阶段：光照和观测对齐、光照感知深层特征编码、光照无关深层特征解码，研究其共性。并基于分析得到的见解，提出最先进的光度立体重建方法。
' fill='%23FFFFFF'%3E%3Crect x='249' y='126' width='1' height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
有监督学习的光度立体重建方法的三个阶段
1、本征特征是什么？
本文回顾了先前有监督学习的光度立体网络所学习到的深层特征，从理论分析和实验验证两个方面，表明了这些方法在光照感知深层特征编码阶段专用于提取Shading信息相关特征，以去除未知表面反射和全局照明影响。基于这个观察，提出了Shading特征监督的策略来促进光照感知的深层特征编码。
定量验证
定性验证
2、本征特征编码策略
论文揭示了逐像素方法在解决未知表面反射上更有优势，而全像素方法在解决全局照明影响问题上更有优势。在此基础上，进一步分析了解决这些困难以编码深层特征的难度，表明了其难度和输入的信息相关（例如，图像数量、尺寸、表面是否为均一材质）。受应用在扩散模型/大语言模型中简单优先策略（Easy-First-Generation）/最少到最多提示策略（Least-to-Most）的启发，提出了由易到难的光照感知深层特征学习策略，以促进未知表面反射和全局照明影响问题的解决。
由易到难的深层特征编码
3、网络架构
论文分析了用于解决光度立体挑战（即未知表面反射和全局照明影响）的线索，并基于此进一步讨论了现有的基于学习的有监督光度立体中的网络结构是如何促进解决这些挑战的。基于这些分析，提出了用于从光照无关的深层特征中解码法向的空间上下文感知注意力机制。
1D强度分布特点（特征编码）
1D图像特点（特征编码）
法向特点（特征解码）
提出的深度光度立体模型（ESSENCE-Net）
基于以上见解，提出了最先进的光度立体模型，以极其简单的架构实现最先进的重建表现。
1、Shading特征监督策略
2、由易到难的光照感知深层特征编码策略
3、空间上下文感知注意机制解码法向
ESSENCE-Net模型架构
稠密输入下重建结果对比
稀疏输入下重建结果对比
总结
本文从光度立体本质的角度出发，重新审视了有监督学习的光度立体重建方法：
（1）明确了有监督学习的光度立体方法在学习Shading相关特征，以去除未知表面反射和全局照明影响，提出了Shading特征监督的策略。
（2）提出了由易到难的光照感知深层特征编码策略来获取优化的Shading特征。
（3）明确了编码光照感知深层特征合适的网络架构，并提出了空间上下文感知注意机制从中解码法向。
（4）基于（1）-（3）提出了ESSSENCE-Net，表现出了优异的法向重建效果。