实际应用现难题
在穿戴式设备领域，Ray – Ban Stories让Meta发现了不少实际应用方面的问题。在使用场景中，摄像头、传感器常被遮挡。比如说，用户把眼镜放入衣袋再取出后，传感器可能被杂物挡住。而且，设备性能会下降，捕捉到的3D数据常不完整，影响成像等功能。这是穿戴式设备面临的一大挑战。
Meta投入了大量精力来研究解决这些问题，这是由于它明白，要是不攻克这些应用难题，穿戴式设备就很难有大的发展，基于Ray – Ban Stories的实际反馈，Meta清楚了问题所在，进而为后续研究明确了方向。
3D传感方案揭秘
Meta在其最新论文里，详细揭秘了Stories采用的3D深度传感方案，该方案有新颖的实时校正算法，这种算法能随时根据外界情况进行调整，方案还包括单目和双目视差网格协同设计，二者相互配合可优化数据处理，另外，从单目数据导出3D数据集的方式独特，能提高数据利用率。
该方案会结合配对手机的GPU来处理3D数据，它能够高效完成图像预处理，它能够高效完成立体校正，它能够高效完成深度估计，这种结合方式充分利用了手机资源，弥补了眼镜本身处理能力的不足。
性能优化与准确保障
此方案的重点在于优化3D深度传感性能，系统能够识别校正数据的可靠程度，通过这一点来确保数据准确性，若数据不可靠，就会退回至单目深度预测模式，比如在光线过暗等复杂环境下，可能会采用这种方式保证一定精度。
借助这种双模式切换，设备在不同环境中都能尽可能保证性能，设备在不同环境中都能尽可能保证准确性，这对于穿戴式设备的使用来说非常关键，能让用户在各类场景下拥有相对稳定的使用感受。
算法通用性探索
Meta的科研人员希望算法能应用到更广泛的设备上，这些设备包括较旧的手机型号，算法不依靠特定硬件。哪怕是6年前发布的Galaxy S8手机，其CPU计算3D视图的时间能低至1秒，这款手机的模型泛化能力也不错。
这表明旧手机能够较好地支持相关设备，这使得设备的使用范围得以扩大，同时还降低了对硬件的要求，进而让更多用户可以体验到相关技术带来的便利。
处理管道设计考量
端到端深度传感系统要是想合成立体图像，会碰到许多挑战，对于移动设备而言，算力是最大的限制因素，所以，Meta根据手机有限的算力，设计了实用的3D图像处理管道，该管道里的步骤可以协同运行，在出现故障或者数据不理想时，能够进行调整校正。
在高温环境里，它能校准不可预见因素对性能造成的影响。在户外环境中，它也能校准不可预见因素对性能造成的影响。这种设计可确保设备在不同情形下都尽可能正常运行，进而增强了设备的稳定性。
深度预测与视图合成
双目深度预测采用一样的下游处理管道，单目深度预测同样采用这个下游处理管道，该管道可以输出准确性高的相对视差，以此满足3D捕捉和建模的目的。要是校正质量没达到标准，就会退回单目模式，然后进入渲染管道生成新视角。
在线校准未必可靠，要是出现一侧摄像头被遮挡等情况，那就只能依靠单目深度网络进行预测。生成深度视差图后，系统会裁剪最大有效区域，并且会保持原始纵横比，通过这种方式来优化3D建模的整体质量。在新颖视图合成部分，Meta采用基于LDI的方案创建立体训练数据集。
你认为Meta的这种做法，即不依靠特定硬件来提高3D深度传感性能，它能推动穿戴式设备大量普及吗？