Apple正在研发一套全新的压缩系统,用来提升人物与物体三维数字模型的存储、传输和渲染效率,有望改善未来空间计算设备的实时通信体验,例如新一代AR智能眼镜和后续版本的Vision Pro。
这项技术以三维高斯泼溅为核心,这是一种先进渲染技术,依靠海量三维数据点还原真实物体、面部表情与环境,不再单纯依赖传统多边形模型。
Apple提出的这套方案,旨在解决该技术与生俱来的一大难题:高精细度三维模型需要海量数据,会对设备内存、存储空间以及网络带宽带来巨大压力。
这份专利提出了一种在保留重建逼真三维画面所需视觉信息的前提下,降低资源开销的方法,该技术可支持众多应用场景,专利重点提及了实时通信场景所使用的数字虚拟形象。
高斯泼溅技术依靠大量被称为泼溅单元的独立元素构建三维模型,每一个泼溅单元都记录自身位置、尺寸、旋转角度、色彩与透明度信息。
大量泼溅单元组合在一起,能够还原复杂曲面、面部特征,并且在观看者围绕虚拟物体移动时,呈现出真实自然的外观变化。
Apple在专利中说明,传统图像与视频压缩方案并不适合高效处理这类数据,尤其是实时通信场景下需要持续更新三维模型的情况。
Apple的解决思路,是把描述三维场景的各项参数转化为一组二维纹理贴图,每一张贴图都承载原始三维模型某一类特征信息,之后借助数学变换、降维处理以及传统视频编码技术,对这些贴图执行压缩。
系统不会独立传输每一项原始参数,而是筛选出可以用更少数据通道表达的信息,同时保留重建原始场景所需的细节。
专利举了例子,可以将24路二维纹理通道精简为12路压缩通道,还可以把4路旋转信息通道压缩至2路,12路色彩通道压缩为4路。
这些例子仅代表数据通道数量的缩减,并不代表文件体积或者网络带宽一定能减半。
这项专利一个非常核心的特点,就是对三维模型的不同区域采用差异化压缩强度,系统不会对虚拟形象的所有元素一视同仁,而是把更多数据资源分配给视觉精度至关重要的区域。
Apple特别指出,眼睛与嘴部区域会采用压缩程度更低的方案,实时通话过程中,保留嘴部与眼部细微动作,能够维持面部表情的真实感,同时降低非关键区域的数据传输量。
专利利用量化参数管控这套机制,三维模型的各个组件、不同区域都可以配置独立压缩规则,对重建画面影响更大的信息会以更高保真度保存,其余数据则执行更高强度压缩。
这套系统还可以借助机器学习与神经网络,判断数据的压缩方式与资源分配策略。
Apple还提出可以根据实时网络带宽、本次通信需求动态调整压缩等级,网络条件受限的时候,减少传输数据量,优先保障视觉重点信息,带宽充足时,降低压缩强度,保留更多原始模型细节。
这项技术可以直接应用于Vision Pro头显,优化依托虚拟形象的通信功能。
专利描述通过摄像头与各类传感器采集用户信息,生成人物三维模型,再将压缩后的数据传输到另一台设备,接收端设备对数据解压,重建人物数字形象,在扩展现实环境中进行展示。
专利还记录了一套采集流程:拍摄用户做出各类表情时的面部影像,用于生成并持续更新数字虚拟形象,通信过程中,设备会持续传输压缩后的三维帧数据,还原用户表情与姿态的动态变化。
专利描述了头戴设备和其他电子设备之间的通信方式,身处不同空间的用户,可以通过三维虚拟形象进行交互。
重要的是,这项发明不只局限于数字虚拟形象或者Vision Pro,Apple表示这套压缩技术同样适用于其他三维物体和场景,适配设备包含手机、平板、笔记本电脑以及各类头戴显示设备。
这项发明更大的意义,是让高精细三维内容能够更好地落地于实时通信与空间计算场景,降低三维模型传输、重建所需的数据量,能够减少带宽消耗,减轻复杂三维场景对内存和存储的压力。
对于Vision Pro,该技术能够让虚拟形象通信更加高效,尤其在网络波动的环境下,可以在不全量传输原始数据的同时,保留面部细节。
总而言之,这份专利体现Apple正在攻克空间计算领域的一项底层难题:在打造越来越逼真的三维体验时,避免庞大的数据量压垮终端设备与网络。
