【知识传播者：用极其有限的标签学习面部动作单元动力学 | Knowledge-Spreader: Learning Facial Action Unit Dynamics with Extremely Limited Labels】[cs.CV]
近年来，人脸动作单元(AU)的自动检测研究广泛地依赖于大尺寸的标注。然而，手动标记AU是困难、耗时和昂贵的。现有的大多数半监督工作忽略了来自时间域的信息线索，并且高度依赖于密集标注的视频，使得学习过程的效率较低。为了缓解这些问题，我们提出了一种深度半监督框架知识传播(KS)，它与传统方法在两个方面有所不同。首先，KS不仅将人类知识编码为约束，而且还学习时空AU相关知识，以增强其分布外的泛化能力。其次，我们通过在多个学生网络中交替和动态地应用一致性正则化和伪标记来逼近KS。它将已标记帧的空间知识传播到未标记数据，完成了部分已标记视频片段的时间信息。因此，该设计允许KS从仅分配了一个标签的视频剪辑中学习AU动态，这显著降低了使用注释的要求。大量的实验表明，在BP4D上只使用2%的标签，在DISFA上只使用5%的标签的情况下，所提出的KS的性能与现有技术相比具有竞争力。此外，我们在新开发的大规模综合情感数据库上对其进行了测试，该数据库包含大量同步和对齐的传感器模式的样本，以缓解人类情感计算中标注和身份的稀缺性问题。新的数据库将向研究界发布。
authors: Xiaotian Li, Xiang Zhang, Taoyue Wang, Lijun Yin
via: arXiv.2203.16678:http://t.cn/A66W0hBv
time: 2022-03-30T21:12:13Z
#CV论文上新咯##计算机视觉##深度学习##人工智能#