交叉信息院马恺声研究组CVPR发文 破解CNN鲁棒性增强带来的计算量暴增难题

2020年02月26日 浏览次数: 0

近日，2020 IEEE国际计算机视觉与模式识别会议（IEEE Conference on Computer Vision and Pattern Recognition，简称CVPR）公布接收论文结果，交叉信息院马恺声研究组的论文《通过辅助分类器提高卷积神经网络的准确率与鲁棒性》（Auxiliary Training: Towards Accurate and Compact Models）被成功接收。

现有的模型在遇到摄像头抖动造成的模糊、雨雾遮挡等场景时，往往会失效。传统的解决方法之一采用多个不同模型单独运算，然后把每个模型的结果组合（ensemble）到一起，也就是极大地增大模型的容量，从而一定程度上增加模型的鲁棒性。但是增大模型容量带来的坏处也是显而易见的，计算量、存储量的变大导致响应时间变长、能耗变大。如何增加模型对环境的鲁棒性而不增加模型容量成为一个热点问题。

《通过辅助分类器提高卷积神经网络的准确率与鲁棒性》一文提出了一种Auxiliary Training的方法，可以加强模型鲁棒性而不增加模型大小。作者发现，导致模型鲁棒性变差的瓶颈是在于全连接层，而卷积层对鲁棒性的影响很小。观察到此现象后，作者提出用多个全连接层做多个分支，处理不同鲁棒性任务，当训练快接近结束的时候，多加一个loss项使得多个全连接层的权重趋于一致。这样在Inference过程中就跟最基本的模型结构完全一致：就可以既增强模型鲁棒性，而不增加任何Inference的计算量。

图：训练过程中将不同类型数据作为不同任务学习

图：多任务学习收敛后，将不同任务分支融合，最后在预测阶段仅使用一个分类器

这一研究有望缓解为增加模型鲁棒性而带来的计算量暴增的问题，将在一定程度上推动无人驾驶、人脸识别、智能机器人等需要强鲁棒性应用的实际落地。

该论文的第一作者是交叉信息院2019级直博生张林峰，共同通讯作者为交叉信息院助理教授马恺声和清华大学丘成桐数学科学中心助理教授包承龙，论文得到了交叉信息核心技术研究院（西安）的资助支持。由马恺声助理教授指导，交叉信息核心技术研究院（西安）芯片团队完成的另一篇论文《轻量级校正器: 一个可分离的无监督领域适应组件》（Light-weight calibrator:A separable component for unsupervised domain adaptation）也被CVPR 2020接收。

CVPR是计算机视觉领域三大顶级会议之一，本届大会共收到6656篇有效投稿，最终录用1470篇，录用率约为22%左右。