图像描述自动生成因果推理模型框架图

当前，以深层神经网络为基础框架的深度学习方法成为人工智能领域的主流学习范式。然而，由于深度学习的黑盒映射特性，大量深层网络模型的学习结果难以解释和信任。问题的根源在于传统深度学习方法仅局限于关联关系学习，关注输入与输出数据间的相关性，而忽略了两者间的因果关系发现，导致模型在测试集分布发生变化、样本分布不平衡和小样本条件下性能严重退化。将因果推理引入深度学习领域，赋予深层网络模型主动因果干预和因果关系学习能力，是解决这一难题的有效途径，也是构建强人工智能学习方法的重要基础。

近日，计算机科学与技术学院人工智能与计算机视觉课题组刘兵副教授、王栋硕士研究生和周勇教授在该领域取得研究进展，将因果推理引入图像描述自动生成领域，赋予机器在“看图说话”过程中的因果推理能力。研究成果形成论文“Show, Deconfound and Tell: Image Captioning with Causal Inference”，以中国矿业大学为第一单位，刘兵副教授为第一作者，发表在计算机领域顶级国际会议2022 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）。

为了消除传统图像描述深层模型中图像与文本间的虚假关联，该论文引入因果图外部知识，通过揭示视觉域与语言域混淆机理，在目标检测和描述生成中同时进行因果干预，阻断图像视觉特征与描述文本之间的后门路径。在理论分析基础上，设计了目标检测和描述生成因果干预网络，将因果推理与深度网络无缝融合，实现了图像描述生成中的因果关系学习。实验结果表明，所提方法能够在图像描述生成中进行因果推理，获得了当前最优的图像描述生成性能。

CVPR是由IEEE举办的计算机视觉领域三大顶级国际会议之一，被中国计算机学会（CCF）推荐为计算机学科领域A类国际会议。