近日，烟台大学计算机与控制工程学院刘志中教授团队论文“Similar Modality Completion-Based Multimodal Sentiment Analysis under Uncertain Missing Modalities”被国际顶级期刊Information Fusion以长文录用，该期刊为人工智能与计算机科学领域的国际权威刊物（中科院SCI一区，TOP期刊，影响因子18.6）。该研究成果以烟台大学为第一单位，研究生孙宇航为第一作者，刘志中教授为通讯作者。合作单位包括Macquarie University、哈尔滨工业大学（威海）、Auckland University of Technology。

该论文针对“世界老龄化人群存在严重心理疾病而亟需研发一种多模态情绪识别（MSA）技术，从而能够主动准确地识别出用户的情绪，为其提供及时服务”这一现实需求，为解决不确定模态缺失场景下的多模态情绪识别问题，刘志中团队创新性地提出了一种基于相似模态补全的多模态情绪识别模型（SMCMSA），如图1所示。

图1.不确定模态缺失下的多模态情感分析模型（SMCMSA）

SMCMSA模型构建了全模态样本数据库，使用预训练的单模态情感分析模型对样本数据进行情感标签预测，通过设计两个独立的相似模态补全策略对缺失模态进行补全。对于补全后的数据，利用Transformer的Encoder模块对文本、视频和音频模态进行编码，并在预训练模型指导下进行模态融合，提升表示质量，并运用基于决策级融合策略得到最终的识别结果。目前，该模型的情绪识别准确度处于领先水平。该研究工作得到了国家自然科学基金项目、山东省自然科学基金重点项目、山东省泰山特聘学者项目、澳大利亚研究理事会（ARC）未来奖学金和发现项目的支持。

论文链接：

https://www.sciencedirect.com/science/article/pii/S156625352400232X

来稿时间：5月8日 审核：刘希斌 责任编辑：安兴爽