一种基于双流注意力与门控融合的多模态情感分析方法

一种基于双流注意力与门控融合的多模态情感分析方法

技术类型 : 专利

专利所属地 :中国

公开号 :CN202310980439.4

技术成熟度 :正在研发

转让方式 :技术转让

交易价格:面议

应用领域 : 通用仪器仪表制造

技术领域 :其他

联系咨询
成果概况
简介
本发明公开了一种基于双流注意力与门控融合的多模态情感分析方法,属于自然语言处理技术领域,该方法中使用预训练的编码器提取音频、图像和文本的高阶语义特征;通过计算不同模态之间的相似特征和差异特征来捕捉不同模态情感贡献的一致性和细粒度差异,实现不同维度特征间的深层交互,从而挖掘模态间的互补信息;然后使用自适应门控网络来融合模态对的相似特征和差异特征,同时过滤掉冗余情感及情感噪声。该方法可以精准地挖掘情感特征,有效的融合不同模态的信息,解决了多模态信息融合不充分的问题,而且在一定程度上缓解了多模态数据相互独立难以融合的难题;有助于提升多模态情感分析预测的准确性。
专利基本信息
专利名称 一种基于双流注意力与门控融合的多模态情感分析方法
专利状态 实审 公开号 CN202310980439.4
申请号 CN117010407A 专利申请日期 2023-08-07
专利授权日期 0001-01-01 专利权届满日 -
专利所属地 中国 专利类型 发明
发明人 天津科技大学
权利人 石荣坤,张亚男,吴超凡
专利摘要 本发明公开了一种基于双流注意力与门控融合的多模态情感分析方法,属于自然语言处理技术领域,该方法中使用预训练的编码器提取音频、图像和文本的高阶语义特征;通过计算不同模态之间的相似特征和差异特征来捕捉不同模态情感贡献的一致性和细粒度差异,实现不同维度特征间的深层交互,从而挖掘模态间的互补信息;然后使用自适应门控网络来融合模态对的相似特征和差异特征,同时过滤掉冗余情感及情感噪声。该方法可以精准地挖掘情感特征,有效的融合不同模态的信息,解决了多模态信息融合不充分的问题,而且在一定程度上缓解了多模态数据相互独立难以融合的难题;有助于提升多模态情感分析预测的准确性。