一种多模态解耦生成模型的训练方法、系统及相关设备

一种多模态解耦生成模型的训练方法、系统及相关设备

技术类型 : 专利

专利所属地 :中国

公开号 :CN202111479685.9

技术成熟度 :正在研发

转让方式 :技术转让

交易价格:面议

应用领域 : 通用仪器仪表制造

技术领域 :电子信息

联系咨询
成果概况
简介
本发明适用于多模态数据处理领域,提供了一种多模态解耦生成模型的训练方法、系统及相关设备,所述方法包括:构建包括模态共享因子编码器、模态私有因子编码器、重构数据解码器的多模态解耦生成模型;获取包含相同共享因子的数据对、不同共享因子的数据对构成的训练集;将所述训练集输入至所述多模态解耦生成模型中,利用损失函数对模型进行训练;将多模态数据输入所述多模态解耦生成模型,得到对应所述多模态数据的数据表示。本发明可以高效的抽取多模态数据的共享因子数据,在减小了多模态处理的计算开销的同时,也使生成图像数据更加清晰、更具备生成多样性,同时生成过程也具备可解释性。
专利基本信息
专利名称 一种多模态解耦生成模型的训练方法、系统及相关设备
专利状态 实审 公开号 CN202111479685.9
申请号 CN114202024A 专利申请日期 2021-12-06
专利授权日期 0001-01-01 专利权届满日 -
专利所属地 中国 专利类型 发明
发明人 深圳市安软科技股份有限公司,天津科技大学
权利人 陈亚瑞,杨剑宁,徐肖阳,胡世凯,吴世伟,闫潇宁,许能华
专利摘要 本发明适用于多模态数据处理领域,提供了一种多模态解耦生成模型的训练方法、系统及相关设备,所述方法包括:构建包括模态共享因子编码器、模态私有因子编码器、重构数据解码器的多模态解耦生成模型;获取包含相同共享因子的数据对、不同共享因子的数据对构成的训练集;将所述训练集输入至所述多模态解耦生成模型中,利用损失函数对模型进行训练;将多模态数据输入所述多模态解耦生成模型,得到对应所述多模态数据的数据表示。本发明可以高效的抽取多模态数据的共享因子数据,在减小了多模态处理的计算开销的同时,也使生成图像数据更加清晰、更具备生成多样性,同时生成过程也具备可解释性。