技术类型 : 专利
专利所属地 :中国
公开号 :CN202111479685.9
技术成熟度 :正在研发
转让方式 :技术转让
交易价格:面议
应用领域 : 通用仪器仪表制造
技术领域 :电子信息
专利名称 | 一种多模态解耦生成模型的训练方法、系统及相关设备 | ||
专利状态 | 实审 | 公开号 | CN202111479685.9 |
申请号 | CN114202024A | 专利申请日期 | 2021-12-06 |
专利授权日期 | 0001-01-01 | 专利权届满日 | - |
专利所属地 | 中国 | 专利类型 | 发明 |
发明人 | 深圳市安软科技股份有限公司,天津科技大学 | ||
权利人 | 陈亚瑞,杨剑宁,徐肖阳,胡世凯,吴世伟,闫潇宁,许能华 | ||
专利摘要 | 本发明适用于多模态数据处理领域,提供了一种多模态解耦生成模型的训练方法、系统及相关设备,所述方法包括:构建包括模态共享因子编码器、模态私有因子编码器、重构数据解码器的多模态解耦生成模型;获取包含相同共享因子的数据对、不同共享因子的数据对构成的训练集;将所述训练集输入至所述多模态解耦生成模型中,利用损失函数对模型进行训练;将多模态数据输入所述多模态解耦生成模型,得到对应所述多模态数据的数据表示。本发明可以高效的抽取多模态数据的共享因子数据,在减小了多模态处理的计算开销的同时,也使生成图像数据更加清晰、更具备生成多样性,同时生成过程也具备可解释性。 |