模型以无监督链接预测任务作为目标,通过和联合训练进行统一大图预训练任务结果:优化多任务样本混合比例离线多任务平均+4%生成式模型增强的大图预训练、微调背景:上述统一多场景大图预训练+F范式主要有几个问题,首先预训练任务和下游任务之间固有的训练目标有差距,导致预训练无法最大化发挥能力,其次此范式下每个任务都需要大量样本有监督训练,微调成本高且新任务泛化能力弱,在范式之前,多场结构优化,设计复杂且可迁移性弱,因此借鉴新范式设计图领域统一多场景模型
动作:生成式模型实 牙买加 WhatsApp 号码列表 语义理解模型具有统一多场景任务设计简单、可迁移性强等优点,因此通过生成增强检索()方式进行搜索推荐多场景语义模型设计,然后通过生成式检索模型和联合训练进行统一大图预训练任务具体而言,通过底层共享基于开源模型领域微调后的模型为基座、以对比学习为目标设计双塔结构、多场景多样设计样本结构,以F方式进行多场景任务训练实现搜索推荐多场景语义模型;如上所述,大图预训练阶段通过自定义场-显示定义场景子图,多场景子图内进行高阶聚合、多场景子图间底层共享节点表征,模型以无监督链接预测任务作为目标,最后和联合训练实现统一大图预训练任务
下游设计多场景f-进行F,具体f-初始化向量进行表示,通过融合预训练节点表征f-表征作为最终节点表征,多场景以训练少量参数、小样本进行下游任务微调结果:相比于多任务,带来所有任务离线指标上涨,多任务平均+%;z-评估下游任务,f微调(对比不进行下游任务微调),下游多任务平均+%
|