Discuz! Board

 找回密碼
 立即註冊
搜索
熱搜: 活動 交友 discuz
查看: 3|回復: 0
打印 上一主題 下一主題

景训练方法集中在模型框架

[複製鏈接]

1

主題

1

帖子

5

積分

新手上路

Rank: 1

積分
5
跳轉到指定樓層
樓主
發表於 2024-5-14 16:45:08 | 只看該作者 回帖獎勵 |倒序瀏覽 |閱讀模式
模型以无监督链接预测任务作为目标,通过和联合训练进行统一大图预训练任务结果:优化多任务样本混合比例离线多任务平均+4%生成式模型增强的大图预训练、微调背景:上述统一多场景大图预训练+F范式主要有几个问题,首先预训练任务和下游任务之间固有的训练目标有差距,导致预训练无法最大化发挥能力,其次此范式下每个任务都需要大量样本有监督训练,微调成本高且新任务泛化能力弱,在范式之前,多场结构优化,设计复杂且可迁移性弱,因此借鉴新范式设计图领域统一多场景模型


动作:生成式模型实 牙买加 WhatsApp 号码列表 语义理解模型具有统一多场景任务设计简单、可迁移性强等优点,因此通过生成增强检索()方式进行搜索推荐多场景语义模型设计,然后通过生成式检索模型和联合训练进行统一大图预训练任务具体而言,通过底层共享基于开源模型领域微调后的模型为基座、以对比学习为目标设计双塔结构、多场景多样设计样本结构,以F方式进行多场景任务训练实现搜索推荐多场景语义模型;如上所述,大图预训练阶段通过自定义场-显示定义场景子图,多场景子图内进行高阶聚合、多场景子图间底层共享节点表征,模型以无监督链接预测任务作为目标,最后和联合训练实现统一大图预训练任务



下游设计多场景f-进行F,具体f-初始化向量进行表示,通过融合预训练节点表征f-表征作为最终节点表征,多场景以训练少量参数、小样本进行下游任务微调结果:相比于多任务,带来所有任务离线指标上涨,多任务平均+%;z-评估下游任务,f微调(对比不进行下游任务微调),下游多任务平均+%



回復

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 立即註冊

本版積分規則

Archiver|手機版|自動贊助|GameHost抗攻擊論壇  

GMT+8, 2024-11-15 03:56 , Processed in 0.076211 second(s), 21 queries .

抗攻擊 by GameHost X3.2

© 2001-2013 Comsenz Inc.

快速回復 返回頂部 返回列表
一粒米 | 中興米 | 論壇美工 | 設計 抗ddos | 天堂私服 | ddos | ddos | 防ddos | 防禦ddos | 防ddos主機 | 天堂美工 | 設計 防ddos主機 | 抗ddos主機 | 抗ddos | 抗ddos主機 | 抗攻擊論壇 | 天堂自動贊助 | 免費論壇 | 天堂私服 | 天堂123 | 台南清潔 | 天堂 | 天堂私服 | 免費論壇申請 | 抗ddos | 虛擬主機 | 實體主機 | vps | 網域註冊 | 抗攻擊遊戲主機 | ddos |