尊龙凯时官网,尊龙凯时,AG尊龙凯时,尊龙娱乐,尊龙体育,尊龙凯时人生就是搏,尊龙凯时体育,尊龙凯时平台,ag尊龙,尊龙平台,尊龙,尊龙官网,尊龙登录入口,尊龙官方网站,尊龙app下载,尊龙凯时APP【新智元导读】最近，来自NUS、UT Austin等机构的研究人员创新性地提出了一种「拖拽式大语言模型」（DnD），它可以基于提示词快速生成模型参数，无需微调就能适应任务。不仅效率最高提升12000倍，而且具备出色的零样本泛化能力。

　　现在的大模型基本都具备零样本泛化能力，但要在真实场景中做特定的适配，还是得花好几个小时来对模型进行微调。

　　即便是像LoRA这样的参数高效方法，也只能缓解而不能消除每个任务所需的微调成本。

　　刚刚，包括尤洋教授在内的来自新加坡国立大学、得克萨斯大学奥斯汀分校等机构的研究人员，提出了一种全新的「拖拽式大语言模型」——Drag-and-Drop LLMs！

　　DnD是一种基于提示词的参数生成器，能够对LLM进行无需训练的自适应微调。

　　通过一个轻量级文本编码器与一个级联超卷积解码器的组合，DnD能在数秒内，仅根据无标签的任务提示词，生成针对该任务的LoRA权重矩阵。

　　显然，对于那些需要快速实现模型专业化的场景，DnD可以提供一种相较于传统微调方法更强大、灵活且高效的替代方案。

　　卓越性能：在零样本学习的常识推理、数学、编码及多模态基准测试中，其性能比最强大的、需要训练的LoRA模型还要高出30%。

　　通过观察，研究人员发现，LoRA适配器无非是其训练数据的一个函数：梯度下降会将基础权重「拖拽」至一个特定任务的最优状态。

　　DnD通过两个核心步骤获得「拖拽」能力：准备训练数据（左上）与训练参数生成器（右上）。

　　在准备数据时，将模型参数（权重）与特定数据集的条件（提示词）进行显式配对。

　　在训练时，DnD模型将条件作为输入来生成参数，并使用原始的LoRA参数作为监督信号进行学习。

　　基于这些洞见，团队提出了「拖拽式大语言模型」，它无需微调即可生成任务专属的权重。

　　为了赋予模型「拖拽」的能力，团队将这些数据集的提示词与收集到的LoRA权重进行随机配对，构成DnD模型的训练数据——即「提示词-参数」对。

　　参数生成器的模块细节如下：每个超卷积块包含三个超卷积模块，用于在不同维度上提取并融合特征信息。

　　训练时，团队采用一个现成的文本编码器提取提示词的嵌入向量，并将其输入生成器。

　　生成器会预测出模型权重，团队利用其与真实LoRA权重之间的均方误差（MSE）损失来对其进行优化。

　　在推理阶段，团队只需将来自全新数据集（训练中未见过）的提示词输入DnD，仅需一次前向传播，即可获得为该任务量身定制的参数。

　　在所有未曾见过的数据集上，DnD在准确率上都显著超越了那些用于训练的LoRA模型。

　　DnD能够很好地扩展至更大的7B基座模型，并在更复杂的LiveCodeBench基准测试中保持强劲性能。

　　通过利用已微调的LoRA作为训练数据，DnD成功地在输入提示词与模型参数之间建立了联系。

　　团队向DnD输入其训练阶段从未见过的数据集提示词，让它为这些新任务直接生成参数，以此来检验其零样本学习能力。

　　实验结果表明，在零样本测试集上，团队的方法相较于训练所用的LoRA模型的平均性能，取得了惊人的提升，并且能够很好地泛化到多种真实世界任务和不同尺寸的LLM。

　　为了进一步展示DnD的强大能力，团队将其与全量样本微调（full-shot tuning）、少样本学习（few-shot）以及上下文学习（in-context learning）进行了对比。

　　令人惊讶的是，DnD的性能超越了LoRA全量微调的效果，同时速度快了2500倍。

　　虽然经过更多轮次的迭代，全量微调的性能会超过DnD，但其代价是高达12000倍的推理延迟。

　　此外，在样本数少于256个时，DnD的性能稳定地优于少样本学习和上下文学习。

　　尤其值得注意的是，少样本学习和上下文学习都需要依赖带标签的答案，而DnD仅仅需要无标签的提示词。

　　DnD能够达到与全量样本相当甚至更优的性能，同时速度提高了2500-12000倍

　　Zhiyuan Liang目前在新加坡国立大学高性能计算人工智能实验室实习，师从尤洋教授。同时，也得到了Kai Wang博士和Wangbo Zhao的指导。

　　此前，他在中国科学技术大学获得人工智能学士学位。并曾在北卡罗来纳大学教堂山分校Huaxiu Yao教授的指导下进行实习，以及在中国科学技术大学数据科学实验室跟着导师Xiang Wang度过了两年的时光。

　　他的研究兴趣主要集中在高效机器学习与参数生成，希望从权重空间学习的视角，探索实现更高层次智能的有效路径。

　　Zhangyang Wang目前是德克萨斯大学奥斯汀分校钱德拉家族电气与计算机工程系的终身副教授，并荣膺坦普尔顿基金会第7号捐赠教席。

　　他同时也是该校计算机科学系以及奥登研究所计算科学、工程与数学项目的核心教员。

　　他于2016年获伊利诺伊大学厄巴纳-香槟分校电气与计算机工程博士学位，师从计算机视觉泰斗黄煦涛(Thomas S.Huang)教授；并于2012年获中国科学技术大学电子工程与信息科学学士学位。

　　他的研究兴趣主要聚焦于为生成式AI与神经符号AI定坚实的理论与算法基础。

　　核心目标是创建结构化、模块化的模型表示：1）在过参数化模型空间中实现高效、鲁棒的学习；2）与符号知识及推理进行无缝连接。

　　Kai Wang目前是新加坡国立大学HPC-AI实验室的研究员，接受尤洋教授的指导。

　　此前，他在新加坡国立大学获得数据科学与机器学习博士学位，在中国科学院深圳先进技术研究院获得计算机技术硕士学位，在北京师范大学珠海校区获得学士学位。

　　他的研究方向聚焦于参数生成与高效机器学习，尤其注重通过探索简洁的基线方法，来深入洞察深度学习的内在机理。

　　06月15日，当夕阳托起朝阳 民企如何“扛起”银发经济？，网上最大赌城，188金宝博手机投注网，贝搏app安卓，maya玛雅论坛

　　06月15日，重庆市侨办恭贺2024新春，刻成真人的国际象棋，威尼斯人线路一，泛亚电竞下载app，买球

　　06月15日，广西防城港武警官兵雷霆出击 昼夜“破敌”，添彩网快速入口，炸金花真人版官方版，云顶娱乐手机网页，伟德网页登陆

　　06月15日海外华裔青少年北京行：登长城 习武术 重温奥运记忆宝博官网登录为什么雷速体育打不开pg电子试玩模式网址电竞游戏比分网

　　06月15日10国留学生在重庆感受西部陆海新通道建设新貌球探网比分澳门威尼斯线棋牌安装爱游戏体育入口app

　　06月15日贺一诚期望本地传媒全面展示澳门优势环球手机版登陆必威登陆界面在哪里365app官网泛亚电竞网……

　　06月15日，【东西问·中外对话】从长城到武术，丘索维金娜讲述自己如何“迷上”中国文化，万博官网登录页面在哪，欧亚国际游戏网址，澳门直营电玩城，九五至尊网站是多少

　　06月15日，中国香港男子队主场夺花剑世界杯首面团体赛金牌，威尼斯人手机客户端，中欧官网下载，棋牌游戏下载送88现金，立博体育官方

　　06月15日22万种中外图书将亮相第三十届北京国际图书博览会电子下载欧陆娱乐平台首页千赢国际登录官网下载app欢乐二打一与斗地主

　　06月15日，关注巴以局势：以军行动持续 加沙地带多地发生激烈战斗，365球网正规，抢庄牛牛玩法，银河国际网上娱乐成，看4张牌抢庄斗牛app

　　06月15日，人类四肢是如何长出来的，欧宝网站是多少，大发体育电子网投，小贴士B，太阳app官方下载

　　06月15日，体坛观察 全新国足启程前，中超各队先“跑”起来了，亚新体育体育，买球赛怎么玩，曾女士铁板神数A，hy590海洋之神客服

　　06月15日陈茂波将率团访沙特阿拉伯 推介香港金融及创科优势凯发娱乐手机版登真钱手游网址杏彩网页注册登录百人森林舞会游戏

　　06月15日倒计时一周年 成都世运会口号、吉祥物正式发布新甫京娱乐场官方网站nba中国澳门体育平美体育下载入口安卓

　　06月15日2023年新疆机场共完成旅客吞吐量逾4000万人次优发娱乐官网登录威尼斯在线登陆万博登录官网

　　C罗破门后双手合十向球迷道歉，肖战藏海传扶人下马车路透数字人民币平台发红利？谣言 pg电子官网试玩福建赌经BAsiAGaming博天堂官方网站

　　特朗普赢得艾奥瓦州共和党初选，怪奇物语 第四季刘振民接替出任中国气候变化事务特使 外交部介绍情况BOB投注登录m6米乐备用网址bd半岛·体育新万博 美洲杯

　　邓超惊叹AI居然会“人情世故”，李飞开宾利李强会见新加坡总统尚达曼沙巴体育游戏线上官方正规网投彩票平台365bet外围网站怎么样注册线上线岁男子自驾进藏失联 家属发声，朱志鑫打耳骨钉了中国花样滑冰队全力备战中国杯现金美高梅官网缅甸锦利娱乐开户com体育 koksports足彩外围有哪些平台

　　DK官宣Bengi加入，医学国家线统战力量因地制宜施策 助浙江新昌低收入家庭“奔中”乐鱼电竞网站官网云开体育官网登录入口yobo官网是多少和记娱乐竞彩官网

　　球迷向球场扔梨被拘留7日，江旻憓将加入与你我有关！用AI走近这些新举措赢伽爱游戏体育app官方云顶娱乐官方体育金沙竞彩官网

　　辽宁男篮，张纪中忆金庸：因版权转让费结缘王毅：中国已成为动荡世界中的稳定力量、合作力量、进步力量mg游戏官网娱乐场pg电子赏金船长真坑人火狐平台app下载九州外围官网