自拍偷拍 探花 性能无损，模子躲闪保护成果擢升50%!蚂蚁数科鼎新跨域微调框架
大模子的快速及合手续发展自拍偷拍 探花，离不开对模子整个权及数据躲闪的保护。
AAAI 2025 时间，蚂蚁数科、浙江大学、利物浦大学和华东师范大学斡旋团队建议了一种鼎新的跨域微调框架ScaleOT，不错完毕在模子性能无损的前提下，将模子躲闪保护成果擢升 50%。
比较于常识蒸馏时刻，还缩小了 90% 的算力徒然，为百亿级参数模子的跨域微调提供了一种高效和轻量化的胁制决策。
这篇论文以其鼎新性入选了本届 AAAI 的 Oral 论文。据了解，本届大会共收到近 13000 篇论文，被选中作念理论叙述的比例不及 5%。
当今，该算法也曾融入蚂蚁数科旗下的摩斯大模子躲闪保护家具中，并已成为国内首批通过信通院大模子真正实行环境家具专项测试的家具之一。
跨域微调框架 ScaleOT
为同期保护模子产权与数据躲闪，当今业内取舍的主流决策是跨域微调。
主流的跨域微调步伐存在显赫局限性：
其一，其"均匀抽积木"式的处理花式容易形成模子枢纽层的缺失，从而导致模子性能显赫下落；
其二，若取舍蒸馏时刻来弥补性能亏损，狡计本钱险些与从头测验一个中型模子特殊。此外，现存步伐在躲闪保护方面阑珊天真性，难以笔据不同场景需求动态调治躲闪保护强度。
ScaleOT 建议了三大鼎新想路，有用地完毕了在模子性能与躲闪安全之间的均衡。
当先是对大模子智能层的伏击性进行评估，用强化学习给大模子作念扫描，自动识别哪些层对现时任务最枢纽，动态保留模子"中枢层"，有用缩小模子性能损耗。
其次，对保留的模子原始层作念"打码"，让挫折者无法通过中间层呈报原始模子，不错在性能险些无损的情况下，显赫擢升躲闪保护强度。
临了，该框架还不错笔据不同场景需求进行天真拼装，完毕躲闪强度可更动。
蚂蚁数科时刻团队这一鼎新的大模子躲闪微调算法，为大模子躲闪保护提供了新颖的想路与胁制决策。
具体而言，如图 2（b）所示，跨域微调不是使用竣工的模子进行测验，而是允许数据整个者使用模子整个者提供的有损压缩仿真器进行微调，但这种范式有个污点：会让数据整个者得到的仿真器的性能较差。
然后，测验得到的适配器会被复返给模子整个者，并被插入到竣工模子中，以创建一个高性能的微调模子。
特殊需要指出，数据整个者和模子整个者端之间的模子性能相反是模子躲闪的枢纽成分，这会促使卑劣用户使用微调的竣工模子。
△图 2
偷拍英文因此，跨域微调的主要贫瘠在于高效压缩 LLM，通过在防守性能相反的同期擢升得当版竣工模子，从而完毕对模子躲闪的保护。
遵照跨域微调政策，原生 OT 步伐取舍的政策是 Uniform LayerDrop（均匀层丢弃），从竣工模子中均匀地删除一部分层，如下图 1（a）所示。
△图 1：分层压缩政策比较。（a）Uniform LayerDrop；（b）带预计的伏击性分数的 Dynamic LayerDrop；（c）带配合器的 Dynamic LayerReplace；（d）使用不同压缩比的完毕。新步伐在整个者端完毕了更好的性能，同期保合手了性能相反。
然则，尽管大型模子中的很多参数是冗余的，但每层的伏击性相反很大，这种均匀删除可能会导致得当后的竣工模子的性能下落。
此外，平直的层删除会导致被删除层的输入和输出荫藏空间之间错位，这也会导致整个者端的性能下落。诚然常识蒸馏不错缓解这个问题，但测验一个所需的仿真器的本钱至少是 LLM 大小的一半，这意味着遍及的测验本钱为提供具有不同压缩比的仿真器带来了重要弱势。
ScaleOT 完毕：框架遐想和创建经过
如图 2 ( c ) 所示，该框架由两个阶段构成：伏击性预计和仿真器生成。
关于第一阶段，团队建议了一种基于伏击性感知型层替换的算法 Dynamic LayerReplace，该算法需要使用一种强化学习步伐来详情 LLM 中每一层的伏击性。同期，关于不太伏击的层，动态取舍并测验一组可测验的配合器作为替代，这些配合器是轻量级会聚，可用于更好地完毕剩余层的对王人。
在第二阶段，笔据学习到的伏击性得分，可将原始模子层过头对应的配合器以各式花式组合到一谈，从而得到仿真器（emulator），同期还能在模子整个者端防守令东谈主酣畅的性能，如图 1 ( d ) 所示。
笔据施行教授发现，要是使用秩明白来进一时势压缩剩余的模子层，还不错更好地完毕躲闪保护，同期模子的性能下落也不会太多。基于这一不雅察，该团队建议了取舍性秩压缩（SRC）步伐。
团队进行了普遍实验，波及多个模子和数据集，最终阐发新建议的步伐确乎优于之前的步伐，同期还能调治压缩后仿真器模子的大小以及 SRC 中的秩约简率。因此，这些新步伐的有用性和可行性都得到了考据。
追思起来，这项筹动作念出了三大孝顺：
建议了一种天果真步伐，可为跨域微调得到多种大小的压缩版模子：建议了一种伏击性感知型有损压缩算法 Dynamic LayerReplace，该算法面向使用 LLM 的跨域微调，可通过强化学习和配合器来膨胀仿真器。这些组件不错完毕天果真多种范围的压缩模子生成。
仅需一丝点微调性能下落，就能通过进一步的压缩得回更好的躲闪：新建议的取舍性秩压缩政策仅需极少性能亏损就能进一步擢升模子躲闪。
全面的实验标明，新建议的 ScaleOT 优于现时最好步伐。
自拍偷拍 探花
△图 offsite tuning 测验经过中产生的不同模子
在筹算中，考虑到躲闪问题拒绝了数据和 LLM 的整个者之间分享和共存数据及模子。办法是在不探问模子整个者的模子权重的情况下，使用数据整个者的数据来调治模子。从预测验的模子①开动，以及卑劣数据集 D。
该团队不才游数据上微调这个模子，以完毕
得到模子⑤，其中
该团队的办法是通过找到一个比模子①更小、更弱的替代模子模子②（称为仿真器），来促进躲闪挪动学习。
这种步伐可确保与卑劣用户分享模子②不会胁迫到 LLM 的整个权。
然后，数据整个者使用他们的数据集对替代模子进行微调，得到模子③。
该团队但愿，通过将测验好的权重从头整合到原始模子中得到模子④，险些不错复制模子⑤，从而铲除了平直模子①的需求。
一个有用的跨域微调应该知足以下条款：
1）模子①
2）模子③
3）模子④ ≈ 模子⑤，以荧惑卑劣用户使用模子④。
基于 Transformer 架构遐想跨域微调，更强的实用性
这篇论文柔和的要点是基于 Transformer 架构来遐想跨域微调。
这里需要将每个 Transformer 层视为一个基本单位，而 LLM 不错暗意成 M = {m_1， m_2， . . . ， m_n}，其中 n 是总层数。
该团队的新步伐需要将 M 分红两个组件：** 一个紧凑型的可测验得当器 A 和模子的其余部分 E。层索引的斡旋不错界说成知足此条款。
为了保护模子的躲闪，需要对保合手不变的组件 E 实行一次有损压缩，这会得到一个仿真器 E*，从而可通过更新 A 来促进模子微调。
待完成在数据整个者端的测验后，更新后的得当器 A ′ 会被复返到模子整个者端并替换 M 中的原本的 A。于是可将最终更新后的 LLM 暗意为 M ′ = [ A ′ ， E ] 。值得提神的是，有损压缩必定会适度卑劣用户的 [ A ′ ， E ∗ ] 模子性能，但却完毕了对模子整个权的保护。
这篇论文胁制了该问题的两个枢纽：得回 A 和 E 的得当差异以及完毕从 E 到 E ∗ 的更好压缩，从而完毕存效的微调并保合手躲闪。
关于前者，该团队在模子层上引入了伏击性分数（importance score），可用于沟通 A 和 E 的取舍。具体而言，在用轻量级会聚动态替换原始层的经过中，可通过强化学习来预计伏击性分数。
这些轻量级会聚（称为配合器 /harmonizer）不错进一步用作 E 中各层的替代，从而提高竣工版已得当模子的性能。
此外，关于 E 中被配合器替换的其余层，该团队还建议了取舍性秩压缩（selective rank compression）步伐，该步伐在保合手竣工版已得当模子性能的同期还能保证更好的躲闪。
伏击性感知型动态层替换
△图动态层替换算法展示。
该团队建议了一种全新的基于层替换的压缩算法：Dynamic LayerReplace（动态层替换）。
其办法是预计 LLM 中每层的伏击性，并用轻量级会聚（称为配合器）替换不太伏击的层，以保合手层之间的语义一致性。为此，他们取舍了一种双经过步伐，包含了配合器更新轮回和伏击性更新轮回。
在配合器更新轮回中，笔据伏击性评分，取舍部分竣工层替换为调和器，然后使用深度学习（DL）来通过梯度下落测验配合器。在伏击性更新轮回中，每层的伏击性评分通过模仿强化学习中的 K 臂赌博机问题进行更新。
在测验完毕时，不错得回一组用于层替换的配合器，以及预计的逐层伏击性评分。它们将用于随后的可膨胀仿真器生成阶段。
取舍性秩压缩
该团队通过普遍筹算发现，大言语模子的参数数目远跨越本色需要，即使去掉一部分参数也不会显赫影响模子的全体性能。
基于这一发现，该团队建议了一种通过低秩类似压缩仿真器权重的步伐来增强模子的躲闪保护功能。当权重的高阶重量被缩小时，仿真器的抒发智商会相应消弱，从而产生更大的性能差距。同期，剩余的低阶权重重量仍然不错为调优经过中的适配器更新提供类似梯度标的。
Transformer 模子的每一层主要由两个部分构成：多头自提神力层 ( MHSA ) 和前馈神经会聚层 ( FFN ) 。MHSA 施展处理词元之间的交互，而 FFN 则进一步处理单个词元内的信息转机。为了擢升抒发智商，FFN 的荫藏维度经常配置得很高，是输入输出维度的 2.5 到 4 倍。
考虑到 FFN 自己就具有高秩的特点，该团队建议了一种政策——只对 MHSA 层的权重进行秩压缩，以增强模子的躲闪保护。
如图 3 所示，实验标明，要是对整个层 ( MHSA+FFN ) 或仅对 FFN 进行秩压缩，都会导致模子和数据性能的指数级下落。比较之下，仅对 MHSA 层进行秩压缩时。诚然会使仿真器性能快速下落，但对插件性能的影响较小，尤其是在压缩比大于 0.6 时。因此，筹算团队取舍了对仿真器中的 MHSA 层进行秩压缩的政策。
创建保护躲闪且实用的仿真器
既要知足保护躲闪，还具备膨胀性的仿真器的遐想基于三个中枢参数：调治层数目 ( Na ) 、配合器替换比例 ( α ) 和结构秩压缩比例 ( β ) 。这些参数共同决定了怎样使用大言语模子 ( M ) 、伏击性分数 ( S ) 和配合器 ( H ) 来创建仿真器 ( E ) ，从而在保护躲闪和保合手模子性能之间取得均衡。
如图 3 所示，团队在虚线框内详情了一个得当生成有用模拟用具于他乡调优的普通区域。通过调治这两个参数，不错创建具有低压缩率的仿真器器，以完毕稀少的 plug-in 性能（致使与有余微调比较可达到无损），大概取舍较高的压缩率以增强模子躲闪性。
ScaleOT 成果评估：更好的性能，更优的模子躲闪
该团队当先在中等大小的模子（包括 GPT2-XL 和 OPT-1.3B，梗概 10 亿参数目）上评估了他们建议的 ScaleOT，如表 1 所示。
整个步伐都知足了跨域微调的条款，即插件的性能跨越了竣工模子的零样本和仿真器微调的性能。此外，莫得 SRC 的 ScaleOT 险些完毕了与竣工微调特殊的无损性能。这卓著了动态层替换与基线 OT 中使用的 Uniform LayerDrop 比较的有用性。
值得提神的是，由于取舍了伏击的层进行更新，插件的性能不错跨越平直在 LLM 上进行微调的性能，这收获于稀薄测验带来的更好不停性。
临了，SRC 的加入显赫缩小了仿真器零样本和微调的性能，平均缩小了 9.2% 和 2.2%，而插件的性能险些莫得下落。总体而言，ScaleOT 不仅完毕了更好的性能，还确保了邃密的模子躲闪。
随后，该团队考据了他们建议的 ScaleOT 在更大的 LLM 上的有用性，包括领有梗概 70 亿参数的 OPT-6.7B 和 LLaMA-7B。
如表 2 所示，由于在有限的硬件上无法实行常识蒸馏，OT 未能达到令东谈主酣畅的性能。CRaSh 通过 LayerSharing 提高了性能，但由于压缩后无法有余呈报性能，导致完毕并不睬想。
比较之下，ScaleOT 使得大型模子的压缩变得可行，仅需要在压缩阶段测验梗概 1-2% 的参数。值得提神的是，该团队建议的步伐在 WebQs 任务上完毕了遒劲的插件性能，其中零样本准确率为零，凸显了其在新的卑劣利用中的后劲。
此外，ScaleOT 取得了值得讴颂的完毕，标明其有用性并不局限于特定的模子大小。这使得 ScaleOT 成为增强不同范围模子跨域微调完毕的有价值政策。
伏击性得分
该团队对 OPT-6.7B 和 LLaMA-7B 的预计伏击性得分进行了可视化，如图 6 所示。不错明显看出，在不同采会聚，伏击性散播存在特殊大的相反。
然则，一个一致的模式出现了：第一层具有显赫的伏击性。这一发现与 OT 的不雅察完毕相呼应，尽管阑珊明确的解释。
与参数高效微调的正交性
笔据遐想，ScaleOT 能与参数高效微调（PEFT）步伐无缝集成，从而形成一种轮廓步伐，显赫减少可测验参数并擢升效用。这不错通过在调治层中使用 PEFT 步伐来完毕，包括 Adapter-tuning 和 LoRA 等政策。
如表 3 所示，该团队不雅察到 Adapter-tuning 和 LoRA 在保合手插件性能的同期大幅减少了可测验参数。
蚂蚁数科时刻团队这一全新的大模子躲闪微调算法，有用攻克在仿真器生成时狡计复杂度高、模子躲闪安全性不及等贫瘠，生效为大模子躲闪保护提供了新颖的想路与胁制决策。
该鼎新源自蚂蚁数科在 AI 躲闪安全边界的合手续进入与施行，这一算法也已融入摩斯大模子躲闪保护家具，该家具是信通院首批通过大模子真正实行环境家具专项测试的厂商。
论文地址：
https://arxiv.org/pdf/2412.09812
— 完 —
学术投稿请于责任日发邮件到：
ai@qbitai.com
标题注明【投稿】，告诉咱们：
你是谁，从哪来，投稿内容
附上论文 / 神色主页说合，以及关连花式哦
咱们会（尽量）实时回复你
一键柔和 � � 点亮星标
科技前沿进展逐日见
一键三连「点赞」「转发」「注意心」
宥恕在驳倒区留住你的想法！自拍偷拍 探花