彩乐园官网阶跃公开了新式扎视力机制：KV缓存消费直降93.7%，性能不减反增

发布日期：2024-01-03 21:14 点击次数：119

AIxiv专栏是机器之心发布学术、本事内容的栏目。往常数年，机器之心AIxiv专栏给与报说念了2000多篇内容，笼罩行家各大高校与企业的顶级实验室，有用促进了学术疏通与传播。淌若您有优秀的责任念念要分享，迎接投稿或者探求报说念。投稿邮箱：[email protected]；[email protected]

跟着面前大谈话模子的平凡期骗和推理时彭胀的新范式的崛起，怎么达成高效的大范围推理成为了一个广漠挑战。荒谬是在谈话模子的推理阶段，传统扎视力机制中的键值缓存（KV Cache）会跟着批处理大小和序列长度线性增长，俨然成为制约大谈话模子范围化期骗和推理时彭胀的「内存杀手」。

天然业界已有 MQA、GQA、MLA 等多种扎视力机制变体试图惩处这一问题，但这些有筹谋要么难以在严格的显存适度下保捏理念念性能，要么在模子结构上引入额外复杂度，带来广漠的工程挑战和生态兼容性问题。

在近期由阶跃星辰、清华大学等机构完成的论文《Multi-matrix Factorization Attention》中，辩论东说念主员提议新式扎视力机制架构 —— 多矩阵判辨扎视力（MFA）稀奇变体 MFA-Key-Reuse，在大幅镌汰谈话模子推理本钱的同期，还达成了性能的权臣提高。

联贯：https://arxiv.org/abs/2412.19255

实验中，MFA 和 MFA-KR 不仅卓越了 MLA 的性能，还在减少了高达 93.7% 的 KV Cache 使用量的情况下，与传统的 MHA 性能相当。于此同期，MFA 达成简短，容易复现，对超参明锐度低，且兼容多样 Pos-embedding。

MFA 门径与分析

辩论团队通过辩论 Attention 机制的一般性瞎想和容量分析，明确了 Attention 机制的容量最相干的两个维度，何况提议了一系列的分析门径和瞎想原则。

为了更好地一语气扎视力机制的推行，辩论团队提议了广义多头扎视力（GMHA）的倡导框架，为一语气不同的 MHA 变种扎视力机制提供了一个调处的视角。进一局面，辩论团队诀别从推理角度辩论键值的盘算推算和存储状貌，从判辨角度探讨模子的容量特征。这种翻新的分析门径为一语气不同计策如安在模子性能和盘算推算成果之间取得均衡提供了全新视角。

在此基础上，辩论者们诞生了澈底参数化双线性扎视力（FPBA）动作表面上的性能上限步调。他们发现，现在平凡使用的 MHA 稀奇多样变体推行上皆不错被视为 FPBA 的低秩判辨版块。辩论团队在分析现存惩处有筹谋时，重心检察了两个代表性的改换有筹谋：多查询扎视力（MQA）和多头潜在扎视力（MLA）。

对于 MQA，辩论东说念主员发现它接管了一种更激进的参数分享计策。不同于 MHA 在头部之间保捏零散的参数，MQA 让统统扎视力头分享统一组键值参数。这种瞎想天然将内存使用降到了极低的水平，但可能会影响模子的抒发能力。辩论团队指出，这种衡量推行上反应了一个更大批的瞎想逆境：如安在保捏模子性能的同期减少资源消费。

而对于更新的 MLA 有筹谋，辩论东说念主员发现它接管了更为复杂的架构瞎想。MLA 引入了一个分享的潜在空间，通过在这个空间中进行参数压缩来省俭内存。天然这种瞎想看似提供了更大的纯真性（因为中间维度不错确立得更大），但辩论团队的表面分析揭示了一个要津问题：模子的推行抒发能力仍然受限于最小维度的敛迹，这意味着 MLA 的瞎想中加多中间维度并弗成委果提高模子的性能上限。

在深化分析现存有筹谋的基础上，辩论团队提议了一个自利自为的场所：开垦一种新的扎视力机制，既能最大限制地省俭资源，又能尽可能接近表面性能上限。这个场所促使他们开垦出了多矩阵判辨扎视力（MFA）。

MFA 的瞎想体现了辩论团队的三个要津翻新：

最初，他们破损传统瞎想的局限，权臣加多了扎视力头的数目和维度，极大加多了扎视力模块的模子容量。其次，辩论团队在矩阵判辨方面达成了翻新性破损，彩乐园官网接管激进的低秩判辨计策，告捷地在彭胀模子扎视力头的数目和维度时保捏了极高的参数成果。临了，辩论团队接管单键值头瞎想，这个瞎想确保了即使在加多模子复杂度的情况下，内存使用仍然保捏在最低水平。

为了进一步分析 MFA 和其他扎视力机制的不同，辩论团队提供了一个明晰的对比表格。辩论东说念主员最初引入两个要津主张来度量 GMHA 系列模子的容量：模子总有用秩 TER （ Total Effective Rank ）和分享隐空间维度 SLSD（Shared latent subspace dim）。总有用秩 TER 界说为扎视力头数目与每个头部判辨秩（Factorization rank per head，简称 FRH）的乘积，而分享隐空间维度 SLSD 则代表了统统扎视力头共同使用的隐空间维度，扎眼到 TER 和 SLSD 越大，模子具有更高的容量。同期扎眼到每个头的判辨秩（FRH）不跳跃 SLSD，而 KV Cache 的占用受制于 FRH 和 SLSD 之间的较大值，这组成了容量和成果之间的要津衡量。

“徐杰事实上是处于透支疲劳状态，现在天气变凉还生病了，万一他受伤，后果不堪设想。赢球之余，真的希望广东赶紧引援，不能再这样使用徐杰，非常危险。”

通过这个框架进行分析，不错发现与 MQA 比拟，MFA 同期达成了更高的 SLSD 和更高的 TER；与 MLA 比拟，在雷同的参数预算下，MFA 不仅达到了更小的 KV cache 尺寸，还达成了更高的 TER，同期保捏了相当的 SLSD；与传统的 MHA 比拟，天然 MFA 的 SLSD 较小，但它的 TER 更高，这解释了为什么在实验中 MFA 好像取得更好的性能。

实验收尾

为了辩论新架构在可能的更大范围上的弘扬，辩论团队开展了一系列深化的彭胀性实验，系统地测试了从 1B 到 7B 参数的不同范围的模子，考验数据量从 10B 彭胀到 1T。在性能彭胀方面，辩论团队的 MFA 有筹谋展现出与传统 MHA 澈底相当的彭胀能力。这意味着，即使在更大范围下，MFA 一经能保捏其优异的性能。而 MFA-KR 天然在性能上略有镌汰，但其彭胀趋势与 MHA 保捏一致。而跟着模子范围的加多，MFA 和 MFA-KR 在内存省俭方面的上风不仅得到保捏，还呈现出进一步扩大的趋势。在最大范围模子上，MFA 达成了 87.5% 的内存省俭，而 MFA-KR 更是将内存使用镌汰到原本的 6.25%。