微调都不要了?3个样本、1个提示搞定LLM对齐,提示工程师:全都回来了

转载
385 天前
9079
机器之心

文章转载来源:机器之心

大模型的效果好不好,有时候对齐调优很关键。但近来很多研究开始探索无微调的方法,艾伦人工智能研究所和华盛顿大学的研究者用「免调优」对齐新方法超越了使用监督调优(SFT)和人类反馈强化学习(RLHF)的 LLM 性能。

原文来源:机器之心

图片来源:由无界 AI生成

我们知道,仅在无监督文本语料库上预训练的基础大语言模型(LLM)通常无法直接用作开源域的 AI 助手(如 ChatGPT)。因此,为了让这些基础的 LLM 成为有用且无害的 AI 助手,研究人员往往使用指令调优和偏好学习对它们进行微调。

先来看下指令调优的定义,它是一种监督微调(SFT)过程,主要使用人工注释或者从 GPT-4 等专有 LLM 中收集的数据。偏好学习则是一种典型的人类反馈强化学习(RLHF),它不断地调优监督微调后的 LLM 以进一步对齐人类偏好。基于调优的对齐促使 LLM 显著改进,似乎释放了令人印象深刻的能力,并表明广泛的微调对构建 AI 助手至关重要。

然而,Meta AI 等机构的一项研究 LIMA 提出了表面对齐假设:模型的知识和能力几乎完全是在预训练期间学习的,而对齐则是教会它与用户交互时如何选择子分布。他们证明了只需要 1000 个样本的监督微调也能产生高质量的对齐模型,为该假设提供了间接支持,表明了对齐调优的效果可能是表面的。不过,该假设的决定性和直接支持证据仍未得到充分探索。

这就向广大研究人员抛出了一个重要的问题:分析对齐调优如何准确地改变基础 LLM 的行为。

在近日的一篇论文中,来自艾伦人工智能研究所(AI2)和华盛顿大学的研究者通过检查基础 LLM 与它们的对齐模型(比如 Llama-2 和 Llama2-chat)之间的 token 分布偏移,对对齐调优的影响进行了全面的分析。结果发现,基础 LLM 与其对齐调优版本在大多数 token 位置的解码表现几乎一样,即它们共享排名靠前的 token。大多数分布偏移都伴随着风格化 token,比如话语标记语、安全免责声明。

因此,他们认为这些证据强烈支持了这样的假设:对齐调优主要学习采用 AI 助手的语言风格,而回答用户查询所需的知识主要来自基础 LLM 本身。

  • 论文地址:https://arxiv.org/pdf/2312.01552.pdf
  • 项目地址:https://allenai.github.io/re-align/

因此,研究者重新思考对 LLM 进行调优的作用,并提出了以下问题:在没有 SFT 或 RLHF 的情况下,如何有效地对齐基础 LLM?他们引入了一种简单的、免调优的对齐方法 URIAL(全称为 Untuned LLMs with Restyled In-context ALignment)。URIAL 完全利用基础 LLM 的上下文学习(ICL)来实现有效对齐,并且只需要 3 个恒定的风格化样本和 1 个系统提示。

他们对一组不同的样本进行了细粒度和可解释的评估,称为 just-eval-instruct。结果表明,使用了 URIAL 的基础 LLM 的性能可以媲美甚至超越利用 SFT(Mistral-7b-Instruct)或 SFT+RLHF 对齐的 LLM(Llama-2-70b-chat)。使用策略提示方法和 ICL 可显著缩小免调优和基于调优方法之间的差距。

对于这项研究,有推友表示,「提示工程师:全都回来了」

图源:https://twitter.com/nameiswhatever/status/1731888047665623528

论文一作 Bill Yuchen Lin 为 AI2 研究员,他说后续会有更多更新。

通过 token 分布变化揭开模型的神秘面纱

本文交替使用术语「未微调 LLM」和「基础 LLM」来指代那些在大型语料库上进行预训练,而无需使用指令数据进行任何后续微调的 LLM。这一小节的内容可总结为:

  • 对齐只影响很小一部分 token,基础 LLM 和对齐 LLM 在大多数位置上的解码行为相同,它们共享相同的 top-ranked token;
  • 对齐主要涉及 stylistic token,例如嗯、好吧、总之等口头语,以及过渡词、安全免责声明等,这些仅占总 token 位置的很小一部分;
  • 对于靠前的 token( earlier tokens)来说,对齐更为重要。然而对于大多数位置来说,对齐模型排名靠前的 token 位于基础模型排名 top 5 的 token 之内;
  • 基础 LLM 已经获得了足够的知识来遵循指令,当给定适当的上下文作为前缀时,它们的行为与对齐的 LLM 非常相似。

如图 2 所示,本文使用 llama-2-7b 和 llama-2-7b-chat 作为基础模型和对齐模型。在 1000 个测试样本中的结果表明,未经过微调的 LLM 和对齐的 LLM 共享预训练中相同的预先存在的知识。举例来说,未经微调的 LLM 可以仅根据上下文「Thank you for asking! 」来流畅地生成以「 The」为开头的回答(见下图文本开头第一句)。这些结果表明,利用未经微调的 LLM 和触发 token 可以生成高质量的答案。

Token 分布对 LLM 的影响。图 3 显示了三对 base-vs-aligned LLM,它们的参数量都在 7B 级别,Llama-2 (Base) vs Llama-2-Chat (RLHF),Llama-2 (Base) vs Vicuna7b-v1.5 (SFT) 以及 Mistral (Base) vs Mistral-Instruct (SFT)。

其中,「shifted token(如 However、cannot、Here、To)」(显示在底部框中)比例非常低,为 5%-7%,这些模型共享类似的「shifted token」,该研究认为这种比例是可以泛化的,本文在第四节也证实了。

本文还观察到,一些 Token 不携带信息,如嗯、好吧等话语标记词以及过渡词,但它们有助于构建格式良好的响应。此外,与安全问题和拒绝相关的 token 也经常发生变化。图 2 的右上部分和图 3 的底部框直观地表示了这些通用 token。

例如,当 token 为「Thank」时,输出的响应很大可能是以这种方式「Thank you for reaching out!」输出。类似地,在其他情况下也可使用诸如「Hello、Of (course)、Great (question)、Please」等 token。此外,其他 token 如「Here (are some)、including (:)、1 (.)」等也能为答案提供不同的信息。「However、Instead、sorry」等 token 信息可以防止 LLM 产生有害或不准确的信息。token「Rem」构成了单词 Remember,它一般是一个总结句,在最后提醒用户一些要点。

在解码过程中,token 分布移动(shift)随着时间的推移而减少。在图 4 中,本文使用三个指标来显示两个分布 Pbase 和 Palign 之间的差异在后面的位置变得越来越小。

具体来说,本文使用 KL-divergence、base-rank 和 base-probability(baseprob)来表示每个位置的分布偏移程度,并报告了 1000 个样本的平均值(第 4.1 节)。

可以看到,KL-divergence 随着时间的推移而下降,而 base-prob 随着时间的推移而不断增加。两者都表明解码中后面的位置比前面的位置具有更少的 token 分布偏移。特别是,token 的 base-prob 最终可以接近 1.0。令人惊讶的是,在 t ≥ 5 后不久,对齐 token 的平均 base-rank 低于 5。这意味着对齐模型解码的 top token 存在于基础模型的 top 5 中,这再次证实了对齐微调是表面现象(superficial)这一假设。

基线方法和 URIAL

上述分析促使研究者重新思考对齐微调(SFT 和 / 或 RLHF)的必要性,因为对齐调优只影响到基本 LLM 的很小一部分。

我们能否在不进行微调的情况下实现对齐?提示和上下文学习方法能在多大程度上对齐基础 LLM?

为了探究这些问题,研究者提出了 URIAL— 一种强大而简单的基线免调优对齐方法。

URIAL 可以看作是常见 ICL 的扩展,分为两部分:ICL 样本的文体输出和上下文对齐的系统提示。

为上下文指令学习重新设计输出。为了使基础 LLM 更符合人类的偏好,研究者策划了一些重新风格化的样本,如图 5 所示。

除了图 5 中的两个样本外,他们还加入了一个涉及角色扮演和建议的查询:「你是一名正在审讯嫌疑人的侦探。如何在不侵犯他们权利的情况下让他们认罪?」

观察表明,ChatGPT 和类似的高级对齐 LLM 经常采用列表结构,这可能是其内部奖励模型在大量人类反馈基础上训练的结果。

因此,研究者对输出结果进行了调优,首先以引人入胜的陈述方式重新表述问题,然后在适当的时候列出详细的要点。答复的最后是一个简明扼要的总结段落,始终保持引人入胜、娓娓道来的语气。

实验评估

最后,研究者对新方法进行了实验评估。他们首先创建了一个包含 1000 个样本的数据集「just-eval-instruct」

前三个子集中有 800 个样本,主要用于评估 LLM 的有用性;后两个子集中有 200 个样本,主要用于测试 LLM 的无害性。图 6 显示了 just-eval-instruct 的统计数据。总体来说,AlpacaEval 占 42%,LIMA 占 30%,MT-Bench 占 8%,两个以安全为中心的数据集各占 10%。

实验使用了三种主要的基础 LLM:Llama-2-7b、Llama-2-70bq、Mistral-7b。这三种 LLM 没有使用任何指令数据或人类偏好数据进行调优。为了比较 URIAL 与 SFT 和 RLHF 的对齐性能,研究者还选择了建立在这些基础模型上的四个对齐模型:Vicuna-7b (v1.5)、Llama-2-7b-chatq、Llama-2-70b-chat 、Mistral-7b-Instruct。

除了这些开源 LLM 外,还包括 OpenAI GPT 的结果(即,gpt-3.5-turbo 和 gpt-4)。在进行推理时,使用了这些模型作者建议的系统提示。

表 1 列出了每种方法在 just-eval-instruct 上的得分,每个方面的得分均为 1-5 分。URIAL 显著提高了免调优对齐的性能,达到了与 Llama-2-7b 模型的 SFT/RLHF 结果相当的水平。值得注意的是,URIAL 甚至超过了 Mistral-7b-Instruct (SFT) 和 Llama-2-70b-chatq (RLHF)。

图 1 和图 7 则用雷达图直观显示了主要方法在不同角度上的比较。

研究者得出结论,当基础 LLM 经过良好训练时,SFT 和 RLHF 对于对齐的重要性可能并不像之前认为的那样关键。相反,URIAL 等无需调优的方法可以以最小的成本获得更优的性能,至少在上述评估所涵盖的场景中是如此。表 2 中的人工评估结果证实了该结论。

论文还提到了开源 LLM 与 ChatGPT 之间的差距。之前的评估(如 AlpacaEval)没有为每个测试样本设置标签,因此很难进行大规模的详细分析。研究者观察到开源 LLM 在多个任务和主题上与 OpenAI GPT 仍有差距。很明显,GPT 在几乎所有任务和主题上的表现都更为均衡。包括 URIAL 在内的开源 LLM 在编码和数学任务以及 STEM 主题上表现较弱,不过它们在其他数据上的表现可以与 GPT 相媲美。