Cappy: Outperforming and boosting large multi-task language models with a small scorer

由于仅使用指令来理解和解决各种任务的复杂性，多任务LLM的规模通常从数十亿参数到数千亿参数不等（例如，FLAN-11B、T0-11B 和 OPT-IML-175B）。因此，运行如此庞大的模型面临重大挑战，因为它们需要大量的计算能力，并对GPU和TPU的内存容量提出极高要求，使得其训练和推理既昂贵又低效。为每个下游任务维护一份独立的LLM副本需要大量的存储空间。此外，最强大的多任务LLM（例如FLAN-PaLM-540B）是闭源的，无法对其进行适配。然而，在实际应用中，利用单个多任务LLM以零样本方式管理所有可设想的任务仍然困难，尤其是在处理复杂任务、个性化任务以及那些无法用指令简洁定义的任务时。另一方面，下游训练数据的规模通常不足以在不引入丰富先验知识的情况下很好地训练模型。因此，人们长期以来一直期望能够在规避存储、内存和访问问题的同时，利用下游监督信号对LLM进行适配。

某些参数高效微调策略，包括提示词微调和适配器，大幅降低了存储需求，但它们在微调过程中仍需通过LLM参数进行反向传播，因而内存需求依然很高。此外，一些*上下文学习*技术通过将少量监督示例整合进指令中来规避参数微调。然而，这些技术受限于模型的最大输入长度，仅允许少量样本指导任务求解。

在发表于 NeurIPS 2023 的论文“Cappy: Outperforming and Boosting Large Multi-Task LMs with a Small Scorer”中，我们提出了一种新方法，可提升多任务大语言模型的性能与效率。我们引入了一个轻量级的预训练评分器 Cappy，它基于 RoBERTa 进行持续预训练，参数量仅为 3.6 亿。Cappy 接收指令和候选回复作为输入，输出一个 0 到 1 之间的分数，表示该回复相对于指令的估计正确性。Cappy 既可以独立用于分类任务，也可以作为大语言模型的辅助组件，提升其性能。此外，Cappy 无需任何微调即可高效地实现下游监督，从而避免了对大语言模型参数进行反向传播的需要，并降低了内存需求。最后，使用 Cappy 进行适配不需要访问大语言模型参数，因为它与闭源多任务大语言模型兼容，例如那些只能通过 WebAPI 访问的模型。