【Azure GenAI 】LLM微调建议

在某些情况下，LLM可能在特定领域、任务或数据集上表现不佳，或者可能产生不准确或误导性的输出。在这种情况下，微调模型是一种有用的技术，可以使其适应所需的目标，并提高其质量和可靠性。

何时考虑微调

以下是一些可以考虑进行微调的场景。

• 幻觉：幻觉是模型输出的不真实陈述。它们可能会损害您的应用程序的可信度和可信度。一种可能的缓解措施是使用包含准确和一致信息的数据对模型进行微调。
• 准确性和质量问题：预训练模型可能无法达到特定任务或领域所需的准确性或质量水平。这种不足可能是由于预训练数据和目标数据之间的不匹配、目标数据的多样性和复杂性和/或不正确的评估指标和标准造成的。

微调有何帮助?

使用具有代表性且与目标任务或领域相关的数据对模型进行微调可能有助于提高模型的性能。示例包括：

• 添加特定领域的知识：教授模型新的（不常见的）任务或将其限制在较小的空间内，特别是复杂的专业任务，可能需要模型学习新的技能、概念或词汇，而这些在模型的原始训练数据中并没有得到很好的体现。一些例子是法律、医学和技术文本。这些任务或领域也可能有特定的约束或要求，如长度、格式或风格，这些约束或要求限制了模型的生成空间。使用特定领域的数据对模型进行微调可以帮助模型获得必要的知识和技能，并生成更合适和连贯的文本。
• 添加不适合提示的数据：LLM提示是提供给模型以生成输出的输入文本。它通常包含一些指导模型行为的关键字、说明或示例。但是，提示的大小有限，完成任务所需的数据可能超过提示的容量。这发生在需要LLM处理长文档、表等的应用程序中。在这种情况下，微调可以帮助模型处理更多数据，并在推理时使用更小的提示来生成更相关和完整的输出。
• 简化提示：长或复杂的提示会影响模型的效率和可扩展性。使用针对目标任务或领域量身定制的数据对模型进行微调，可以帮助模型从更简单的提示中提供高质量的响应，并可能使用更少的令牌并改善延迟。

微调的最佳实践

以下是一些最佳实践，可以帮助提高为各种应用微调LLM的效率和有效性：

• 尝试不同的数据格式：根据任务的不同，不同的数据形式会对模型的性能产生不同的影响。例如，对于分类任务，您可以使用一种用特殊标记分隔提示和完成的格式，例如{“prompt”：“Paris###\n”，“completion”：“city”###\\n”}。一定要使用适合您应用程序的格式。
• 收集大型、高质量的数据集：LLM需要大量数据，可以从更多样化和更具代表性的数据中受益。然而，收集和注释大型数据集可能既昂贵又耗时。因此，您还可以使用合成数据生成技术来增加数据集的大小和种类。但是，您还应该确保合成数据与您的任务和领域相关且一致。还要确保它不会给模型带来噪声或偏差。
• 首先尝试微调子集：为了评估获取更多数据的价值，您可以在当前数据集的子集上微调模型，看看性能如何随数据集大小而变化。这种微调可以帮助您估计模型的学习曲线，并决定添加更多数据是否值得付出努力和成本。您还可以将模型的性能与预训练模型或基线进行比较。此比较显示了通过微调可以实现多大的改进。
• 使用超参数进行实验：迭代调整超参数以优化模型性能。超参数，如学习率、批大小和迭代次数，会对模型的性能产生显著影响。因此，您应该尝试不同的超参数值和组合，以找到适合您的任务和数据集的最佳值。
• 从较小的模型开始：一个常见的错误是假设您的应用程序需要最新、最大、最昂贵的模型。特别是对于更简单的任务，从较小的模型开始，如果需要，只尝试较大的模型。