【Azure GenAI】有效实验LLM的建议

收集尽可能多的高质量数据，然后根据需要添加合成数据

大型语言模型是在来自不同来源的大量文本上训练的。这种大规模的训练可能没有足够的数据用于您的特定领域或任务。因此，重要的是收集尽可能多的相关和高质量的数据，为模型提供足够的背景和示例。数据收集可能既昂贵又耗时。您还可以考虑使用以下方法之一生成的合成数据来增强您的数据：

• LLM
• 其他生成性或确定性方法（例如，基于语法的方法）

合成数据可以帮助提高数据的多样性和稳健性，并填补数据分布中的空白或不平衡。

从情境学习开始

• 从简单开始建立基线——从简单的提示设计开始，并将其作为基线。基线可以是衡量模型能力和局限性的快速简单的方法。
• 逐渐增加复杂性。一旦你有了基线，你就可以尝试增加任务或领域的复杂性。您可以通过提供更多上下文或示例，或引入约束来增加复杂性。
• 使用不同的提示设计来优化性能——不同的提示设置会引起模型的不同反应，其中一些可能比其他设计更适合或更有效地用于您的任务或领域。因此，尝试不同的提示设计并比较其结果。
• 使用不同的配置进行基准测试，并评估不同的模型。您可以使用不同的提示设计、模型参数、数据集、指标等来对模型进行基准测试。查看它在任务或领域的不同方面的表现。您还可以评估和比较GPT-3或其他大型语言模型的不同版本或变体。

必要时进行微调

虽然在某些用例中，微调可以帮助提高模型的性能和适应性，但由于成本、对更多数据、计算资源和超参数调优的需求，它存在局限性。微调也可能导致过度拟合或灾难性遗忘。因此，我们建议只在需要时进行微调，并且只有在您用尽上下文学习方法之后。以下是一些微调建议。有关更多信息，请参阅微调建议。

• 从较小的模型开始，特别是对于简单的任务。较小的模型可以更快、更便宜、更容易使用和微调，而且它们也可以更容易解释和控制。
• 尝试使用不同的数据格式进行微调。不同的数据格式会影响模型的输入和输出表示，其中一些可能比其他格式更适合或更有效地用于您的任务或领域。例如，您可以使用纯文本、结构化文本或半结构化文本作为数据格式。您还可以使用不同的分隔符、分隔符或标记来指示输入和输出的边界或标签。
• 优化模型的超参数和微调过程，如学习率、批量大小、迭代次数、权重衰减或辍学率。
   

LLM实验阶段

大型语言模型（LMM）实验是一个多阶段的过程。虽然阶段的数量可能因应用程序而异，但我们可以定义至少四个主要阶段。

初步构思

在这个阶段，目标是探索不同的即时想法，并定性评估法学硕士的产出。更具体地说，一个小型玩具数据集可用于测试不同的提示，并观察输出的多样性、连贯性和相关性。此测试数据集可以帮助定义数据要求和规划实验。简单的Jupyter笔记本或Azure OpenAI游乐场可用于与LLM交互。

建立基线

在这个阶段，目标是使用简单的解决方案（例如，带有零样本学习的静态提示）来建立基线性能。为了衡量绩效，需要一个评估集和评估指标。评估集应包含任务的代表性示例，并带有基本事实或参考完成（输出）。评估指标应捕捉输出的质量方面，如准确性或信息性。需要能够有效调用LLM API的工具或环境来生成输出并对其进行评分。

假设驱动实验

在此阶段，可以实施、执行和评估多个实验，以提高解决方案的性能。这个阶段是迭代和数据驱动的。对于每次迭代，对不同的实验进行评估和比较。它还可能涉及定义不同的实验配置和执行超参数扫描。之后，可以对选定的实验进行探索性结果分析，以更好地了解性能问题。可能会发现性能问题，例如揭示错误、偏差或结果差距的模式。最后，见解可用于定义新的改进假设和/或对更多数据的需求。现阶段需要一个实验框架来实现大规模实验。

真实世界测试

在此阶段，目标是测试和评估已在生产中部署的解决方案。可观察性工具可用于跟踪和监控解决方案的行为和性能（例如，检测漂移）。此外，用户数据和反馈可以导出用于探索性数据分析（EDA），以定量评估解决方案的性能。EDA还可以帮助我们确定在实验中使用的新数据（例如，添加到评估集中）、新的评估标准/指标或改进机会。