fine-tuning（中）大模型微调的原理

二、Fine-tuning的原理

（一）核心步骤

大概步骤：在选定相关数据集和预训练模型的基础上，通过设置合适的超参数并对模型进行必要的调整，使用特定任务的数据对模型进行训练以优化其性能。

1. 明确任务与准备数据（数据优先）

   • 确定任务类型：分类 / 回归 / 生成（文本生成、问答、摘要、对话）/ 序列标注等
   • 数据收集：领域数据、标注质量
   • 数据格式化：对话或指令类通常是 input-output 对
   • 数据预处理、清洗与隐私：进行清洗、分词、编码等

2. 选择基础模型以及微调策略

   • 全参数微调（Full fine-tuning）：调整模型全部参数
   • 参数高效微调（PETL）：如 LoRA、Adapters、Prompt-tuning、BitFit、Prefix-tuning 等

3. 训练配置与超参数

   • 学习率（lr）：全量微调常在 1e-5 ~ 5e-5 范围，LoRA / Adapter 可用更高 lr
   • Batch / 梯度累积：受显存限制时用累积梯度以模拟大 batch
   • 优化器：AdamW（或其变体）为主流
   • Warm-up 与学习率调度：warm-up 线性或 slanted triangular+ 线性 / cosine decay
   • 冻结策略：初期可冻结早期层只训练 top layers 或 PETL 模块
   • 训练轮数（epochs）：视数据量而定
   • 正则化与稳定性：梯度裁剪（norm ≤ 1~5）、dropout、混合精度训练
   • 随机种子与重复实验：重要任务上多次跑不同种子验证稳定性

4. 训练过程与监控

   • 损失与指标监控：训练 loss、验证 loss、主要评估指标
   • 中途保存与断点续训：按 step/epoch 定期 checkpoint
   • 对抗测试与鲁棒性测试：针对输入噪声、拼写错误、特定干扰做鲁棒性测试

5. 评估（自动 + 人工）

   • 自动化评估：分类（准确率、F1、Recall/Precision）、生成（BLEU/ROUGE/meteor/BERTScore）
   • 人工评估：可读性、准确性、谦虚性（hallucination）、有害/偏见内容
   • 回归测试：确保微调后未破坏原有的关键能力

（二）RLHF（Reinforcement Learning from Human Feedback）微调大语言模型的过程

RLHF 已成为把 LLM 输出对人类更有用/更安全/更符合偏好”的主流方法。通俗地说，RLHF 的核心是把人类偏好编码成一个 reward signal，然后用强化学习通常是 PPO 优化模型使其在该 reward 下表现更好。

1. 整体三阶段概览

   • 监督数据微调（Supervised Fine-Tuning, SFT）：用人工编写或筛选的高质量 prompt -> response 对对预训练模型进行初步微调
   • 训练奖励模型（Reward Model, RM）：收集人类对模型生成回答的偏好比较数据，训练一个判别器 reward model
   • 强化学习优化（通常用 PPO 等）：用 SFT 模型作为初始策略，利用奖励模型提供的 reward 对生成策略进行强化学习更新

2. 第一部分：监督数据微调（SFT）详解

   • 数据来源：人类撰写的高质量示例、人工修改模型输出得到的高质量对、公共优质数据集
   • 训练目标：最小化生成的负对数似然或 seq2seq 损失
   • 要点：保证示例覆盖常见请求类型、边界案例特别是有害和违规请求、敏感话题引导等

3. 第二部分：训练奖励模型（RM）详解

   • 训练数据：Pairwise preference collection（成对比较）
   • 模型训练：目标是使 r(a) > r(b) 若标注指向 a 更优
   • 评估：在 holdout 的 pairwise 数据上计算准确率

4. 第三部分：训练RL模型，优化策略

   • 状态空间：输入序列的分布
   • 动作空间：所有可能的 token（词汇表中的词）
   • 价值函数：结合了奖励模型的输出和策略约束
   • 策略函数：经过微调的大型语言模型

请点击以下链接阅读完整文章：阅读文章