Editing 音乐模型训练 (section)

=== 训练超参数选择 ===
选择合适的训练超参数可以帮助模型更快收敛并避免过拟合：

* '''Batch Size'''（批大小）：批大小影响显存占用和梯度估计稳定性。对于GPT-2这类模型，显存往往是限制因素。可以根据GPU显存大小选择批大小，例如8或16。如果显存不足，可以使用 '''梯度累积 (gradient accumulation)''' 技术：将有效批大小拆分成多个小批次累积梯度，相当于用小批次模拟更大批次。【提示】如果发现 GPU 内存溢出(OOM)，首要是减小batch size。
* '''学习率 (Learning Rate)'''：预训练Transformer微调通常使用相对小的学习率，如 1e-4 到 5e-5 之间。一个典型设置是 <code>5e-5</code> 用于微调GPT-2。可以采用 '''学习率预热和衰减''' 策略——例如前几百步从0线性增加学习率到目标值，再在训练后期逐渐衰减学习率，以稳定训练过程。
* '''优化器 (Optimizer)'''：Adam 或 AdamW 是Transformer微调的常用优化器。AdamW（带权重衰减的Adam）在Transformer训练中表现良好。保持其他超参数默认（$\beta_1=0.9,\beta_2=0.999,\epsilon=1e-8$）通常即可。权重衰减可以设置一个小值如<code>1e-2</code>或<code>1e-3</code>以防止过拟合。
* '''训练轮数 (Epochs)'''：如果数据量不大，可能需要多轮迭代才能充分学习模式。但轮数过多又会导致模型记忆训练集（过拟合）。可以从较小的epoch数开始（如3-5轮），观察训练损失和验证集损失的变化趋势。如验证损失不再下降甚至上升，应提前停止训练（Early Stopping）。
* '''截断与填充'''：设定最大序列长度（如模型支持的最大token长度，GPT-2通常512或1024）。长于该长度的歌词需要截断或拆分，短于该长度的可以填充。尽量避免过长的填充，以提升批处理效率。
* '''混合精度训练'''：考虑使用混合精度 (FP16) 训练，以减少显存占用和加速运算。PyTorch的 <code>torch.cuda.amp</code> 或 Hugging Face Trainer 中设置 <code>fp16=True</code> 即可开启。【注意】混合精度在某些情况下需要留意数值稳定性，但总体对大多数Transformers是安全且有效的。