掌握训练模型所需的核心基础概念

理解模型、训练、推理、过拟合、损失函数、优化器、学习率等关键术语。

基础概念与术语

什么是”模型”？

模型 = 一个数学函数，接收输入数据，输出预测结果。

• 传统编程：我们写规则（if-else）→ 计算机执行
• 机器学习：我们给数据+答案 → 计算机自己学习规则 → 新数据时自动预测

传统编程：  数据 + 规则 → 答案
机器学习：  数据 + 答案 → 规则（模型）

核心概念

🔹 训练（Training）

模型从数据中学习的过程。就像学生做题，不断纠正错误。

🔹 推理（Inference）

训练好的模型对新数据做预测。就像学生考试，用学到的知识解题。

🔹 数据集（Dataset）

• 训练集 (Train Set)：用来学习的题目
• 验证集 (Validation Set)：做题时模拟考试，调优用
• 测试集 (Test Set)：最终考试，评估真实水平
• 过拟合 (Overfitting)：题目背太熟，换道题就不会了
• 欠拟合 (Underfitting)：连题目都没学会

🔹 特征与标签

术语	通俗理解	举例（识别猫）
特征 (Feature)	输入数据	图片像素值
标签 (Label)	正确答案	”猫” 或 “不是猫”
样本 (Sample)	一条数据	一张图片

🔹 Epoch / Batch / Iteration

术语	含义	类比
Epoch	完整看完一遍所有数据	把一本书从头读到尾
Batch Size	每次看多少页再总结	一次看 32 页
Iteration	看一个 batch 算一次	每 32 页翻一次

公式：Iterations per epoch = 总样本数 ÷ Batch Size

🔹 损失函数（Loss Function）

衡量模型预测得有多离谱。数值越小越好。

• 分类任务 → Cross-Entropy Loss
• 回归任务 → Mean Squared Error (MSE)

🔹 优化器（Optimizer）

根据 Loss 调整模型参数的算法。

• SGD：最基础的梯度下降
• Adam：最常用，自适应学习率
• AdamW：Adam + 权重衰减改进版

🔹 学习率（Learning Rate）

每次更新参数时”迈的步子”大小：

• 太大 → 训练震荡，不收敛
• 太小 → 训练太慢，陷入局部最优

🔹 梯度消失 / 梯度爆炸

• 梯度消失：深层网络前面层学不动了
• 梯度爆炸：梯度值暴涨，参数直接崩掉

---

📌 一张图记住训练流程

数据准备 → 搭建模型 → 前向传播（预测） 
         → 计算 Loss → 反向传播（求梯度）
         → 优化器更新参数 → 回到前向传播循环
         → 直到 Loss 收敛 → 模型保存

---

🔗 下一篇

→ 环境搭建与工具链