在机器学习和深度学习中，代价函数（Cost Function） 是一个非常关键的概念。它用于衡量模型预测结果与实际值之间的差异，是优化模型参数的核心依据。通过最小化代价函数，我们可以让模型更准确地进行预测。
在Python中，我们可以使用多种库来实现和计算代价函数，例如 NumPy、TensorFlow 和 PyTorch。下面将介绍几种常见的代价函数及其对应的Python代码实现方式。
1. 均方误差（MSE）
均方误差是最常用的回归问题中的代价函数之一，其公式为：
$$
\text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2
$$
其中，$ y_i $ 是真实值，$ \hat{y}_i $ 是预测值，$ n $ 是样本数量。
Python代码示例：
```python
import numpy as np
def mean_squared_error(y_true, y_pred):
return np.mean((y_true - y_pred) 2)
示例数据
y_true = np.array([3, -0.5, 2, 7])
y_pred = np.array([2.5, 0.0, 2, 8])
mse = mean_squared_error(y_true, y_pred)
print("均方误差 (MSE):", mse)
```
2. 交叉熵损失（Cross-Entropy Loss）
在分类问题中，尤其是二分类和多分类任务中，交叉熵损失 是常用的选择。它的形式根据问题类型有所不同。
二分类交叉熵损失（Log Loss）：
$$
\text{Loss} = -\frac{1}{n} \sum_{i=1}^{n} [y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i)]
$$
Python代码示例：
```python
import numpy as np
def binary_cross_entropy(y_true, y_pred):
epsilon = 1e-15 防止log(0)
y_pred = np.clip(y_pred, epsilon, 1 - epsilon)
return -np.mean(y_true np.log(y_pred) + (1 - y_true) np.log(1 - y_pred))
示例数据
y_true = np.array([1, 0, 1, 0])
y_pred = np.array([0.9, 0.1, 0.8, 0.2])
bce = binary_cross_entropy(y_true, y_pred)
print("二分类交叉熵损失:", bce)
```
3. 对数损失（Log Loss）——多分类情况
对于多分类问题，可以使用 softmax + 交叉熵 的组合来计算损失。
Python代码示例（使用 NumPy 实现）：
```python
import numpy as np
def cross_entropy_loss(y_true, y_pred):
y_true 是 one-hot 编码的标签
y_pred 是模型输出的 softmax 概率
epsilon = 1e-15
y_pred = np.clip(y_pred, epsilon, 1 - epsilon)
return -np.sum(y_true np.log(y_pred)) / y_true.shape[0]
示例数据
y_true = np.array([[1, 0, 0], [0, 1, 0], [0, 0, 1]])
y_pred = np.array([[0.7, 0.2, 0.1], [0.1, 0.6, 0.3], [0.2, 0.3, 0.5]])
loss = cross_entropy_loss(y_true, y_pred)
print("多分类交叉熵损失:", loss)
```
4. 使用 PyTorch 实现代价函数
如果你使用的是 PyTorch，可以直接调用内置的损失函数，如 `MSELoss`、`BCELoss`、`CrossEntropyLoss` 等。
示例代码：
```python
import torch
import torch.nn as nn
定义损失函数
criterion = nn.MSELoss()
创建张量
y_true = torch.tensor([3.0, -0.5, 2.0, 7.0])
y_pred = torch.tensor([2.5, 0.0, 2.0, 8.0])
计算损失
loss = criterion(y_pred, y_true)
print("PyTorch MSE Loss:", loss.item())
```
总结
代价函数是机器学习模型训练过程中的核心部分，选择合适的代价函数有助于提高模型的性能。在Python中，我们可以通过手动实现或使用深度学习框架（如 PyTorch、TensorFlow）来高效地计算这些函数。
无论你是初学者还是有经验的开发者，理解并掌握不同类型的代价函数及其实现方式，都将对你的建模能力产生深远影响。
