D2L 11.softmax回归及其从零开始实现

Author：baiyucraft

BLog： baiyucraft’s Home

原文：《动手学深度学习》

---

  线性神经网络：

• 深度学习 6.线性回归概述
• 深度学习 7.线性回归的从零开始实现
• 深度学习 8.线性回归的简洁实现
• 深度学习 9.损失函数
• 深度学习 10.图像分类数据集

  在之前的学习中，我们学习了线性回归模型，回归问题主要针对的是预测多少的问题，比如之前的预测房屋价格的例子。但是在生活中，我们做的分类问题反而更多，例如果实的好坏，图像上的动物是猫、狗还是鸡。

$\tanh(z) = \dfrac{e^{x} - e^{-x}}{e^{x} + e^{-x}}$

$\tanh'(z) = 1 - \tanh^2(z)$

$sigmoid(z) = \dfrac{1}{1 + e^{-x}}$

$sigmoid'(z) = sigmoid(z)(1 - sigmoid(z))$

$z = wx + b$

$dz = w$

$dw = x$

$db = 1$

$CrossEntropyLoss(Z) = - \ln \dfrac{e^{Z[y]}}{\sum_j e^{Z[j]}}$

$CrossEntropyLoss'(Z) = a_{ij} - y_{ij}$

$$\sum_{i=1}^{n} l^{(i)}(\boldsymbol{w}, b) = \dfrac{1}{2} \dfrac{1}{n} \sum_{i=1}^{n} \left(\widehat{y}^{(i)} - y^{(i)}\right)^{2}$$