机器学习中的BP算法
通过链式法则推到最终可以发现：
这里Wjk是输出层的权值，Vij是隐藏层的权值
- 这里可以再解释一下：
- *输出层的权值调整==n（学习率）（预期输出-实际输出）*实际输出（1-实际输出）输出层的权值**
- 隐藏层的权值调整
我们可以看到隐层的权值更新和输出层的误差和上一层的权值的乘积有关，这就是反向的来意，所有隐层的权值调整都和输出层的误差有关，也就是说所有权值的调整都来源与输出层的期望值和真实值的差有关，这就是反向传播的来历
这里用一副图来解释：
Author：Yangyehan
Publish date：February 7th 2024, 6:22:51 pm
Update date：August 28th 2024, 10:12:08 am
License：本文采用知识共享署名-非商业性使用 4.0 国际许可协议进行许可
-
Next Post在少量提示词下LLM格式化输出的对齐实践
-
Previous PostEmbedding And Dense Retrieval