【Python 神经网络编程】少就是多

这是一本轻松的小书,全书只讲一个例子(mnist),但不要觉得这样不够,反而会比那些容纳很多项目的书来得透彻。


更新历史

  • 2020.02.18:重新上线
  • 2019.03.25:完成阅读、读后感

读后感

这是一本轻松的小书,全书只讲一个例子(mnist),但不要觉得这样不够,反而会比那些容纳很多项目的书来得透彻。没有任何的框架,从公式推导到最终的实现,自己写了一个神经网络来完成识别的工作。

终于,在看了太多太多次的反向传播后,这本书真正让我把神经网络的参数如何更新给弄明白了,还是很棒的。

注:大部分代码可以在我的 github 中找到。

阅读笔记

第 1 章 神经网络如何工作

  • 我们尝试得到一个答案,并多次改进答案。
  • 来自真实世界的训练样本可能充满噪声或包含错误。适度更新有助于限制这些错误样本的影响。
  • 由互相连接的神经元组成的生物大脑是人工神经网络的灵感来源
  • 通过神经网络向前馈送信号所需的大量运算可以表示为矩阵乘法
  • 反向传播误差可以表示为矩阵乘法
  • 梯度下降法是求解函数最小值的一种很好的办法,当函数非常复杂困哪,并且不能轻易使用数学代数求解函数时,这种方法能够发挥很好的作用
  • 神经网络的误差是内部链接权重的函数
  • 改进神经网络,意味着通过改变权重减少这种误差