AndrewNg's深度学习（2）Batch Normalization

来自 Ra1ny 发表于

也可以称为批标准化，或者BN。这一方法为的是将Cost Function所呈现的等高线图标准化为一个类似于圆形（二维）或者碗状（三维度），这种特征方便梯度下降时更快地找到最优点。 不想在电脑上写公式，直接手写了。 一、模型训练 这是训练的过程，除了原始数据进入第一层以外，其余输入前都需要进行BN。请注意，γ与β是可学习参数，也是模型当中的参数，而不是超参数！dim代表的是每一个样本的维数，以mini-batch形式训练，每一层都会计算输出结果的方差和均值，然后进行标准化。另外，这里只是对于一个mini-batch的训练过程，X里面有很多的x，每一个x代表一个样本，一个样本x里面有很多的特征，是一个向量。X的上标代表神经网络的层数，其它符号的相同位置同理。 对于每一个样本的前向传播，一个mini-batch进入训练模型时，多个样本进入网络后，每一层都会得到一个均值和一个方差，通过这个均值和方差，进行标准化、放缩平移后，输入到下一层，直至前向传播完成。 二、两个全局变量 在前向传播的过程中，有两个全局变量：g_μ、g_σ^2，随着神经网络的每一mini-batch的每一层计…

AndrewNg's深度学习（1）小批量神经网络的训练

来自 Ra1ny 发表于

小批量，也称为mini-batch，一般来说，数据集超过1500以上就可以实践mini-batch。这一过程实际上是将大量数据按照一定的小规模进行分批，比如有50000个数据样本，按照1000为单位，将50000分为50个mini-batch，每个mini-batch有1000个数据样本。 一、前向传播 小批量梯度下降，实际上就是在每一个mini-batch上进行梯度下降，参数在batch之间传递。下图是前向传播的过程，神经网络的模型是一元线性回归，激活函数是sigmoid。 因此，神经网络的参数为w、b，在训练开始前需要为每一层每一个神经元赋予初始参数值。某一batch全部通过神经网络后，接下来开始反向传播（backforward propagation） 二、反向传播（backforward propagation） 反向传播实际上就是计算链式偏导数，在下面的模型中，前一层的结果会传递到后一层，后一层的结果又会传递到更下一层，因此关系是层层嵌套，到最后的输出层时，Z(3)里面包含了前两层的全部参数，因此可以链式求偏导至每层每个神经元，直至第一个隐藏层。…

一则茶话（1）愚蠢的信任换不来真诚

来自 Ra1ny 发表在 一则茶话 发表于

突然想起多年以前，小学玩穿越火线的时候。那时很期待自己也能有付费武器、角色，于是就在网络里遇见了“卡枪”、“刷枪”这些概念。 按照我的认知，“卡枪”可能是真实的，但这个BUG没活多久就被堵上了。它的原理就是在游戏商城购买一个便宜的物品，然后付费前用VE修改内存的数据，改成自己想要的物品即可。这样一来，被修改的内存数据就会被上传至游戏服务器，那么就可以实现5块的便宜物品换取一个价值50元的物品。至于“刷枪”这个概念，我觉得当时骗子们巧妙地偷换了概念。我那时验证过一些“刷枪”软件的概念，刷出来的物品也只能在仓库里展示，当然也可以在游戏对局里展示。但对方看不见，只能自己欣赏。如果一旦在对局里开枪，游戏就会报错关闭。因此这种只能是自娱自乐，达不到炫耀的层次。 故事是这样的。以上述概念为开头，我逐渐开始了解软件的破译，因为那时网络上有太多的刷枪、卡枪软件，都需要购买验证码才能使用。我在网络上认识了一个了解这一方面的人，于是我花50Q币，拜他为师。但他也只是教了我十分皮毛的东西，比如把软件丢到吾爱破解工具里，反编译源代码，去查找注册码、激活码相关的信息，或者用txt打开软件，后续同上。具体我记…

时间货币（下）

来自 Ra1ny 发表于

这是这一系列的最后一篇，篇幅有限，许多内容无法详细叙述，还有一些事情我也早已忘记。我对时间的感觉，是在大学毕业以后才慢慢开始重视。曾经的我只顾着向前冲，因为成人、大学生活，对我来说是十分新奇的，我十分讨厌义务教育期间学校的各种束缚，或是家庭存在的一些条件限制，我渴望更加自由的生活，我期待我能够按照我自己的想法去生活，这使得我迫切地想要长大，探索那些对我位置的领域。只是，当到了自己的曾经期待的位置，就会有了新的期待，再回头看自己的所走的路时，又会带些伤感或者后悔，亦或是怀念和感叹。如果我的寿命有80岁，那么我已经花费了百分之30的日子，这个比重随着时间一点点地增大。那么，若是有永生，若是有无限的时间，我还会伤感后悔、怀念感叹吗？ 乌云密布 这是我人生中最黑暗的日子，是我曾经从未有过的日子。脱离了“象牙塔”后，一切自我粉饰的，都将接受现实的审判。 毕业以后，我回家准备二战。毕业那年的中秋节，小姨因身体原因推辞了照顾的工作，于是，外婆只能由我家照顾。那时我妈还未退休，但已经辞职两年了。外婆从山上搬到我了我家，这也结束了她一生的“迁徙之旅”。 我在家备考，…