李沐：用随机梯度下降来优化人生！
0 基础转 AI 上岸，多个算法赛 Top
「日更万日，让更多人享受智能乐趣」
今日 192/10000，内含：
干货 - 技术正文内容
私货 - 算法金碎碎念
硬通货 - 大家都在看
今天我们来聊聊达叔 6 大核心算法之 —— 优化 算法。吴恩达：机器学习的六个核心算法！
梯度下降优化算法的概述
梯度下降优化算法是机器学习和深度学习中最常用的优化算法之一。它通过不断调整模型参数，使得损失函数的值逐渐减小，从而使模型逐步逼近最优解
梯度下降优化算法的优点
简单易实现：梯度下降算法的基本原理简单，容易理解和实现
广泛应用：无论是线性回归、逻辑回归，还是复杂的神经网络，梯度下降算法都可以应用
梯度下降优化算法的缺点
依赖初始值：梯度下降算法的收敛速度和最终结果可能会受到初始值的影响
容易陷入局部最优：在复杂的非凸损失函数中，梯度下降算法可能会陷入局部最优解，而无法找到全局最优解
梯度下降算法的改进
2. 应用和普遍性
梯度下降法在优化神经网络中的应用和普遍性
梯度下降法在机器学习和深度学习中的重要性不可忽视。作为一种经典的优化算法，梯度下降法被广泛应用于各种模型的训练过程中，尤其是在神经网络的优化中。
梯度下降法的基本原理
梯度下降法的核心思想是通过不断调整模型参数，使得损失函数的值逐渐减小，从而使模型逐步逼近最优解。具体来说，梯度下降法通过计算损失函数相对于模型参数的梯度，然后沿着梯度的反方向更新参数，以达到最小化损失函数的目的。
神经网络中的应用
在神经网络的训练过程中，梯度下降法起到了至关重要的作用。神经网络的训练过程本质上就是一个通过梯度下降法优化损失函数的过程。具体步骤如下：
前向传播：计算当前参数下的模型输出和损失函数值
反向传播：计算损失函数相对于模型参数的梯度
参数更新：使用梯度下降法更新模型参数
这个过程会反复进行，直到损失函数的值收敛到某个最小值。
普遍性
梯度下降法不仅在神经网络中广泛应用，还被应用于其他很多机器学习模型中，比如线性回归、逻辑回归、支持向量机等。它的普遍性和适用性使得它成为机器学习领域的一个重要工具。
在实际应用中，梯度下降法的具体形式有很多，比如批梯度下降法、随机梯度下降法和小批量梯度下降法。不同形式的梯度下降法在计算效率、收敛速度和收敛稳定性上各有优劣，我们将在下一部分详细介绍这些变形形式。
3. 梯度下降法的变形形式
批梯度下降法：使用整个数据集计算梯度
随机梯度下降法（SGD）：使用单个样本计算梯度
小批量梯度下降法：使用小批量样本计算梯度
随机梯度下降法（SGD）
随机梯度下降法是一种通过每次仅使用一个样本来计算梯度的变形形式。它每次随机选择一个样本进行参数更新，这使得算法在处理大型数据集时更加高效。
优点
计算效率高：每次更新只需要计算一个样本的梯度，大大减少了计算开销
内存需求低：每次只需加载一个样本，节省内存
缺点
收敛不稳定：由于每次更新基于单个样本，梯度估计有较大噪声，可能导致收敛过程不稳定
可能震荡：在非凸损失函数中，更新方向可能来回震荡，难以到达全局最优解
公式
李沐：用随机梯度下降来优化人生
作者：李沐 | CMU，前亚马逊首席科学家
要有目标。你需要有目标。短的也好，长的也好。认真定下的也好，别人那里捡的也好。就跟随机梯度下降需要有个目标函数一样。
目标要大。不管是人生目标还是目标函数，你最好不要知道最后可以走到哪里。如果你知道，那么你的目标就太简单了，可能是个凸函数。你可以在一开始的时候给自己一些小目标，例如期末考个80分，训练一个线性模型。但接下来得有更大的目标，财富自由也好，100亿参数的变形金刚也好，得足够一颗赛艇。
坚持走。不管你的目标多复杂，随机梯度下降都是最简单的。每一次你找一个大概还行的方向（梯度），然后迈一步（下降）。两个核心要素是方向和步子的长短。但最重要的是你得一直走下去，能多走几步就多走几步。
痛苦的卷。每一步里你都在试图改变你自己或者你的模型参数。改变带来痛苦。但没有改变就没有进步。你过得很痛苦不代表在朝着目标走，因为你可能走反了。但过得很舒服那一定在原地踏步。需要时刻跟自己作对。
可以躺平。你用你内心的激情来迈步子。步子太小走不动，步子太长容易过早消耗掉了激情。周期性的调大调小步长效果挺好。所以你可以时不时休息休息。
四处看看。每一步走的方向是你对世界的认识。如果你探索的世界不怎么变化，那么要么你的目标太简单，要么你困在你的舒适区了。随机梯度下降的第一个词是随机，就是你需要四处走走，看过很多地方，做些错误的决定，这样你可以在前期迈过一些不是很好的舒适区。
快也是慢。你没有必要特意去追求找到最好的方向和最合适的步子。你身边当然会有幸运之子，他们每一步都在别人前面。但经验告诉我们，随机梯度下降前期进度太快，后期可能乏力。就是说你过早的找到一个舒适区，忘了世界有多大。所以你不要急，前面徘徊一段时间不是坏事。成名无需太早。
赢在起点。起点当然重要。如果你在终点附近起步，可以少走很多路。而且终点附近的路都比较平，走着舒服。当你发现别人不如你的时候，看看自己站在哪里。可能你就是运气很好，赢在了起跑线。如果你跟别人在同一起跑线，不见得你能做更好。
很远也能到达。如果你是在随机起点，那么做好准备前面的路会非常不平坦。越远离终点，越人迹罕见。四处都是悬崖。但随机梯度下降告诉我们，不管起点在哪里，最后得到的解都差不多。当然这个前提是你得一直按照梯度的方向走下去。如果中间梯度炸掉了，那么你随机一个起点，调整步子节奏，重新来。
独一无二。也许大家有着差不多的目标，在差不多的时间毕业买房结婚生娃。但每一步里，每个人内心中看到的世界都不一样，导致走的路不一样。你如果跑多次随机梯度下降，在各个时间点的目标函数值可能都差不多，但每次的参数千差万别。不会有人关心你每次训练出来的模型里面参数具体是什么值，除了你自己。
简单最好 。当然有比随机梯度下降更复杂的算法。他们想每一步看想更远更准，想步子迈最大。但如果你的目标很复杂，简单的随机梯度下降反而效果最好。深度学习里大家都用它。关注当前，每次抬头瞄一眼世界，快速做个决定，然后迈一小步。小步快跑。只要你有目标，不要停，就能到达。
[ 抱个拳，总个结 ]
回归算法，逻辑回归，决策树算法， 神经网络，K-means，梯度下降（本文）
内容仅供学习交流之用，部分素材来自网络，侵联删
[ 算法金，碎碎念 ]
女额说今天父亲节，让我早点休息
节日快乐
今天，就酱了~
全网同名，日更万日，让更多人享受智能乐趣
如果觉得内容有价值，烦请大侠多多 分享、在看、点赞，助力算法金又猛又持久、很黄很 BL 的日更下去；
点击 ↑ 领取
👉 万人共读 - 热门推荐 👈
更更多请关注公众号 ↓ 记得星标哟