24/8/4算法笔记 梯度下降

通过迭代地调整参数，沿着目标函数梯度的反方向（即最陡峭的下降方向）进行搜索，从而找到函数的局部最小值。

导入库

import matplotlib.pyplot as plt
import numpy as np

构建方程和导数

#构建方程
f = lambda  x:(x-3.5)**2-4.5*x+10
#导数
g = lambda x:2*(x-3.5)-4.5

x=np.linspace(0,11.5,100)
y=f(x)

可视化

plt.plot(x,y)

求方程最小值

#如果有方程，求导函数，令导函数为0最方便，一种方法

#如果没有方程，梯度下降

eta = 0.1#学习率#梯度下降
x=np.random.randint(0,12,size = 1)[0]#每次while循环，记录上一次值，为了比较
#0.1：0.2：1为了有差异
last_x = x + 0.1#精确度
precision=0.0001print('---------随机x是:',x)#每次梯度下降，求解出的x值，一开始随机给
x_ = [x]#python中的列表
count=0while True:if np.abs(x-last_x)<precision:#更新时，变化甚微break;#更新梯度下降#x时当前值，赋值给上一个值last_x = xcount +=1x = x-eta*g(x)x_.append(x)# print('更新之后的值',x)print('********梯度下降次数',count)#x1是numpy数组
x1=np.linspace(0,11.5,100)
y1=f(x1)
plt.plot(x1,y1)x_=np.array(x_)#散点图
plt.scatter(x_,f(x_),color = 'red',s=30)