xml地图|网站地图|网站标签 [设为首页] [加入收藏]

机器学习与深度学习入门,机器学习

来源:http://www.ccidsi.com 作者:最新解决方案 人气:145 发布时间:2020-01-23
摘要:多元线性回归(Linear Regression with Multiple Variables) 那是无尽教程的第二篇文章,公式的演绎可能会愈加复杂,请认真解析!comeon~ n 代表特征的数目 多元(Multiple Features) 多元线性回归

图片 1

多元线性回归(Linear Regression with Multiple Variables)


那是无尽教程的第二篇文章,公式的演绎可能会愈加复杂,请认真解析!come on~

n 代表特征的数目

多元(Multiple Features)

多元线性回归又称“multivariate linear regression”。

几眼下介绍意气风发种能够表示放肆输入变量的号子:

  • (x_j^{(i卡塔尔(قطر‎} = j   在  i^{th}  的练习样板的值。)
  • (x^{(iState of Qatar} = 全数 i^{th}  操练样品的值组成的列向量。 )
  • (m = 练习样品的数目 )
  • (n = |x^{(i卡塔尔(قطر‎}| 特性的多寡。)

于今定义假诺函数的多变量格局,包蕴以下各样参数:

(h_theta (x) = theta_0 theta_1 x_1 theta_2 x_2 theta_3 x_3 cdots theta_n x_n)

为了便于通晓,大家能够将 (theta_0)当做房屋的主导价钱,(theta_1卡塔尔国当做每平米的价位,(theta_2State of Qatar 当作每层的价钱之类。则 (x_1卡塔尔代表房屋的平米数,(x_2State of Qatar 代表屋企的层数等等。

使用矩阵乘法定义,大家的多元即便函数能够象征为:

[ begin{align*} h_theta(x) = begin{bmatrix} theta_0 hspace{2em} theta_1 hspace{2em} ... hspace{2em} theta_n end{bmatrix} begin{bmatrix} x_0 newline x_1 newline vdots newline x_n end{bmatrix} = theta^T x end{align*} ]

这是三个向量化的假若函数的多个锻练组。

练习样品逐行累积在 (X) 中, 例如:

[ begin{align*} X = begin{bmatrix} x^{(1)}_0 & x^{(1)}_1 newline x^{(2)}_0 & x^{(2)}_1 newline x^{(3)}_0 & x^{(3)}_1 end{bmatrix} & ,theta = begin{bmatrix} theta_0 newline theta_1 newline end{bmatrix} end{align*} ]

您能够将假使作为三个 ((m times 1)卡塔尔(قطر‎ 的列向量总括:

(h_theta(X) = X theta)

<h4>符号及标志</h4>

{x^{left( i rightState of Qatar}}代表第 i 个教练实例,是特色矩阵中的第i行,是一个向量。

资金函数(Cost function)

(对于向量  theta ( mathbb{R}^{n 1} 或者 mathbb{R}^{(n 1) times 1} )State of Qatar,花销函数为:

(J(theta) = dfrac {1}{2m} displaystyle sum_{i=1}^m left (h_theta (x^{(i)}) - y^{(i)} right)^2)

利用向量总结:

(J(theta) = frac{1}{2m} (Xtheta - vec{y})^{T} (Xtheta - vec{y}))

(其中  vec{y} 表示具备 y 的值。)

在进展数学生运动算在此以前,大家需求规定部分数学符号,方便接下去的争辩:

比方说,上图的

点不清梯度下跌(Gradient Desent for Mulitple Variables)

梯度下跌等式和事情发生前的款型相仿,大家只必要再度总括'n'个就能够:

[ begin{align*} & text{repeat until convergence:} ; lbrace newline ; & theta_0 := theta_0 - alpha frac{1}{m} sumlimits_{i=1}^{m} (h_theta(x^{(i)}) - y^{(i)}) cdot x_0^{(i)}newline ; & theta_1 := theta_1 - alpha frac{1}{m} sumlimits_{i=1}^{m} (h_theta(x^{(i)}) - y^{(i)}) cdot x_1^{(i)} newline ; & theta_2 := theta_2 - alpha frac{1}{m} sumlimits_{i=1}^{m} (h_theta(x^{(i)}) - y^{(i)}) cdot x_2^{(i)} newline & cdots newline rbrace end{align*} ]

也能够那样表示:

[ begin{align*} & text{repeat until convergence:} ; lbrace newline ; & theta_j := theta_j - alpha frac{1}{m} sumlimits_{i=1}^{m} (h_theta(x^{(i)}) - y^{(i)}) cdot x_j^{(i)} ; & text{for j := 0..n} newline rbrace end{align*} ]

图片 2

{x}^{}text{=}begin{bmatrix} 1416\ 3\ 2\ 40 end{bmatrix},

矩阵符号(Matrix Notation)

梯度下跌法规能够代表为:

[ large theta := theta - alpha nabla J(theta) ]

其中 (nabla J(theta)State of Qatar 是列向量的表示格局:

[ begin{align*} ; &frac{partial J(theta)}{partial theta_j} &=& frac{1}{m} sumlimits_{i=1}^{m} left(h_theta(x^{(i)}) - y^{(i)} right) cdot x_j^{(i)} newline ; & &=& frac{1}{m} sumlimits_{i=1}^{m} x_j^{(i)} cdot left(h_theta(x^{(i)}) - y^{(i)} right) end{align*} ]

第 j 个梯度成分得以由两有的和整合:

[ begin{align*} ; &frac{partial J(theta)}{partial theta_j} &=& frac{1}{m} sumlimits_{i=1}^{m} left(h_theta(x^{(i)}) - y^{(i)} right) cdot x_j^{(i)} newline ; & &=& frac{1}{m} sumlimits_{i=1}^{m} x_j^{(i)} cdot left(h_theta(x^{(i)}) - y^{(i)} right) end{align*} ]

一时,此中的两部分能够由四个向量表示。

(其中的,x_j^{(i)} ,for i = 1,…,m 代表第  j列 m 个元素,向量 vec{x_j} 取自练习组矩阵 X 。)

另风度翩翩部分 (left(h_theta(x^{(i)}) - y^{(i)} right卡塔尔(قطر‎是展望值  h_theta(x^{(i卡塔尔(قطر‎}卡塔尔国  和 真实值  y^{(i卡塔尔国}  的偏差量的向量。重写  frac{partial J(theta)}{partial theta_j} ,我们得到:)

[ begin{align*} ; &frac{partial J(theta)}{partial theta_j} &=& frac1m vec{x_j}^{T} (Xtheta

  • vec{y}) newline newline newline ; &nabla J(theta) & = & frac 1m X^{T} (Xtheta - vec{y}) newline end{align*} ]

终极,梯度下落准绳的矩阵情势(向量化)表示为:

(theta := theta - frac{alpha}{m} X^{T} (Xtheta - vec{y}))

图片 3

{x}_{j}^{left( i right卡塔尔}代表特征矩阵中第 i 行的第 j 个特征,也便是第 i 个教练实例的第 j 个特点。如上海体育场地的x_{2}^{left( 2 right)}=3,x_{3}^{left( 2 right)}=2,

数值日常化(Feature Normalization)

我们能够透过将各样输入值粗略的调节到一个范围加速梯度下降。当中的规律是因为 (theta卡塔尔(قطر‎在小的范围内下落速度相当慢,大的界定内猛跌速度异常的慢,由此当数码不均匀的时候可能会平昔摇摇摆摆不会降低到最棒点。

防止这种景色时有爆发的办法就是修改输入变量的限量让他们大约的同样:

(-1 le x_i le 1)

(-0.5 le x_i le 0.5)

这几个从未额外的须求,我们仅仅尝试加快总结。目标是让具备输入变量粗略的范围在此个范围。

有三种艺术能够扶持咱们:数值缩放(feature scaling)和均大器晚成化(mean normalization)。数值缩放通过输入变量的界定划分输入值,结果是产生贰个新的限量为1的值。均生机勃勃化则是减去输入变量的平均值,获得叁个新的为0的平均值。可以透过须臾间公式使用那二种格局调治你的输入值:

(x_i := dfrac{x_i - mu_i}{s_i})

其中 (mu_i卡塔尔 是全数值的平均值,(s_i) 是范围(最大值-最小值),或者 (s_i卡塔尔 也得以是标准差(standard deviation)。

图片 4

支撑多变量的只要 h 表示为:h_{theta}left( x right)={theta_{0}} {theta_{1}}{x_{1}} {theta_{2}}{x_{2}} ... {theta_{n}}{x_{n}},那么些公式中有n 1个参数和n个变量,为了简化表示,引进x_{0}=1,则公式转变为:h_{theta} left( x right)={theta_{0}}{x_{0}} {theta_{1}}{x_{1}} {theta_{2}}{x_{2}} ... {theta_{n}}{x_{n}}

特征和多项式回归(Features and Polynomial Regression)

咱俩得以由此二种分歧的办法改良借使函数的风味和式样。

咱俩得以将多个特色组合成二个。举个例子,我们能够将 (x_1 和 x_2 通过 x_1 cdot x_2 组合成二个新特性 x_3。)

图片 5

那会儿模型中的参数和任何二个练习实例都以n 1维的向量, 由此公式能够简化为:h_{theta} left( x right)={theta^{T}}X(当中上标T代表矩阵转置)。

多项式回归(Polynomial Regression)

我们的假使函数不必是线性的(一条直线)要是不可能与数据匹配的很好。

我们能够改动行为或通过平方,立方也许平方根函数或许别的情势绘成曲线。

诸如,假使大家的只要函数为(h_theta(x) = theta_0 theta_1 x_1State of Qatar ,大家能够根据 (x_1卡塔尔国 创造一个新特征,获得一回函数 (h_theta(x) = theta_0 theta_1 x_1 theta_2 x_1^2卡塔尔恐怕壹次函数 (h_theta(x) = theta_0 theta_1 x_1 theta_2 x_1^2 theta_3 x_1^3)

在一回函数中,大家创造了新天性 (x_2 和 x_3 ,其中 x_2=x_1^2,x_3 = x_1^3)

平方根函数:

(h_theta(x) = theta_0 theta_1 x_1 theta_2 sqrt{x_1})

<h4>函数向量化</h4>
只要函数的向量化
假设大家的只要函数是:
![](http://latex.codecogs.com/png.latex?h_{theta}(x)=theta_0 theta_1 x_1 theta_2 x_2 ... theta_n x_n)

与单变量线性回归相像,在多变量线性回归中,大家也营造一个代价函数,则那几个代价函数是享有建立模型基值误差的平方和,即:Jleft( {theta_{0}},{theta_{1}}...{theta_{n}} right)=frac{1}{2m}sumlimits_{i=1}^{m}{{{left( h_{theta} left({x}^{left( i right)} right)-{y}^{left( i right)} right)}^{2}}} ,

诚如等式(Normal Equation)

貌似等式是后生可畏种无需迭代就能够寻觅最适值的方法。

(theta = (X^T X)^{-1}X^T y)

行使相同等式时没有须要数值缩放(feature scaling)。

梯度下跌和日常等式的周旋统大器晚成:

图片 6

采取相近等式总计 (mathcal{O}(n^3)卡塔尔逆矩阵会很复杂。所以只要大家由众好多据的本性时,日常等式会一点也不快。施行注脚,n 小于 10,000 时用平时等式。

那么大家可以将上述式子向量化为:
![](http://latex.codecogs.com/png.latex?h_{theta}(x)=[theta_0 theta_1 theta_2 ...theta_n]cdot begin{bmatrix}1 x_1 x_2 . . . x_n end{bmatrix}= theta^Tcdot X)
为了有助于总括我们令:

其中:h_{theta}left( x right)=theta^{T}X={theta_{0}} {theta_{1}}{x_{1}} {theta_{2}}{x_{2}} ... {theta_{n}}{x_{n}} ,

貌似等式不可逆(Normal Equation Noninvertibility)

当使用相仿等式时行使 'pinv' 函数,不使用 'inv'

图片 7

本文由68399皇家赌场发布于最新解决方案,转载请注明出处:机器学习与深度学习入门,机器学习

关键词: 68399皇家赌场 机器 吴恩达 机器学习

上一篇:物体检测,对象检测及其算法指南

下一篇:没有了

最火资讯