在梯度下降法中,有个对矩阵求导的推导,即J(Θ)=1/2*||Θ*X−Y||^2对Θ求导的结果是∂J(Θ)/∂Θ=X'*X*Θ−X'*Y,其中X'表示X的转置。请问这是怎么来的,根据哪个矩阵求导公式而来的,请帮忙推导。
这两个网页里都有这样的叙述,我就是看不明白那一步是怎么来的。
http://blog.csdn.net/laoliulaoliu/article/details/7173184
http://hi.baidu.com/chenjinandy/blog/item/bb9b6c6f775187c780cb4a67.html
能简单介绍下“莱布尼茨法则:d/dt({X,X})=2{d/dt(X),X}.”吗,我看不明白
追答莱布尼茨法则乘法的求导法则。就是 (ab)'=a'b+ab',其中'表示求导。对于内积来说,有
{X,Y}' = {X', Y} + {X, Y'}
这个公式很多地方都有。
求导后为什么X变成X'了,并且是X'(*X*Θ−Y)而不是(*X*Θ−Y)X
追答求和(k=1到n)X(i k)b(k)是Xb的第i个分量,记为(Xb)i,而求和(i=1到m)求和[(k=1到n)X(i k)b(k)]X(i j)=求和(i=1到m)X(i j)(Xb)i=X的第i列的转置乘以向量(Xb),因此一个一个写出来就是X^T(Xb)=X^TXb。其余类似。
追问叙述得不清楚,很难理解
追答主要是你自己得动笔写啊,不要怕麻烦,一个一个的写出来对比看一下就行了。