建议学习，METHODS FOR NON-LINEAR LEAST SQUARES PROBLEMS：
http://www2.imm.dtu.dk/pubdb/views/edoc_download.php/3215/pdf/imm3215.pdf
篇幅不长，容易理解
学习的时候可以参考另一篇，UNCONSTRAINED OPTIMIZATION：http://www2.imm.dtu.dk/pubdb/views/edoc_download.php/3217/pdf/imm3217.pdf
Numerical Optimization 2nd --Jorge Nocedal Stephen J. Wright：
http://www.bioinfo.org.cn/~wangchao/maa/Numerical_Optimization.pdf
《视觉SLAM十四讲》第六讲 https://github.com/gaoxiang12/slambook
知乎上看到一个回答非常好：
LM算法可以理解为Gauss-Newton算法与最速下降法的结合，如果理解了如何用上述算法求解目标函数最小值的问题，自然也能理解LM。
其实算法的本质就是 a. 站在当前位置（ x k x_k xk? ），我们需要一个预言（oracle）告诉我们往哪走能找到目的地（最优解可能的方向，比如梯度方向）；b. 我们沿着该方向走了一段距离之后（stepsize），更新当前位置信息（ x k + 1 x_{k+1} xk+1? ），再问预言家我们下一步往哪走，以此反复。
所以，梯度下降法，给的 oracle 就是当前位置的梯度信息（损失方程关于变量的一阶导数）：
x k + 1 = x k ? α g k x_{k+1}=x_k-\alpha g_k xk+1?=xk??αgk?
如果是牛顿法，给的 oracle 就是Hessian matrix（损失方程关于变量的二阶导数）：
x k + 1 = x k ? H k ? 1 g k x_{k+1}=x_k-H_k^{-1}g_k xk+1?=xk??Hk?1?gk?(1)
为什么是一阶导数和二阶导数？因为我们知道，对于任意（处处可导的）方程，在其任意一点，我们都可以用泰勒展开式对其拟合，阶数越高，精度越高。但是，考虑到高阶导数的计算复杂度，以及三阶以上函数的非凸性，也不会使用高阶导数。
好了，那么LM算法的优势是什么？牛顿法虽然收敛速度快，但是需要计算 Hessian matrix，对于高维的问题，计算二阶导数会很复杂。因此我们有了Gauss-Newton算法。Gauss-Newton算法不直接计算Hessian matrix，而是通过 Jacobian matrix 对 Hessian matrix 进行拟合：
H ≈ J T J H\approx J^TJ H≈JTJ
但是，用 Jacobian matrix 拟合Hessian matrix，所计算出来的结果不一定可逆。所以在此基础上，我们引入了一个identity matrix：
H ≈ J T J + μ I H\approx J^TJ+\mu I H≈JTJ+μI
这也就得到了LM算法。如果我们把上述式子带入之前的公式(1)，可以得到
x k + 1 = x k ? ( J k T J k + μ I ) ? 1 g k x_{k+1}=x_k-(J_k^TJ_k+\mu I)^{-1}g_k xk+1?=xk??(JkT?Jk?+μI)?1gk?
所以我们发现，当
μ
\mu
μ接近于0时，这个算法近似于Gauss-Newton算法；当
μ
\mu
μ很大时，这个算法近似于最速下降法。因此，这也是为什么LM算法称为Gauss-Newton算法与最速下降法的结合。最后，上一张图表示几种算法之间的关系：
参考文献：Wilamowski, B. M., & Yu, H. (2010). Improved computation for Levenberg–Marquardt training. IEEE transactions on neural networks, 21(6), 930-937.
一个回答：Matlab 的话现成的代码也是很多的；比如，Solve nonlinear least-squares (nonlinear data-fitting) problems，或者 Levenberg-Marquardt-Fletcher algorithm for nonlinear least squares problems。你可以在网站里面搜搜有没有适合你的。
作者：Sixiang
链接：https://www.zhihu.com/question/269579938/answer/349205519
来源：知乎
这是最上面推荐的书，英文不难：
gradient matrix, hessian matrix, jacobian matrix:
https://www.value-at-risk.net/functions/
csdn 有个不错的博客：数值优化（Numerical Optimization）学习系列-目录：https://blog.csdn.net/fangqingan_java/article/details/48951191
视觉SLAM十四讲里推荐了**Ceres库**，Ceres solver 是谷歌开发的一款用于非线性优化的库，在谷歌的开源激光雷达slam项目cartographer中被大量使用。
安装和使用参考：
https://zhaoxuhui.top/blog/2018/04/04/ceres&ls.html
下面把关键操作贴出来：
- 下载源码
- 安装依赖：
这里libcxsparse可能存在版本问题（出现找不到对应版本），解决办法：
将这一部分取消注释，并保存，即可自动补全：
利用Ceres简单实现最小二乘曲线拟合。首先需要生成数据，这里采用OpenCV的随机数生成器生成误差。
CMakeLists.txt:
另外，有个levmar的C/C++的库：（这个还不会用）
levmar : Levenberg-Marquardt nonlinear least squares algorithms in C/C++
http://users.ics.forth.gr/~lourakis/levmar/index.html#download
http://users.ics.forth.gr/~lourakis/sparseLM/
