分类: 数学

Welcome to bg51717's Wiki and Blog
文章分类
杂项 3 课程资源 1 huggingface 1 深度学习 7 自然语言处理 1 工具 5 模板 3 SmallProjects 2 自然语言处理 3 博客搭建 2 数学 4 工程细节 1 经典模块 2 概率论 1 线性代数 2 微积分 1 科研 8 论文阅读 8
                            
                            矩阵奇异值分解SVD
                        
                                定理陈述
对于任意 \(m \times n\) 的矩阵 \(A\)，存在一个分解：
\[
A = U \Sigma V^T
\]
其中：

r=rank(A)是矩阵A的秩
\(U\) 是一个 \(m \times m\) 的正交矩阵（即 
                            
                                2024-11-08
                            
                                    数学
                                
                                    线性代数
                                
                            矩阵
                        
                            SVD
                        
                            拉格朗日乘数法解条件极值
                        
                                介绍
求解最优化是一类十分常见且难以求解的问题，因此，考虑开一个博客系统性的介绍一下重要解法：拉格朗日乘数法（Lagrange
Multiplier Method）。之后再扩展到广义的拉格朗日乘数法。
拉格朗日乘数法的重点是在一些列约束条件
                            
                                2024-10-24
                            
                                    数学
                                
                                    微积分
                                
                            数学
                        
                            信息熵
                        
                                信息熵的公式
计算信息熵的公式为:
\[
H(x)=-\sum p(x_i)logp(x_i)
\]
其中\(p(x_i)\)表示事件结果为\(x_i\)的概率
理解
信息熵表示对事件不确定性的一个度量，计算思路为“编码一个事件的最短平均编
                            
                                2024-01-31
                            
                                    数学
                                
                                    概率论
                                
                            数学
                        
                            信息学
                        
                            矩阵偏分
                        
                                在学习深度学习的过程中,很多次遇到了矩阵求导的问题,发现网上很多教程写的不是很好理解,记录自己的浅薄认知.

（矩阵求导有分子转置（和分子行数一样）和分母转置（和分母行数一样）两种，两种结果互为转置。本篇介绍的不太一样，因为很多教程也是混杂
                            
                                2023-12-24
                            
                                    数学
                                
                                    线性代数
                                
                            深度学习
                        
                            数学
                        
                            矩阵
                        
                            向量