知行合一
世界靠现实主义者维系,靠理想主义者发展。
数学计算库:SymPy 数学计算库:SymPy
介绍 SymPy 是一个功能强大、开源的符号计算库(数值计算也同样支持),涵盖了代数、微积分、线性代数、数论、组合数学、物理学等领域的广泛功能。 这个库可以提供你想象到的所有数学操作,包括但不限于: 符号计算:可以定义符号,然后求解方程或
论文阅读习惯 论文阅读习惯
介绍 发现论文阅读习惯是一个十分重要的事情。 在和师兄的交流当中发现,读完一篇文献总是会遗漏一部分内容,这是因为没有良好的论文阅读习惯导致无法从一个文献中获得足够的信息从而变成自己的东西。 因此考虑使用这篇博客记录、分享和培养自己的阅读习惯
OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models
介绍 很多针对LLM的PTQ量化算法在设计参数的时候都添加了太多的先验知识,导致性能不佳,尤其在低比特量化中。为了解决这个问题,本文提出了全向校准量化(OmniQuant)技术。 OmniQuant包含两个组件,可学习权重裁剪 (LWC)
OneBit: Towards Extremely Low-bit Large Language Models OneBit: Towards Extremely Low-bit Large Language Models
介绍 OneBit属于量化方法中的量化感知训练QAT。基于BitNet的OneBit将LLM的权重矩阵量化为1位,用一种新颖的 1 位参数表示方法以更好地量化 LLM,以及一种基于矩阵分解的有效参数初始化方法以提高量化框架的收敛速度。 方法
矩阵奇异值分解SVD 矩阵奇异值分解SVD
定理陈述 对于任意 \(m \times n\) 的矩阵 \(A\),存在一个分解: \[ A = U \Sigma V^T \] 其中: r=rank(A)是矩阵A的秩 \(U\) 是一个 \(m \times m\) 的正交矩阵(即
梯度估计STE 梯度估计STE
背景 反向传播是现在训练模型的重要方法,但是在部分场景下,会遇到不可微分的函数,从而导致梯度传播失败。比如量化里的取整函数。因此,需要对梯度进行估计然后反向传播。 STE(Straight-Through Estimator)是2013年Y
Welcome to bg51717's Wiki and Blog Welcome to bg51717's Wiki and Blog
这是bg51717的个人Wiki和Blog站点,主要是把知识系统的罗列出来以及存放一些特殊bug的处理,当然也会更一些游戏或者二次元相关东西,也希望在成长的过程中可以认识许多志同道合的人。 本人一直认为互联网的开源是社会发展的重要原因之一,
2024-11-02 bg51717
AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration
介绍 本篇博客介绍论文[2306.00978] AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration提出的一种针对权重的训练后量化方法。
拉格朗日乘数法解条件极值 拉格朗日乘数法解条件极值
介绍 求解最优化是一类十分常见且难以求解的问题,因此,考虑开一个博客系统性的介绍一下重要解法:拉格朗日乘数法(Lagrange Multiplier Method)。之后再扩展到广义的拉格朗日乘数法。 拉格朗日乘数法的重点是在一些列约束条件
1 / 4