归档: 2024/10

2024

10

27

介绍本篇博客介绍论文[2306.00978] AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration提出的一种针对权重的训练后量化方法。

2024-10-27 科研论文阅读

深度学习量化

24

介绍求解最优化是一类十分常见且难以求解的问题，因此，考虑开一个博客系统性的介绍一下重要解法：拉格朗日乘数法（Lagrange Multiplier Method）。之后再扩展到广义的拉格朗日乘数法。拉格朗日乘数法的重点是在一些列约束条件

2024-10-24 数学微积分

数学

24

介绍 GPTQ算法的原理从数学公式出发，推导出权重的量化顺序和其余参数的调整值，然后根据这些值对block里的所有参数以列为单位进行量化，每次量化可以量化多个列，同时调整其余未量化的列的参数减小量化误差。 GPTQ算法是只针对权重的量化方式

2024-10-24 科研论文阅读

深度学习量化

24

todo：本文还在施工中....... 介绍 llm.int8是第一批针对大模型进行量化的算法，并且其算法也被集成在 bitsandbytes库中，该库也已经被 huggingface集成到代码库当中作为最基本的量化算法之一。论文地址

2024-10-24 科研论文阅读

深度学习量化

09

介绍这篇博客主要是关于pytorch分布式ddp（DistributedDataParallel）的介绍和大概的食用（这不是错别字）教程。数据并行DistributedDataParallel指的是在数据集层面进行多进程的切分，对于模型

2024-10-09 模板

模板深度学习 PyTorch 分布式 ddq 数据并行 Data Parallel

03

介绍后来发现单纯的wiki风格博客可能确实有些单调了（绝对不是因为我想弄二次元风格的），因此在考虑以后，决定搭建一个双主题的博客，外层是个华丽一点的主题matery，内层是个wiki风格主题Wikitten。同时可以通过外层的wiki

2024-10-03 SmallProjects 博客搭建

博客 Hexo Wiki

03

介绍 dotfiles指的是 .开头的隐藏文件夹，一般是用户的配置或者软件信息。使用服务器或者Linux的时候，安装一些软件配置自己的使用环境是十分常见的场景。一个优秀的配置和各种软件不仅可以大幅提升工作效率，还可以美化工作环境，加强工作的

2024-10-03 工具

dotfiles dotbot Linux