Blogs

介绍 GPTQ算法的原理从数学公式出发，推导出权重的量化顺序和其余参数的调整值，然后根据这些值对block里的所有参数以列为单位进行量化，每次量化可以量化多个列，同时调整其余未量化的列的参数减小量化误差。 GPTQ算法是只针对权重的量化方式

2024-10-24 科研论文阅读

深度学习量化

todo：本文还在施工中....... 介绍 llm.int8是第一批针对大模型进行量化的算法，并且其算法也被集成在 bitsandbytes库中，该库也已经被 huggingface集成到代码库当中作为最基本的量化算法之一。论文地址

2024-10-24 科研论文阅读

深度学习量化

介绍这篇博客主要是关于pytorch分布式ddp（DistributedDataParallel）的介绍和大概的食用（这不是错别字）教程。数据并行DistributedDataParallel指的是在数据集层面进行多进程的切分，对于模型

2024-10-09 模板

介绍后来发现单纯的wiki风格博客可能确实有些单调了（绝对不是因为我想弄二次元风格的），因此在考虑以后，决定搭建一个双主题的博客，外层是个华丽一点的主题matery，内层是个wiki风格主题Wikitten。同时可以通过外层的wiki

2024-10-03 SmallProjects 博客搭建

博客 Hexo Wiki

介绍 dotfiles指的是 .开头的隐藏文件夹，一般是用户的配置或者软件信息。使用服务器或者Linux的时候，安装一些软件配置自己的使用环境是十分常见的场景。一个优秀的配置和各种软件不仅可以大幅提升工作效率，还可以美化工作环境，加强工作的

2024-10-03 工具

dotfiles dotbot Linux

介绍 ZSH（Z shell）类似Bash，是被广泛用于类Unix系统的命令行解释器。在具备Bash的基本功能的同时，还扩展了很多功能，同时对插件的支持和高度定制化使其成为了很多Linux用户的最佳选择。经常使用的功能有：自动补全，历史命令

2024-09-29 工具

终端 oh-my-zsh powerlevel10k

介绍这篇博客主要记录了如何在安卓手机上配置谷歌三件套的服务。对于非华为荣耀手机，可能仅仅需要简单的使用一些第三方的安装软件即可完成，比如 go安装助手等，资源较大且获取难度较低。而本篇博客主要介绍华为荣耀手机如何获取谷歌三件套的服务和

2024-08-27 工具

安卓 Google

介绍这篇博客主要介绍了怎么把一个已有的Pytorch代码转变成HF支持的格式，然后可以方便的放入HF代码流程中，并且使用一些HF的函数。代码转换主要涉及到以下几个方面： Config Model Trainer Dataset 因为c

2024-08-06 模板

介绍在深度学习的实际项目中，为了减少随机性，增强项目的复现能力，设置固定随机数种子十分重要，因此这篇文章罗列了一些设置随机种子的方法和减少项目随机性的经验。通用函数 def set_random_seed(seed): """S

2024-07-09 深度学习工程细节

深度学习随机数