#深度学习

OneBit: Towards Extremely Low-bit Large Language Models

科研论文阅读

深度学习, 量化

梯度估计STE

深度学习经典模块

梯度估计, 深度学习

AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration

科研论文阅读

深度学习, 量化

大模型量化~GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers

科研论文阅读

深度学习, 量化

llm.int8

科研论文阅读

深度学习, 量化

pytorch分布式-ddp

模板

Data Parallel, PyTorch, ddq, 分布式, 数据并行, 模板, 深度学习

PyTorch代码转HF

模板

HuggingFace, PyTorch, Trainer, config, dataset, model, 模板, 深度学习

随机数种子

深度学习工程细节

深度学习, 随机数

pytorch_model

模板

模板, 深度学习

Adam Optimizer

深度学习经典模块

优化算法, 深度学习