Welcome to bg51717's Wiki and Blog
  文章分类
杂项 3 课程资源 1 huggingface 1 深度学习 7 自然语言处理 1 工具 5 模板 3 SmallProjects 2 自然语言处理 3 博客搭建 2 数学 4 工程细节 1 经典模块 2 概率论 1 线性代数 2 微积分 1 科研 8 论文阅读 8
pytorch分布式-ddp pytorch分布式-ddp
介绍 这篇博客主要是关于pytorch分布式ddp（DistributedDataParallel）的介绍和大概的食用（这不是错别字）教程。 数据并行DistributedDataParallel指的是在数据集层面进行多进程的切分，对于模型
2024-10-09 模板
模板 深度学习 PyTorch 分布式 ddq 数据并行 Data Parallel
PyTorch代码转HF PyTorch代码转HF
介绍 这篇博客主要介绍了怎么把一个已有的Pytorch代码转变成HF支持的格式，然后可以方便的放入HF代码流程中，并且使用一些HF的函数。代码转换主要涉及到以下几个方面： Config Model Trainer Dataset 因为c
2024-08-06 模板
模板 深度学习 PyTorch HuggingFace Trainer config model dataset
pytorch_model pytorch_model
介绍 作为深度学习的基本模板使用，方便使用的时候作为骨架 许多文件可以考虑添加argparse和sh来引入外部配置来抽象过程，增强代码重用性 dataset.py 这个文件提供了各种数据集的定义，自定义数据集需要实习三个主要函数 class
2024-02-24 模板
模板 深度学习