Blogs

介绍在工作和学习的时候发现，很多时候挑选合适的模型和数据集等也是一个重要且麻烦的过程。发现有很多相关的评测的排行榜，根据这些实时更新的排行榜，可以辅助我们进行选择模型等前期工作。 Spaces - Hugging Face 这里罗列了许多

2024-04-05 深度学习自然语言处理

介绍当作快速过这个资料的笔记，一些关于别的库的介绍是不完全的，考虑在使用的时候从别的信息渠道就行信息的搜集。也可以作为后面待更博客列举？常用方式可以参考huggingface transformers教程总结 - 知乎 (zhihu.

2024-03-23 杂项 huggingface

transformers_tutorials

介绍作为深度学习的基本模板使用，方便使用的时候作为骨架许多文件可以考虑添加argparse和sh来引入外部配置来抽象过程，增强代码重用性 dataset.py 这个文件提供了各种数据集的定义，自定义数据集需要实习三个主要函数 class

2024-02-24 模板

模板深度学习

信息熵的公式计算信息熵的公式为: \[ H(x)=-\sum p(x_i)logp(x_i) \] 其中\(p(x_i)\)表示事件结果为\(x_i\)的概率理解信息熵表示对事件不确定性的一个度量，计算思路为“编码一个事件的最短平均编

2024-01-31 数学概率论

数学信息学

介绍当作快速过这个资料的笔记，一些关于别的库的介绍是不完全的，考虑在使用的时候从别的信息渠道就行信息的搜集。也可以作为后面待更博客列举？具体 torchscript Introduction to TorchScript — PyTor

2023-12-29 杂项

pytroch_tutorials

背景传统的随机梯度下降算法SGD(Stochastic Gradient Descent)的式子为: \[ \theta_{t+1} \leftarrow \theta_{t} -\alpha \nabla_{\theta_{t}}J_{

2023-12-29 深度学习经典模块

深度学习优化算法

介绍这里介绍两种语义结构: Constituency Parsing：句法分析，Context-free grammars(CFGs)，上下文无关语法，赋予每个单词一个词性类别，单词组合成短语，短语递归形成更大的短语 Dependenc

2023-12-27 深度学习自然语言处理

深度学习自然语言处理

在学习深度学习的过程中,很多次遇到了矩阵求导的问题,发现网上很多教程写的不是很好理解,记录自己的浅薄认知. （矩阵求导有分子转置（和分子行数一样）和分母转置（和分母行数一样）两种，两种结果互为转置。本篇介绍的不太一样，因为很多教程也是混杂

2023-12-24 数学线性代数

深度学习数学矩阵向量

介绍相比Word2Vec的局部训练,GloVe可以使用全局的语料统计信息来训练,可以预先计算全局语料库统计数据来提高训练数据. 带全局语料统计的跳元模型用\(q_{ij}\)表示词\(w_j\)的条件概率\(P(w_j|w_i)\),在

2023-12-22 深度学习自然语言处理

深度学习自然语言处理