nlp常用排行榜

文章目录

1. 1. 介绍
   1. 1.1. nlp任务
   2. 1.2. 大模型评测
   3. 1.3. 数据集
2. 2. 参考资料

介绍

在工作和学习的时候发现，很多时候挑选合适的模型和数据集等也是一个重要且麻烦的过程。发现有很多相关的评测的排行榜，根据这些实时更新的排行榜，可以辅助我们进行选择模型等前期工作。

Spaces - Hugging Face

这里罗列了许多关于ai的最新新闻，也能搜索到各种排行榜leaderboard。

nlp任务

MTEB Leaderboard - a Hugging Face Space by mteb

Massive Text Embedding Benchmark (MTEB) ，是关于文本嵌入的排行榜，同时关注排行榜的like人数（从某种意义上反应排行榜的效用）。

大模型评测

Open LLM Leaderboard - a Hugging Face Space by HuggingFaceH4

这里提供了各种关于大模型在多维度的数据集上的表现能力，并且支持根据大模型的类型、精度等过滤大模型排行榜。

Big Code Models Leaderboard - a Hugging Face Space by bigcode

这里提供了关于大模型code能力的排行榜。

LMSys Chatbot Arena Leaderboard - a Hugging Face Space by lmsys

这里提供了关于大模型对话能力的排行榜（但是由于不知名原因暂时无法打开）。

Chat with Open Large Language Models (lmsys.org)

这里是关于大模型对话能力的测评网站，也提供了参考用的排行榜。

LLM-Perf Leaderboard - a Hugging Face Space by optimum

这里提供了大模型在给定硬件条件的训练资源后微调的性能排行榜。

Open CoT Leaderboard - a Hugging Face Space by logikon

这里提供了关于大模型CoT（Chain of Thought）的排行榜。

数据集

参考资料