todo:本文还在施工中.......
介绍
llm.int8是第一批针对大模型进行量化的算法,并且其算法也被集成在
bitsandbytes库中,该库也已经被
huggingface集成到代码库当中作为最基本的量化算法之一。
论文地址
2024-10-24