热门

最新

红包

立Flag

投票

同城

发布
weixin_43717681
黄乐荣
2 年前
trueweixin_43717681

Transformers及相关库
Transformers：核心库，模型加载，模型训练，流水线等
Tokenizer：分词器，对数据进行预处理，文本到token序列的互相转换
DataSets：数据集库，提供了数据集的加载、处理等方法
Evaluate：评估函数， 提供各种评价指标的计算函数
PEFT：高效微调模型的库，提供了几种高效微调的方法，小参数量撬动大模型
Accelerate：分布式训练，提供了分布式训练解决方案，包括大模型的加载与推理解决方案
Optimum：优化加速库，支持多种后端，如Onnxruntim、OpenVino等
Gradio：可视化部署库，几行代码快速实现基于Web交互的算法演示系统
评论
点赞
打赏
  • 复制链接
  • 举报
下一条：
pytorch安装在一个单独的环境中，能使用pip就尽量使用pip，实在有问题的情况，例如没有合适的编译好的系统版本的安装包，再使用conda进行安装，不要来回进行混淆。30XX，40XX显卡，要安装cu11以上的版本，否则无法运行。cuda是否要安装如果只需要训练，简单推理，则无需单独安装cuda，直接安装pytorch如果有部署需求，例如导出TensorRT模型，则需要进行Cuda安装。