1. snapshot_download 用于从 HuggingFace下载整个 repository 的快照。可以使用这个函数下载一个 rep...

1. peft 库安装 本文参考huggingface 微调，peft 库是一个高效微调 LLM 的库，与 Transformers 和 Acc...

1. deepspeed 的基本用法 1.1 deepspeed 安装 安装：pip install deepspeed 1.2 deepspe...

1. .bashrc 文件的使用 在 linux 中，.bashrc 文件是一个脚本文件，它在用户登录时执行。.bashrc 文件包含一些用户惯...

1. Trainer 快速入门 1.1 基础示例 让我们通过一个简单的文本分类示例来了解 Trainer 的基本用法： from dataset...

transformers 库是 Hugging Face 团队开发的一个非常流行的自然语言处理库，它提供了大量预训练模型，可以用于文本分类、信息...

Huggingface 中的 datasets 是一个非常重要的类，他可以帮助我们快速地加载数据集，同时还可以对数据集进行处理，包括数据集的划分...

本文的内容和核心代码参考Huggingface Tokenizer 1. Tokenizer 的基本方法 Tokenizer（标记器）是 NLP...

type 函数 python 中 type 函数可以有一个参数，也可以有三个参数，分别返回对象的类型和新的类型对象 type()方法语法如下 ...

之前详细讲解过 transformer 中的 attention 机制，这里在使用 MultiHeadAttention 函数时发现 pytor...