Unsloth 是一款专注于大语言模型高效运行与训练的开源框架，核心目标是降低LLM微调门槛，让普通用户也能在消费级硬件上完成模型训练任务。

Unsloth 是一款专注于大语言模型高效运行与训练的开源框架核心目标是降低LLM微调门槛让普通用户也能在消费级硬件上完成模型训练任务。官网Unsloth - Train and Run Models Locallyrepohttps://github.com/unslothai/unsloth一、核心性能优势‌训练效率‌相比传统训练方式训练速度可提升‌2倍‌同时显存占用降低‌70%‌部分模型显存节省幅度可达80%。‌硬件适配‌支持在消费级GPU如T4、3090、4090上完成7B甚至70B参数模型的微调无需依赖昂贵的H100集群。‌精度保障‌优化过程无精度损失训练出的模型效果和原生PyTorch训练结果完全一致。二、核心功能特性‌多模型支持‌兼容Llama、Qwen、Gemma、DeepSeek、Mistral、GPT-OSS等500主流开源模型同时支持文本、视觉、TTS音频、嵌入类模型的训练与运行。‌全流程能力‌覆盖LoRA微调、全参数微调、多卡训练、最长500K上下文微调还支持DPO、GRPO等强化学习训练方式。‌无代码UI‌配套开源的Unsloth Studio界面无需编写复杂代码即可在本地完成模型训练、运行、导出全流程操作。‌自动数据集生成‌支持从PDF、CSV、DOCX、TXT等文件中自动生成训练数据集无需手动预处理数据。‌生态兼容‌训练后的模型可直接导出为GGUF、safetensors格式无缝对接Ollama、vLLM、Hugging Face等主流生态工具。三、底层优化技术‌自定义内核‌针对NVIDIA GPU深度定制高效计算内核大幅优化大模型训练中的矩阵乘法运算效率。‌显存优化机制‌搭载Unsloth专属梯度检查点技术自动启用序列缓存、双缓冲检查点等策略进一步压缩显存占用。‌量化支持‌原生支持4位动态量化加载模型在几乎不损失效果的前提下进一步降低硬件门槛。四、适配场景个人开发者在本地消费级显卡上快速迭代微调自定义LLM。中小团队低成本完成领域专属模型的适配训练降低算力投入成本。新手入门大模型微调通过自带的开箱即用Notebook快速上手无需复杂环境配置。该框架的官方文档可参考 Unsloth 官方文档开源项目地址可查看 Unsloth GitHub 仓库。实践Google Colab 笔记本我们创建了一个 免费的 Google Colab 笔记本 让你可以在 Colab 的 T4 GPU 上探索 Unsloth 的全部功能。你可以训练并运行参数规模最高达 22B 的大多数模型并在更大的模型上切换到更强的 GPU。只需点击“Run all”安装完成后 UI 应该会弹出。在谷歌Colab,查找github里面的Unsloth例子文档。启动后出现点开之后开始训练训练进度效果相当不错