基础信息
- 实验名称：本地部署DeepSeek-R1-Distill-Qwen-14B，并且使用openwebui来模拟chatgpt方式本地使用。
- 难度级别：中级
- 预计时间：30-40分钟
- 适用对象：AI工程师、技术研究人员、对大语言模型部署感兴趣的开发者
实验目标
通过本实验，学习者将能够：
- 掌握VLLM环境的搭建和配置方法
- 学会使用VLLM部署DeepSeek-R1-Distill-Qwen-14B模型
- 理解大语言模型的本地化部署流程
- 了解Openwebui模拟chatgpt并使用DeepSeek-R1蒸馏小模型的对话效果
环境准备
硬件要求
- 显卡：至少1张支持CUDA的GPU（推荐RTX 4090或更高配置）
- 内存：系统内存建议24GB以上
- 存储：至少100GB可用空间
软件要求
- AISTACK 平台账号
- Python：3.10版本
- CUDA Toolkit 12.6