|
分平台配置建议
以下按模型规模和平台分类,提供 最低配置 和 推荐配置。
1.5B 模型
平台
最低配置
推荐配置
Windows
- CPU: Intel i5 / Ryzen 5
- CPU: Intel i7 / Ryzen 7
- RAM: 8GB
- RAM: 16GB
- GPU: NVIDIA GTX 1650 (4GB)
- GPU: RTX 3060 (12GB)
macOS
- M1/M2 芯片(8GB 统一内存)
- M1 Pro/Max 或 M3 芯片(16GB+)
Linux
- CPU: 4 核
- CPU: 8 核
- RAM: 8GB
- RAM: 16GB
- GPU: NVIDIA T4 (16GB)
- GPU: RTX 3090 (24GB)
7B/8B 模型
平台
最低配置
推荐配置
Windows
- CPU: Intel i7 / Ryzen 7
- CPU: Intel i9 / Ryzen 9
- RAM: 16GB
- RAM: 32GB
- GPU: RTX 3060 (12GB)
- GPU: RTX 4090 (24GB)
macOS
- M2 Pro/Max(32GB 统一内存)
- M3 Max(64GB+ 统一内存)
Linux
- CPU: 8 核
- CPU: 12 核
- RAM: 32GB
- RAM: 64GB
- GPU: RTX 3090 (24GB)
- 多卡(如 2x RTX 4090)
14B 模型
平台
最低配置
推荐配置
Windows
- GPU: RTX 3090 (24GB)
- GPU: RTX 4090 + 量化优化
- RAM: 32GB
- RAM: 64GB
macOS
- M3 Max(64GB+ 统一内存)
- 仅限量化版本,性能受限
Linux
- GPU: 2x RTX 3090(通过 NVLink)
- 多卡(如 2x RTX 4090 48GB)
- RAM: 64GB
- RAM: 128GB
32B 模型
平台
最低配置
推荐配置
Windows
- 不推荐(显存不足)
- 需企业级 GPU(如 RTX 6000 Ada)
macOS
- 无法本地部署(硬件限制)
- 云 API 调用
Linux
- GPU: 4x RTX 4090(48GB 显存)
- 专业卡(如 NVIDIA A100 80GB)
- RAM: 128GB
- RAM: 256GB + PCIe 4.0 SSD |
|