用 k 位量化把大模型塞进小显存

产品总结

bitsandbytes 是面向 PyTorch 的量化库，官方把它定位为「通过 k 位量化让大模型变得可及」，目标是大幅降低推理与训练的显存占用。项目以 MIT 许可开源（版权声明来自 Meta 及其关联公司），核验时 GitHub 仓库约有 8500 star，最新稳定版本为 0.50.1（2026 年 7 月 25 日，标题为 RTX Spark 支持），仓库 main 分支的轮子更新到 2026 年 8 月 27 日。 库提供三项核心能力。其一是 8 位优化器，用块级量化存储优化器状态，官方称在只占很小内存的情况下保持 32 位精度的训练表现。其二是 LLM.int8()，面向推理的 8 位量化：把大部分特征按向量量化到 8 位，少数离群值特征单独用 16 位矩阵乘法处理，从而在显存降到约一半的同时基本不损性能。其三是 QLoRA，把基座模型量化到 4 位并插入一小批可训练的低秩适配权重，让大模型训练在有限显存下可行——这也是 PEFT、TRL 等框架量化训练路径的底层依赖。除集成入口外，库本身暴露 bitsandbytes.nn.Linear8bitLt、bitsandbytes.nn.Linear4bit 与 bitsandbytes.optim 等组件，便于在自定义 PyTorch 代码中直接替换线性层或优化器。 硬件支持面较宽：Linux（glibc 2.24 以上）的 x86-64 支持纯 CPU（AVX2 起，AVX512F 与 AVX512BF16 有优化）、NVIDIA（SM60 起，推荐 SM75+）、AMD（CDNA 与 RDNA 多代）、Intel 数据中心 GPU 与 Arc 系列以及 Intel Gaudi；aarch64 支持 CPU 与 NVIDIA；Windows 11 与 Server 2022 以上覆盖 CPU、NVIDIA、AMD、Intel 与 arm64；macOS 14 以上支持 Apple M1 及更新的 CPU 与 Metal。官方 README 同时说明该矩阵反映开发分支状态，最新稳定版的支持情况需查阅对应标签的文档。 使用前需要注意：最低环境要求为 Python 3.10 以上与 PyTorch 2.4 以上，且官方建议尽量使用较新的 PyTorch；三项能力在不同平台上的支持程度不一致（例如某些平台上训练量化与优化器支持并不完整），动手前应对照支持矩阵逐项确认；4 位基座加适配器的组合与原模型存在数值差异，敏感任务应做对照评测；长上下文场景中 KV 缓存占比上升，权重量化带来的相对显存收益会下降，需按真实负载测量。

产品类型

PyTorch 量化库

支持平台

Python 库（pip install bit / PyTorch 张量算子（Linear8bitL / 8 位优化器模块（bitsandbytes.op / Transformers 量化集成 / Diffusers 量化集成 / PEFT 量化集成 / CUDA（NVIDIA 与 AMD） / Intel XPU 与 Gaudi、Apple

资费模式

MIT 许可免费开源；成本来自自备或租用的硬件。