NVIDIA 的模型优化器通过 CLIP 模型的 FP8 量化提高了 AI 效率，在保持性能的同时减少了 VRAM 使用。
NVIDIA 推出了由人工智能主导的使用其模型优化器库进行训练后量化 (PTQ) 的工作流程，重点是将 CLIP 模型量化到 FP8 精度。这一进步有望显着减少 VRAM 使用量和计算开销，使 AI 模型在不牺牲性能的情况下更加资源高效。该开发与运行 NVIDIA GeForce RTX GPU 的消费设备尤其相关。
模型量化是一种机器学习技术，可降低 AI 模型中数值的精度。通过从 FP16 等高精度格式转变为 FP8 等低精度格式，它减少了内存和计算要求，从而实现更快的推理时间和更低的功耗。 NVIDIA 的方法在 OpenAI 的 CLIP 模型上进行了演示，强调了 PTQ 如何优化部署效率和模型准确性。
CLIP 及其多模式应用
CLIP（对比语言-图像预训练）最初由 OpenAI 于 2021 年发布，现已成为多模态 AI 系统的重要工具。它对齐文本和图像嵌入，支持零样本分类和文本到图像生成等用例。 NVIDIA 决定在该量化工作流程中重点关注 CLIP，突显了该模型在稳定扩散和 LLaVA 等多模态大语言模型 (LLM) 等应用中的广泛采用。
NVIDIA 概述的量化过程使用特定的 CLIP 变体 CLIP-ViT-L-14，并在用于零样本分类的 CIFAR-100 和 ImageNet-1k 以及用于零样本检索的 MSCOCO Captions 等基准上评估其性能。结果表明，即使在资源限制下，FP8 量化模型与 FP16 基线相比仍保持几乎相同的精度。
NVIDIA 模型优化器：功能和算法
NVIDIA 模型优化器 (ModelOpt) 是一个旨在压缩和加速 AI 模型的库。它支持 FP4、FP8、INT8 和 INT4 等量化格式，以及 SmoothQuant 和 Double Quantization 等算法。用户可以通过 Python API 以编程方式组合这些技术，以实现工作流程的灵活性。
在本例中，FP8 格式与 NVIDIA 的 PTQ 方法结合使用。 PTQ 涉及“假量化”，其中量化器在校准过程中模拟低精度算术，而不更改模型的基础数据类型，从而允许用户在进行特定于硬件的优化之前测量精度影响。然后，可以将部署就绪的模型导出到 NVIDIA TensorRT 等推理框架，以实现实际速度和内存增益。
逐步量化过程
NVIDIA 的博客提供了 CLIP 模型的全面量化方法。关键阶段包括：
- 准备模型和校准数据集，例如 MSCOCO 图片-文本对的 10K 子集。
- 设置量化配置，包括权重和激活的 FP8 格式。
- 使用代表性数据校准模型，以收集张量统计数据并导出缩放因子。
- 使用 Q → DQ（量化-反量化）运算模拟量化效果。
- 根据基准验证量化模型的准确性。
- 导出量化模型以部署在 TensorRT 等推理引擎中。
该工作流程还包括高级选项，例如禁用特定层中的量化以保持敏感区域的准确性，例如 CLIP 模型的补丁嵌入层。 NVIDIA 的示例代码演示了如何微调这些配置以获得最佳结果。
为什么这很重要
随着人工智能模型的规模和复杂性不断增加，模型量化提供了一种实用的方法来满足日益增长的高效部署需求，特别是在消费级硬件上。通过降低计算要求，FP8 量化等技术为人工智能技术在边缘计算、游戏和实时应用中更广泛采用打开了大门。
NVIDIA 的模型优化器不仅使这一过程更容易实现，而且还确保开发人员可以尝试不同的配置以平衡性能和效率。这对于部署 CLIP 等多模式系统尤其重要，它是人工智能驱动的创造力和感知进步的基础。
有关工作流程和实施的更多详细信息，请访问此处访问 NVIDIA 的完整指南。