Posts by Wei-Ming Chen
数据中心/云端
2025年 8月 1日
通过训练后量化优化 LLM 的性能和准确性
量化是开发者的核心工具,旨在以最小的开销来提高推理性能。通过以可控的方式降低模型精度,无需重新训练,该技术可显著降低延迟、
4 MIN READ
对话式人工智能
2024年 8月 15日
NVIDIA TensorRT 模型优化器 v0.15 提高推理性能扩展模型支持能力
NVIDIA 宣布推出新版 v0.15 NVIDIA TensorRT 模型优化器,这是一种先进的模型优化技术量化工具包,包含量化、
2 MIN READ