FP8

2025年 1月 24日

FP8 在大模型训练中的应用、挑战及实践

越来越多的技术团队开始使用 FP8 进行大模型训练，这主要因为 FP8 有很多技术优势，比如在新一代的 GPU 上，
3 MIN READ
2024年 12月 10日

如何使用 FP8 加速大模型训练

利用 FP8 技术加速 LLM 推理和训练越来越受到关注，本文主要和大家介绍如何使用 FP8 这项新技术加速大模型的训练。
4 MIN READ
2024年 11月 20日

TensorRT-LLM 低精度推理优化：从速度和精度角度的 FP8 vs INT8 的全面解析

本文将分享 TensorRT-LLM 中低精度量化内容，并从精度和速度角度对比 FP8 与 INT8。首先介绍性能，包括速度和精度。其次，
5 MIN READ
2024年 7月 4日

探索 FP8 训练中 Debug 思路与技巧

目前，市场上许多公司都积极开展基于 FP8 的大模型训练，以提高计算效率和性能。 在此，
2 MIN READ
2022年 9月 14日

NVIDIA 、 Arm 和 Intel 发布 FP8 标准化规范作为 AI 的交换格式

人工智能处理需要跨硬件和软件平台的全栈创新，以满足神经网络日益增长的计算需求。提高效率的一个关键领域是使用较低精度的数字格式来提高计算效率，
1 MIN READ