Posts by Tejash Shah
数据中心/云端
2025年 7月 18日
使用 JAX 和 XLA 优化推理工作负载的低延迟通信
在生产环境中使用大语言模型 (LLM) 进行推理需要满足严格的延迟限制。此过程的关键阶段是 LLM 解码，
2 MIN READ
AI 平台/部署
2025年 7月 16日
CUTLASS：基于张量和空间微核处理多维数据的原理抽象
在生成式 AI 时代，充分发挥 GPU 的潜力对于训练更好的模型和大规模服务用户至关重要。通常，
4 MIN READ
开发与优化
2025年 7月 16日
CUTLASS 3.x：用于 GEMM 内核设计的正交、可重用和组合抽象
GPU 上的 GEMM 优化是一个模块化问题。高性能实现需要指定超参数，例如图块形状、数学和复制指令以及线程束专用方案。
3 MIN READ