Triton 相比手写 CUDA 有什么优势？为什么很多推理 kernel 用 Triton 写？

参考答案

**Triton** 是 OpenAI 开源的 GPU 编程语言/编译器，用 Python 语法写 GPU kernel。 **相比手写 CUDA 的优势**： 1. **抽象层次更高**：以"block（程序实例处理一块数据）"为单位编程，自动处理线程管理、shared memory 分配、内存合并等底层细节，开发效率高、代码短。 2. **自动优化**：编译器自动做向量化、内存合并、shared memory 调度等，很多情况下能达到接近手写 CUDA 的性能，而心智负担小得多。 3. **易于做融合和自定义算子**：写一个融合 kernel（如 fused attention、fused MoE、量化 GEMM）比 CUDA 快很多，便于快速迭代新优化。 4. **Python 生态**：与 PyTorch 无缝集成，便于调试和集成。 **为什么推理 kernel 常用**： - LLM 推理需要大量自定义融合 kernel（各种 attention 变体、量化、MoE grouped GEMM），需求变化快。 - Triton 让研究员/工程师能快速实现并调优这些 kernel，而不必都写底层 CUDA。 - vLLM、部分 FlashAttention 变体、很多量化 kernel 都用 Triton。 **局限**：极致性能场景（如 cuBLAS 级 GEMM、FlashAttention-3 用 TMA/WGMMA 的 Hopper 特性）仍需手写 CUDA/PTX 或厂商库；Triton 的性能上限和对最新硬件特性的支持略逊于精心手写。