📚 AI Infra Wiki

系统源码与原理剖析

vLLM / SGLang / TensorRT-LLM / FlashAttention 等核心系统的深度技术文章。

稀疏激活的 MoE 如何在保持算力可控的同时扩大模型容量，以及 Expert Parallelism 的通信与负载均衡挑战。

标准 Attention 的瓶颈不在算力而在显存带宽。FlashAttention 通过 Tiling + 在线 softmax，把 HBM 访问从 O(N²) 降到 O(N²/M)。

从 KV Cache 显存碎片问题出发，剖析 vLLM 如何借鉴操作系统分页思想实现近乎零浪费的显存管理。