【导语xAI 早期工程师 Hieu Pham 在 X 上列出他认为现代 AI 领域最重要的三个开源项目分别是 Flash Attention 2、SGLang 和 DeepSeek v3它们勾勒出了现代 AI 基础设施的骨架。】Flash Attention 2跨越三代 GPU 架构的持久内核xAI 早期工程师 Hieu Pham 认为 Flash Attention 2 是现代 AI 领域最重要的开源项目之一。FA2 发布于 2023 年三年过去它仍是大多数推理框架的默认注意力实现。一个 kernel 的寿命通常以月为单位而 FA2 跨过了三代 GPU 架构V100、A100、H100、B200 都能跑且性能不差。在 GPU kernel 这个领域三年可谓“永恒”。Hieu 表示FA2 复杂度恰到好处能驱动开发者去学 CuTe又没被“邪恶的” Hopper 优化所淹没足够容易修改和适配。他还引述一位 kernel 大师的话“FA - 2 可能比我们所有人都活得久。”SGLang性能领先但社区规模待扩的推理框架SGLang 是近两年崛起最快的推理框架之一。它的 RadixAttention 前缀缓存机制让它在 H100 上比 vLLM 高出 29% 的吞吐量。然而Hieu 对 SGLang 的感情复杂他直言有时厌倦其代码复杂度暗自希望 Mini - SGL 能成为主流。社区成员提供的数据显示SGLang 的 RadixAttention 在 H100 上比 vLLM 高出 29% 吞吐量但 vLLM 的贡献者基数仍是 SGLang 的 3 倍。这种“性能领先但社区规模落后”的格局解释了 Hieu 希望有更轻量替代品的原因。DeepSeek v3点燃开放权重模型生态火花对于 DeepSeek v3Hieu 不在乎其技术细节他看重的是“开放权重以及它所点燃的、让开放性持续下去的火花”。DeepSeek v3 发布于 2024 年底之后 DeepSeek R1 开源了推理模型各大厂商跟进开源社区开始认真挑战闭源模型的能力边界国内外开源模型生态进入活跃期。编辑观点这三个开源项目从不同方面推动了现代 AI 发展FA2 解决计算效率SGLang 提升服务性能DSv3 促进模型开放共同构建起 AI 基础设施骨架。
【导语xAI 早期工程师 Hieu Pham 在 X 上列出他认为现代 AI 领域最重要的三个开源项目分别是 Flash Attention 2、SGLang 和 DeepSeek v3它们勾勒出了现代 AI 基础设施的骨架。】Flash Attention 2跨越三代 GPU 架构的持久内核xAI 早期工程师 Hieu Pham 认为 Flash Attention 2 是现代 AI 领域最重要的开源项目之一。FA2 发布于 2023 年三年过去它仍是大多数推理框架的默认注意力实现。一个 kernel 的寿命通常以月为单位而 FA2 跨过了三代 GPU 架构V100、A100、H100、B200 都能跑且性能不差。在 GPU kernel 这个领域三年可谓“永恒”。Hieu 表示FA2 复杂度恰到好处能驱动开发者去学 CuTe又没被“邪恶的” Hopper 优化所淹没足够容易修改和适配。他还引述一位 kernel 大师的话“FA - 2 可能比我们所有人都活得久。”SGLang性能领先但社区规模待扩的推理框架SGLang 是近两年崛起最快的推理框架之一。它的 RadixAttention 前缀缓存机制让它在 H100 上比 vLLM 高出 29% 的吞吐量。然而Hieu 对 SGLang 的感情复杂他直言有时厌倦其代码复杂度暗自希望 Mini - SGL 能成为主流。社区成员提供的数据显示SGLang 的 RadixAttention 在 H100 上比 vLLM 高出 29% 吞吐量但 vLLM 的贡献者基数仍是 SGLang 的 3 倍。这种“性能领先但社区规模落后”的格局解释了 Hieu 希望有更轻量替代品的原因。DeepSeek v3点燃开放权重模型生态火花对于 DeepSeek v3Hieu 不在乎其技术细节他看重的是“开放权重以及它所点燃的、让开放性持续下去的火花”。DeepSeek v3 发布于 2024 年底之后 DeepSeek R1 开源了推理模型各大厂商跟进开源社区开始认真挑战闭源模型的能力边界国内外开源模型生态进入活跃期。编辑观点这三个开源项目从不同方面推动了现代 AI 发展FA2 解决计算效率SGLang 提升服务性能DSv3 促进模型开放共同构建起 AI 基础设施骨架。
