📈
渐进式优化路径
7 步 GEMM 优化从简单到极致，每一步都有清晰的性能提升和原理讲解。实测从 0.5 TFLOPS 提升到 70+ TFLOPS，加速比达 140×。
HPC-AI-Optimization-Lab从原理到极致优化的 CUDA Kernel 之旅
通过渐进式学习掌握 GEMM、FlashAttention、量化等核心 GPU 优化技术，从 0.5 TFLOPS 到 70+ TFLOPS
Skip to content
🎯 适合谁
| 角色 | 你将获得 |
|---|---|
| 学生 | 从零开始学习 CUDA 优化，理解 GPU 架构和性能瓶颈，为研究打下坚实基础 |
| 研究者 | 快速验证新的 kernel 优化思路，使用生产级基准进行对比实验 |
| 工程师 | 获得可部署的高性能 kernel 实现，加速 AI 推理应用 |
📊 性能亮点
GEMM 优化之路 (FP32, 4096×4096, NVIDIA A100)
| 步骤 | 优化技术 | TFLOPS | 加速比 | 状态 |
|---|---|---|---|---|
| 1 | Naive | 0.5 | 1× | ✅ |
| 2 | Shared Memory Tiling | 2.0 | 4× | ✅ |
| 3 | Double Buffering | 3.5 | 7× | ✅ |
| 4 | Register Tiling | 6.0 | 12× | ✅ |
| 5 | Tensor Core (WMMA) | 50+ | 100× | ✅ |
| 6 | Tensor Core (MMA PTX) | ~60 | ~120× | 🚧 |
| 7 | Software Pipelining | ~70 | ~140× | 🚧 |
💡 为什么这很重要：Step 5 实现了 100× 性能提升，展示了现代 AI 硬件专用计算单元的强大威力。
🚀 快速开始
bash
# 克隆仓库
git clone https://github.com/LessUp/hpc-ai-optimization-lab.git
cd hpc-ai-optimization-lab
# 构建项目
cmake --preset default
cmake --build --preset default
# 运行你的第一个 kernel
./examples/elementwise/relu_example📚 学习路径
🌱 初级（1-2 周）
🚀 中级（2-4 周）
- GEMM Steps 5-7（Tensor Cores）
- FlashAttention 实现
- 性能调优与 Profiling
🏆 高级（持续）
- CUDA 13 Hopper 特性
- CUTLASS 深度探索
- 研究级 kernel 实现
🔗 快速链接
| 文档 | English | 中文 |
|---|---|---|
| 安装指南 | Installation | 安装指南 |
| 快速入门 | Quick Start | 快速入门 |
| GEMM 教程 | 7-Step Journey | GEMM 优化 |
| API 参考 | C++/Python | API 参考 |
⭐ 如果这个项目对你有帮助，请给个 Star！
