论文引用

本页面列出了影响 TensorCraft-HPC 设计和实现的学术论文和开源项目。我们鼓励用户阅读原始论文以获得更深入的理解。

如何使用这些引用

请把这个页面当作“带注释的参考层”，而不是单纯的书目列表。每条引用通常承担三种角色之一：

1. 解释仓库采用的某种 kernel 策略
2. 定义性能比较时所依赖的生产级 baseline
3. 说明 TensorCraft-HPC 为了可解释性而刻意保持更简单的地方

如果你在评估这个项目，推荐的方式是先读原始论文或库文档，再回看 TensorCraft-HPC 对应的白皮书、证据页或 atlas 页面。重点不是宣称全面对标生产系统，而是展示这些思想如何被转译成一个可学习、可评估的工程表面。

GEMM 优化

基础论文

CUTLASS Team (NVIDIA) — CUTLASS: CUDA Templates for Linear Algebra Subroutines
https://github.com/NVIDIA/cutlass

Tensor Core 编程模式的主要参考。TensorCraft-HPC 的 GEMM 实现遵循 CUTLASS 的分块和流水线策略。

NVIDIA — cuBLAS 文档
https://docs.nvidia.com/cuda/cublas/

性能比较的基准。所有 GEMM 基准测试报告相对于 cuBLAS 的性能。

Tensor Core 编程

NVIDIA — Tensor Core 编程指南
CUDA C++ 编程指南

理解 WMMA (Warp Matrix Multiply-Accumulate) 操作的必读材料。

---

Attention 机制

FlashAttention

Tri Dao, Daniel Y. Fu, et al. — FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
NeurIPS 2022
arXiv:2205.14135 | GitHub

内存高效注意力机制的基础论文。TensorCraft-HPC 实现了论文中描述的分块策略。

Tri Dao — FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning
ICLR 2024
arXiv:2307.08691

注意力计算的改进并行策略。

RoPE (旋转位置编码)

苏剑林等 — RoFormer: Enhanced Transformer with Rotary Position Embedding
arXiv:2104.09864

---

归一化

Jimmy Lei Ba, Jamie Ryan Kiros, Geoffrey E. Hinton — Layer Normalization
arXiv:1607.06450

Biao Zhang, Rico Sennrich — Root Mean Square Layer Normalization
NeurIPS 2019
arXiv:1911.12247

RMSNorm 是 LLaMA 和许多现代大语言模型使用的归一化层。

---

量化

NVIDIA — FP8 Formats for Deep Learning
arXiv:2209.05433

定义 Hopper 架构中使用的 E4M3 和 E5M2 FP8 格式的论文。

NVIDIA — FP8 Training with NVIDIA Hopper
Transformer Engine 文档

---

稀疏操作

NVIDIA — cuSPARSE 文档
https://docs.nvidia.com/cuda/cusparse/

NVIDIA — 2:4 结构化稀疏
CUDA 编程指南

Ampere 架构支持 2:4 结构化稀疏，可提供 2 倍吞吐量提升。

---

相关项目

项目	描述	许可证
CUTLASS	CUDA 线性代数模板	BSD-3
FlashAttention	内存高效注意力	BSD-3
xFormers	Facebook 注意力内核	BSD-3
Triton	OpenAI GPU 编程语言	MIT
cuDNN	NVIDIA 深度学习库	私有

---

对比框架

这些引用不应该被看作平铺的“推荐清单”，而应该被看作一套对比框架：

• CUTLASS 与 cuBLAS 给出 GEMM 相关结论的生产级性能参考面
• FlashAttention 给出 attention kernel 的算法与系统协同设计参考
• Triton 与 xFormers 展示了相邻生态对 GPU kernel 的组织方式
• NVIDIA 官方文档 锚定硬件事实、API 约束与能力边界

这也是为什么白皮书、证据页与 atlas 页面应该联动阅读。

---

引用 TensorCraft-HPC

如果您在研究或教学材料中使用 TensorCraft-HPC，请引用：

@software{tensorcraft-hpc,
  title = {TensorCraft-HPC: Demystifying High-Performance AI Kernels
           with Modern C++ and CUDA},
  author = {TensorCraft-HPC Contributors},
  year = {2024},
  url = {https://github.com/AICL-Lab/modern-ai-kernels},
  note = {Header-only C++/CUDA kernel library for learning}
}