Skip to content

TensorCraft-HPC技术白皮书 / 内核架构学院

这是一个用 C++ / CUDA 讲清现代 AI 内核如何设计、优化、验证与评估的项目站点。它的阅读路径更像系统论文,而不是普通文档首页。

像读系统论文一样读这个项目

架构叙事

先理解优化路径,再进入实现细节

从内核为什么存在、系统如何分层,到性能立场由哪些证据支撑,这个站点会把链路完整展开。

  • 先读白皮书。 先看项目命题、优化哲学与约束,再进入源码细节。
  • 再查证据。 把性能结论追溯到方法说明与引用来源。
  • 最后看 Atlas。 在系统模型清楚之后,再按 operator 维度看接口与实现。
92% A100 上 FP16 GEMM 相对 cuBLAS 的结果
SM70–SM100 从 Volta 到 Blackwell 的编译时能力覆盖
白皮书 + 学院 面向面试评估与高级开发者审阅的阅读路径
入口选择

按照你要验证的问题进入对应模块

每个模块在整套论证里承担不同角色,从概念 framing 到实现检查,各司其职。

评估视角

为什么 TensorCraft-HPC 值得被认真评估

真正有价值的不只是 kernel 快不快,而是优化路径能不能被讲清楚,系统边界是否明确,证据纪律是否可靠。

  • 架构清晰度。 memory abstraction、feature detection、kernel 边界、硬件支持被显性建模。
  • 渐进式优化。 读者能从朴素实现一路追到 Tensor Core aware 版本。
  • 研究素养。 站点会把实现判断和论文、库生态、竞品项目串联起来。

GPU Architecture Support

TensorCraft-HPC supports NVIDIA GPUs from Volta (2017) to Blackwell (2024), covering CUDA Compute Capability 7.0-10.0.

2017

Volta

GV100
SMSM70
CC7.0
Tensor Cores (1st Gen)NVLink 2.0HBM2
Supported
2018

Turing

TU102
SMSM75
CC7.5
Tensor Cores (2nd Gen)RT CoresGDDR6
Supported
2020

Ampere

GA100
SMSM80/SM86
CC8.0/8.6
Tensor Cores (3rd Gen)BF16TF32Sparsity
Supported
2022

Hopper

GH100
SMSM90
CC9.0
Tensor Cores (4th Gen)FP8Transformer EngineDPX
Supported
2024

Blackwell

GB100
SMSM100
CC10.0
Tensor Cores (5th Gen)NVLink 5.0FP4/FP8RAS
Supported
CUDA 11.0 - 13.1

Released under the MIT License.