how to study cuda

推荐一个项目做直接的阅读project，llm.c

1. cuda入门

NVIDIA现场形象展示CPU和GPU工作原理上的区别

1.1.1 入门路线

CUDA学习资料及路线图

环境配置，搭建cuda环境

1.1.2 相关的资料

1. GPU编程（CUDA）

   代码

2. CUDA: From Correctness to Performance

   CUDA-From-Correctness-To-Performance-Code

3. CUDA-Optimization-Guide

4. parallel101

   bilibili

5. tutorial-multi-gpu

6. HighPerformanceComputing

2. 课程推荐

CS344: Intro to Parallel Programming

3. real project

1. lightseq

   字节跳动开源的生成模型推理加速引擎，BERT、GPT、VAE等等全都支持，速度很快

2. FasterTransformer

   英伟达开源的Transformer推理加速引擎

3. 当前推理的SOTA，达摩院9月的最新研究
4. HierarchicalKV

   将键值特征嵌入存储在GPU的高带宽内存和主机内存中，还可以用作通用键值存储

5. GPTQ inference TVM kernel

   TVM推理，能完整理解一个小模型的训练、推理，亮点是用了TVM（深度学习模型编译框架）编译

6. gaussian-splatting

   3D Gaussian Splatting for Real-Time Radiance Field Rendering（CG方向）

7. instant-ngp

   Instant Neural Graphics Primitives with a Multiresolution Hash Encoding（CG方向）