Triton

Triton是OpenAI开发的一种GPU编程语言

Unsloth是专注于大模型量化与微调加速的开源工具团队，为主流开源模型提供GGUF量化版本

Triton是OpenAI开源的项目，让开发者能用类Python语法编写高性能GPU Kernel，降低CUDA编程门槛

NVIDIA 软件栈从底层到应用层包括 CUDA、cuDNN、cuBLAS、TensorRT、TensorRT-LLM、Triton Inference Server 和 NIM

Unsloth使用手写Triton内核替代PyTorch默认实现来优化训练速度

Unsloth使用Triton语言编写了自定义GPU算子，针对Transformer架构中的注意力计算、矩阵乘法等核心操作进行了深度优化

Unsloth团队使用Triton（OpenAI开源的GPU编程语言）手动重写了Transformer模型中关键算子的反向传播内核

Dynamo是NVIDIA在Triton之上为大规模分布式推理场景引入的调度与编排层，解决多模型、多节点场景下的请求路由与资源调度问题

Unsloth的性能提升来自于使用OpenAI的Triton语言手写GPU内核

课程作业二涉及用Triton编写kernel和并行训练。

Unsloth 针对微调中前向与反向传播的关键计算（如注意力、激活、归一化）重新实现了融合算子，把多个小操作合并为一次 GPU 调用，减少显存读写与中间张量驻留。

开发者构建的PyTorch优化器ApexW在仅针对优化器本身的基准测试中，采用Triton执行路径加紧凑状态表示，比PyTorch fused AdamW在少量大张量场景下快约1.5倍。

融合的能量/评分GPU内核（Triton实现）带来3.2-3.4倍的加速。

OpenAI使用定制化芯片Triton，Anthropic与谷歌TPU合作，以降低推理成本。

FlyDSL与Triton的差异在于：Triton面向需要手写内核的开发者，而FlyDSL以“现有算子API自动路由”的方式提供开箱即用的加速，二者更可能是互补而非替代关系。

自建上述推理工程能力通常需要组合 Kubernetes、推理引擎（如 vLLM、Triton）、监控告警等多个组件，工程量以人月计。

Unsloth是一个专注于高效微调与推理优化的开源项目，核心手段包括手写Triton内核、动态4bit/3bit量化和梯度检查点策略。

Inductor是PyTorch 2.x中torch.compile的默认编译后端，负责把FX图切分为内核、生成Triton或C++代码，并为不同加速器提供可插拔的后端接口。

AI芯片挑战者普遍采取两条路径：一是兼容CUDA接口以降低迁移门槛，二是押注开放编译栈（如Triton、MLIR）构建可跨硬件复用的软件层。

Ubuntu安装器包含66项测试，全部以普通用户身份、在新终端实际获得的环境中运行，覆盖各Python版本的ssl、sqlite3、lzma、readline、tkinter模块、虚拟环境创建与C扩展编译、两个CUDA版本的编译与启动、RTX 50系代码编译、use-cuda切换验证、GCC与Clang编译C++17、OpenMP库构建与加载、Triton风格的GPU启动器构建、FFmpeg编码器（x264、x265、SVT-AV1、VP9、NVENC）可用性，以及Git LFS、Node.js、.NET、aria2c、7-Zip、unrar、jq、cloudflared、nvtop、htop等工具的功能验证。