PyTorch
Meta AI创建的开源深度学习框架,支持动态计算图和GPU加速
核心事实
时间轴 (近 90 天)
DebugSlicer 在处理 PyTorch 张量时会自动将其移动到 CPU,无需手动处理设备问题。
DebugSlicer 支持 PyTorch 张量、MONAI MetaTensor、NumPy 数组和 PIL 图像。
`tensor.detach()` 返回一个与原张量共享数据但脱离计算图的新张量,反向传播时梯度不会流经它。
开发者Rashka从零构建了一套PyTorch推理课程,覆盖推理时扩展和强化学习循环。
Sebastian Raschka发布了8个视频、11小时的「从零构建推理模型」课程,用Python和PyTorch在小型预训练模型上手工实现评估、推理时缩放、可验证奖励的强化学习和蒸馏。
课程对前置知识的要求只需要会 Python 和 PyTorch。
Hugging Face Hub上PyTorch格式模型的数量远超TensorFlow格式。
PyTorch的API在1.x到2.x期间保持高度向后兼容,仅增加torch.compile等增量特性。
研究者发布新模型时通常只提供PyTorch权重,工业界使用这些模型时自然被拉入PyTorch阵营。
社区共识是PyTorch在研究和原型开发中已占主导地位。
还有 40 条时间轴事件
全部知识事实 (20)
vLLM是构建在PyTorch之上的大语言模型推理引擎开源项目
90%已验证Triton是OpenAI开发的一种GPU编程语言
90%已验证Hugging Face的Transformers库支持PyTorch、TensorFlow和JAX三大框架
90%已验证CUDA自2006年推出以来已成为AI/深度学习领域事实上的行业标准,PyTorch、TensorFlow等主流框架的默认后端均为CUDA
80%已验证PyTorch 采用动态计算图(Define-by-Run),每次前向传播都会重新构建图
80%已验证PyTorch 的 Autograd 引擎在张量运算时即时构建有向无环图(DAG),记录运算顺序以便反向传播计算梯度
80%已验证Python深度学习框架包括TensorFlow和PyTorch
80%已验证PyTorch是当前学术界和工业界最流行的深度学习框架
80%已验证PyTorch由Meta(原Facebook)AI研究院于2016年开源
80%已验证TensorFlow 1.x是静态计算图的典型代表,需要先声明整个计算流程再编译执行
80%已验证PyTorch在科研社区广受欢迎,其动态计算图机制是重要原因之一
80%已验证CUDA是NVIDIA于2006年推出的并行计算平台和编程模型
80%已验证Triton Inference Server是NVIDIA开源的模型服务化框架,支持动态批处理、模型并发执行,兼容TensorRT、PyTorch、TensorFlow、ONNX Runtime等推理后端
80%已验证Torch Neuron 是 AWS 为 Trainium 构建的开源原生 PyTorch 后端,负责将 PyTorch 计算图翻译、编译并调度到 Trainium 硬件上执行。
75%已验证ExecuTorch是Meta推出的端侧推理运行时框架,基于PyTorch 2.0的Export机制构建
75%已验证MLX 支持懒惰计算和函数变换,其 API 风格兼顾了 NumPy 与 PyTorch
75%已验证TorchTitan是PyTorch官方推出的大规模训练参考实现,专注于用原生PyTorch特性高效训练大模型
75%已验证TorchDynamo是PyTorch 2.0编译栈的入口层,通过Python字节码拦截将动态图代码转换为可优化的中间表示
75%已验证CUDA Toolkit包含编译器nvcc、调试器、性能分析工具以及cuBLAS、cuFFT等数学库
75%已验证PyTorch提供动态计算图和自动微分机制,让用户无需手动实现反向传播算法
75%