NIXL
NVIDIA提供的低延迟KV缓存传输库，专为LLM分离式推理场景设计，用于在预填充实例完成计算后将KV缓存高效传输至解码实例
时间轴 (近 90 天)
NIXL（NVIDIA Inference Xfer Library）是一个专为 AI 推理场景设计的高性能数据传输库，支持 GPU 内存直接访问（GPUDirect）、RDMA 和多种网络后端。
在推送模式中，预填充实例在完成 KV 缓存生成后主动将缓存推送到解码实例，解码实例只需等待数据到达，传输协调不再阻塞解码实例的令牌生成循环。
NIXL 提供低延迟、高吞吐的异步传输原语，并允许应用程序自定义传输协调逻辑。
vLLM 团队引入了一种基于推送（push-based）的 NIXL 连接器，将传输协调从关键路径上移开。
在 vLLM 中，NIXL 常被用于实现 Prefill/Decode 分离架构下的 KV cache 跨节点传输
v0.30.0rc2 的关键改动是修复 NIXL 传输组件中仅用于通知的请求，避免其触发不必要的接收报告
NIXL（NVIDIA Inference Xfer Library）是用于加速推理数据传输的库
NIXL 底层通常利用 NVLink、InfiniBand 或 RDMA 等高速互联技术，绕过 CPU 直接在 GPU 显存之间传输数据
NIXL是NVIDIA提供的低延迟KV缓存传输库，专为分离式推理场景设计
验证环境使用八块NVIDIA A40 GPU，每块运行一个vLLM引擎，资源池之间通过NIXL传输KV缓存
还有 1 条时间轴事件
全部知识事实 (12)
NIXL是SGLang用于Prefill-Decode分离部署的关键通信组件，负责在Prefill节点和Decode节点之间传输KV Cache状态
85%待验证NIXL 提供低延迟、高吞吐的异步传输原语，并允许应用程序自定义传输协调逻辑。
50%待验证在推送模式中，预填充实例在完成 KV 缓存生成后主动将缓存推送到解码实例，解码实例只需等待数据到达，传输协调不再阻塞解码实例的令牌生成循环。
50%待验证NIXL（NVIDIA Inference Xfer Library）是一个专为 AI 推理场景设计的高性能数据传输库，支持 GPU 内存直接访问（GPUDirect）、RDMA 和多种网络后端。
50%待验证v0.30.0rc2 的关键改动是修复 NIXL 传输组件中仅用于通知的请求，避免其触发不必要的接收报告
50%待验证NIXL（NVIDIA Inference Xfer Library）是用于加速推理数据传输的库
50%待验证在 vLLM 中，NIXL 常被用于实现 Prefill/Decode 分离架构下的 KV cache 跨节点传输
50%待验证NIXL 底层通常利用 NVLink、InfiniBand 或 RDMA 等高速互联技术，绕过 CPU 直接在 GPU 显存之间传输数据
50%待验证NIXL是NVIDIA提供的低延迟KV缓存传输库，专为分离式推理场景设计
50%待验证验证环境使用八块NVIDIA A40 GPU，每块运行一个vLLM引擎，资源池之间通过NIXL传输KV缓存
50%待验证NVIDIA Dynamo基于NATS和etcd实现分布式请求路由与服务发现,支持基于NIXL的高效GPU间数据传输,并与TensorRT-LLM和vLLM等推理后端兼容
50%待验证vLLM 团队引入了一种基于推送（push-based）的 NIXL 连接器，将传输协调从关键路径上移开。
50%