显存
显卡上专用的高速内存,直接与GPU芯片相连,负责存放模型权重、KV缓存和中间计算结果,容量决定能否运行大模型
核心事实
时间轴 (近 90 天)
在本地视频生成中,显存容量和带宽往往比峰值算力更能决定模型能否运行及生成速度。
显存和内存存储的是同一件东西——模型参数,唯一区别是离芯片的远近,显存更近所以更快。
显存(VRAM)是GPU上用于存储模型权重、中间激活值和KV缓存的高速内存。
显存容量直接限制了同时处理的请求数量,因为每个并发请求都需要在显存中保留自己的上下文。
大型模型(如26B、31B参数)在BF16精度下需超过50GB显存,难以在普通硬件上运行。
单机承载编剧、图像、视频、语音、剪辑多个模型时,显存与推理时延会是最现实的约束。
显存容量与解码速度的相关系数R=0.41(中等相关),显存加内存总容量与速度的R=0.13(基本无关)。
16GB 显存的显卡无法完整容纳 17GB 的模型,模型要么完全放入显存,要么不能。
只看模型文件大小来判断能否运行并不可靠,更稳妥的做法是留出 10% 到 20% 的余量,并根据实际任务动态评估。
模型必须整体装入可用显存才能获得可接受的运行速度。
还有 13 条时间轴事件
全部知识事实 (20)
FP16精度下,大模型每10亿参数约需2GB显存
80%已验证稀疏 MoE 指前馈层被拆成多个专家,每个 token 只激活其中一小部分,因此 32.9B 总参数每次前向实际计算的参数量远小于稠密模型,但显存仍需容纳全部专家权重。
75%已验证视频生成模型相比图像生成对算力的需求往往高出一个数量级
75%已验证当模型文件超出显卡显存时,溢出部分退回系统内存处理,速度会大幅下降
65%待验证在本地视频生成中,显存容量和带宽往往比峰值算力更能决定模型能否运行及生成速度。
50%待验证显存和内存存储的是同一件东西——模型参数,唯一区别是离芯片的远近,显存更近所以更快。
50%待验证显存(VRAM)是GPU上用于存储模型权重、中间激活值和KV缓存的高速内存。
50%待验证显存容量直接限制了同时处理的请求数量,因为每个并发请求都需要在显存中保留自己的上下文。
50%待验证大型模型(如26B、31B参数)在BF16精度下需超过50GB显存,难以在普通硬件上运行。
50%待验证单机承载编剧、图像、视频、语音、剪辑多个模型时,显存与推理时延会是最现实的约束。
50%待验证显存容量与解码速度的相关系数R=0.41(中等相关),显存加内存总容量与速度的R=0.13(基本无关)。
50%待验证模型必须整体装入可用显存才能获得可接受的运行速度。
50%待验证只看模型文件大小来判断能否运行并不可靠,更稳妥的做法是留出 10% 到 20% 的余量,并根据实际任务动态评估。
50%待验证16GB 显存的显卡无法完整容纳 17GB 的模型,模型要么完全放入显存,要么不能。
50%待验证本地部署时,上下文长度受显存限制,通常需要量化技术(如4-bit量化)来降低显存占用,但可能牺牲部分精度。
50%待验证12GB显存是目前入门级本地AI部署的常见门槛。
50%待验证显存带宽远高于系统内存,适合存放频繁访问的权重;系统内存容量大但带宽有限,适合作为冷存储。
50%待验证显存是显卡自带的高速内存,模型权重、上下文缓存和中间计算结果都需要存储在显存中,因此显存往往比算力更早成为本地运行大模型的瓶颈。
50%待验证显存是本地部署大模型时最核心的瓶颈之一,大模型的权重参数在推理时必须全部加载到显存中才能运行
50%待验证运行 Qwen3.8 等 LLM 最关键的硬件指标是显卡显存越大越好
50%