Tesla T4
英伟达基于图灵架构的数据中心GPU推理卡，16GB GDDR6显存，70W低功耗被动散热设计，支持INT8/INT4推理加速，广泛用于云端和本地AI推理部署
时间轴 (近 90 天)
在Tesla T4上使用llama.cpp评测，HumanEval pass@1保留率为96.7%（29/30）。
在Tesla T4上使用llama.cpp评测，MMLU子集保留率为92.9%（344/502）。
在 16GB Tesla T4 上运行 Qwen3-30B-A3B（18.6GB），使用 MoE 缓存后解码速度从默认的 22.6 tokens/s 提升到 43.2 tokens/s。
在 T4 上，--fit + 10% 缓存达到 23.6 tokens/s，命中率 75.6%；仅 --cpu-moe 为 9.6 tokens/s；--cpu-moe + 50 MiB 缓存仅 3.8 tokens/s。
在 T4 上，--cpu-moe + 10000 MiB 缓存时，8 token 以内小批次命中率 95.73%，9 到 32 token 批次命中率 59.91%。
并发请求会放大缓存槽位需求，导致 LRU 淘汰更频繁，T4 上四请求并发总吞吐 37.0 tokens/s，低于单请求的 43.2 tokens/s，命中率从 95.7% 降至 92.3%。
OjasX 早期版本已可将 534M 参数模型塞进 Tesla T4 的 9.5GB 显存中训练，而当时标准 PyTorch 在 16.4GB 时就会崩溃。
一位Reddit用户通过4张Tesla T4显卡组建了总计64GB显存的本地AI推理平台
Tesla T4是英伟达基于图灵架构的数据中心推理卡，单卡功耗70W，采用被动散热设计
Tesla T4的内存带宽仅300GB/s，而RTX 4090为1008GB/s
还有 2 条时间轴事件
全部知识事实 (10)
在Tesla T4上使用llama.cpp评测，HumanEval pass@1保留率为96.7%（29/30）。
50%待验证在Tesla T4上使用llama.cpp评测，MMLU子集保留率为92.9%（344/502）。
50%待验证在 T4 上，--fit + 10% 缓存达到 23.6 tokens/s，命中率 75.6%；仅 --cpu-moe 为 9.6 tokens/s；--cpu-moe + 50 MiB 缓存仅 3.8 tokens/s。
50%待验证在 16GB Tesla T4 上运行 Qwen3-30B-A3B（18.6GB），使用 MoE 缓存后解码速度从默认的 22.6 tokens/s 提升到 43.2 tokens/s。
50%待验证在 T4 上，--cpu-moe + 10000 MiB 缓存时，8 token 以内小批次命中率 95.73%，9 到 32 token 批次命中率 59.91%。
50%待验证并发请求会放大缓存槽位需求，导致 LRU 淘汰更频繁，T4 上四请求并发总吞吐 37.0 tokens/s，低于单请求的 43.2 tokens/s，命中率从 95.7% 降至 92.3%。
50%待验证OjasX 早期版本已可将 534M 参数模型塞进 Tesla T4 的 9.5GB 显存中训练，而当时标准 PyTorch 在 16.4GB 时就会崩溃。
50%待验证Tesla T4的被动散热依赖外接涡轮风扇（blower），噪音可达55dB以上，在家庭环境中需要隔音处理
50%待验证Tesla T4的内存带宽仅300GB/s，而RTX 4090为1008GB/s
50%待验证Tesla T4是英伟达基于图灵架构的数据中心推理卡，单卡功耗70W，采用被动散热设计
50%