RTX 4090
NVIDIA于2022年发布的旗舰消费级显卡，配备24GB GDDR6X显存，是消费端显存容量最大的单卡之一，广泛用于本地AI模型推理
核心事实
时间轴 (近 90 天)
用户可在消费级显卡（如24GB显存的RTX 4090）或统一内存的Apple Silicon设备上运行参数量7B至70B的本地模型。
在单张RTX 4090上运行Hy-Nomas的优化手段包括INT8量化的DiT模型、FP8版本的视频解码器以及CPU offload策略。
一个开源项目通过Linux内核模块改写GPU寄存器，绕过NVIDIA对消费级显卡的算力限制，使RTX 4090的半精度算力突破330 TFLOPS。
开源工具GPU Unlock通过修改英伟达显卡内部寄存器解除部分计算限制，无需超频或修改官方驱动，测试中RTX 3090部分矩阵运算吞吐量提升约80%，RTX 4090相关测试接近翻倍。
7组同级跨版本对比（硬件差异排除）显示：5组变快，2组变慢；双RX 6900XT快了三分之一还多，RTX 4090跑俄语反而慢了一点，ARC Pro B65掉了11%；中位数只有1.08倍。
提交量第一的是RTX 4090（12份），第二是RX 6900XT（11份），RTX 5090只有10份。
对于中小规模任务，单卡A100或RTX 4090可能比H100更具性价比；而对于超大规模并行训练，H100的优势才真正显现。
单用户场景下 llama.cpp 8B 模型在 RTX 4090 上约 115 tok/s、首 token 延迟约 12ms，但 32 并发时吞吐仅约 210 tok/s。
开发者 Soto 自写推理引擎，将552B参数的 DeepSeek V4.1 Flash 运行在单张24G RTX 4090、90G内存加NVMe存储的游戏PC上，实测解码约27 token/s，预填充180-320 token/s。
Magnitude的CUDA内核自动调优激活了RTX 4090的Tensor Core做INT4运算，这是其吞吐翻倍的关键之一。
还有 40 条时间轴事件
全部知识事实 (20)
QLoRA引入4-bit量化技术，使得在单张24GB显存的RTX 3090/4090上微调650亿参数级别的模型成为可能
90%已验证消费级GPU RTX 4090的显存上限为24GB
80%已验证NVIDIA 声称 Nemotron 3.5 Bolt 74B-A9B 的权重可在 24GB 内存中运行，该 24GB 仅指权重本身占用，不含上下文、KV 缓存和运行时开销。
80%已验证Qwen3 Flash Next在本地运行中开发者Primitive报告的生成速度达到142.6 tokens/s
65%已验证该工作流可在12GB显卡上生成长达60秒的连续视频
65%已验证RTX 4090拥有24GB显存，在加载27B Q4模型后通常还有足够空间支持3-4万Token的上下文
65%已验证RTX 4090拥有超过16000个CUDA核心
65%已验证RTX 4090拥有24GB VRAM，可流畅运行大多数13B-34B量化模型
65%已验证单张1024×1024图片在RTX 4090上使用Flux 2生成时间约为8-15秒
65%待验证RTX 4090作为消费级旗舰显卡，拥有24GB GDDR6X显存，售价约1,600美元
85%待验证使用Ollama本地部署时，官方推荐Qwen 2.5视觉模型（32B参数），需要至少24GB显存的GPU（如RTX 4090）才能流畅运行
85%待验证RTX 4090的功耗约为300W
85%待验证Unsloth通常需要配合NVIDIA GPU使用，推荐RTX 3090/4090或更高
80%待验证移动端RTX 5090采用完整的GB203核心，拥有超过10,000个CUDA核心和16GB GDDR7显存，理论算力接近上一代桌面端RTX 4090
80%待验证单卡RTX 4090即可运行GPT-OSS 20B，单卡A100即可运行GPT-OSS 120B
80%待验证将模型权重从FP16压缩到INT8或INT4的量化技术，可使消费级GPU如RTX 4090在本地部署时达到30-80 TPS的实用速度
75%待验证使用QLoRA在RTX 4090上微调Llama 7B模型，显存占用约5-8GB
70%待验证一个70亿参数的模型在RTX 4090上的推理延迟约为50-200ms
70%待验证批量生成100张图片在RTX 4090上大约需要15-25分钟
65%待验证RTX 4090的理论FP16算力为82.6 TFLOPS，显存带宽为1008 GB/s
60%