RTX 3090
NVIDIA消费级旗舰显卡,搭载24GB GDDR6X显存,适用于AI训练和推理任务
核心事实
时间轴 (近 90 天)
RTX 3090支持NVLink桥接,双卡通过NVLink可获得更高互联带宽,在70B级模型量化推理中往往比三卡PCIe方案更均衡。
双3090配置(48GB显存)在功耗、散热和主板兼容性上更容易处理,对大多数本地LLM任务已相当充裕,且卖掉第三块卡可回笼资金用于升级配套设备。
GDDR6X是美光研发的显存标准,在GDDR6基础上采用PAM4信号编码,使单引脚数据传输速率翻倍,RTX 3090在384-bit位宽下实现936 GB/s带宽。
开发者0x0的构建:一张RTX 3090配256GB DDR4内存和200GB SSD,跑DeepSeek v4.1 Flash单用户26 tokens/s、四用户并发41 tokens/s,预填充600-800 tokens/s,支持262K上下文,估算总成本约6,000美元。
开源工具GPU Unlock通过修改英伟达显卡内部寄存器解除部分计算限制,无需超频或修改官方驱动,测试中RTX 3090部分矩阵运算吞吐量提升约80%,RTX 4090相关测试接近翻倍。
论文评测显示,在RTX 3090与Jetson Orin上,BitMTP五任务平均吞吐提升最高达2.0倍,MBPP+单项达到3.3倍。
使用LoRA在单张RTX 3090(24GB显存)上即可完成4B模型的微调,耗时仅数小时。
在单卡RTX 3090上微调Qwen时,开发集正确回答数从7/28提升到13/28,但平均负对数似然(NLL)从2.215恶化到3.916。
小批量推理时瓶颈在显存带宽,大批量时计算密度上升使算力成为瓶颈,这解释了3090与L40S的性能交叉。
对于低并发为主的个人开发者或小规模服务,3090以约一半成本提供与L40S相近的性能;对于高吞吐在线服务,L40S在batch 128时速度更快且AWQ模型下成本更低。
还有 40 条时间轴事件
全部知识事实 (20)
NVLink 4.0的双向带宽高达900GB/s,而传统PCIe总线带宽约为64GB/s
90%已验证QLoRA引入4-bit量化技术,使得在单张24GB显存的RTX 3090/4090上微调650亿参数级别的模型成为可能
90%已验证32B参数规模的模型在量化后通常可以压缩到约16-20GB显存占用,一张NVIDIA RTX 4090(24GB显存)就能运行
80%已验证RTX 4060的显存内部带宽约为288 GB/s
65%已验证消费级显卡的显存通常只有8-24GB,限制了可运行的模型规模
65%已验证RTX 4090拥有24GB显存,在加载27B Q4模型后通常还有足够空间支持3-4万Token的上下文
65%待验证Unsloth通常需要配合NVIDIA GPU使用,推荐RTX 3090/4090或更高
80%待验证MiniMind-V可以在普通消费级GPU(如RTX 3090)上完成全流程训练
80%待验证GPT-OSS 20B在RTX 3090上可达约40 Token/s的生成速度,在RTX 5090上能达到200 Token/s
75%待验证官方估计24GB显卡约能跑100~140 tokens/秒
60%待验证LoRA可将可训练参数压缩至原始规模的0.1%至1%,使单张消费级GPU即可完成微调
60%待验证双3090配置(48GB显存)在功耗、散热和主板兼容性上更容易处理,对大多数本地LLM任务已相当充裕,且卖掉第三块卡可回笼资金用于升级配套设备。
50%待验证RTX 3090支持NVLink桥接,双卡通过NVLink可获得更高互联带宽,在70B级模型量化推理中往往比三卡PCIe方案更均衡。
50%待验证GDDR6X是美光研发的显存标准,在GDDR6基础上采用PAM4信号编码,使单引脚数据传输速率翻倍,RTX 3090在384-bit位宽下实现936 GB/s带宽。
50%待验证开发者0x0的构建:一张RTX 3090配256GB DDR4内存和200GB SSD,跑DeepSeek v4.1 Flash单用户26 tokens/s、四用户并发41 tokens/s,预填充600-800 tokens/s,支持262K上下文,估算总成本约6,000美元。
50%待验证开源工具GPU Unlock通过修改英伟达显卡内部寄存器解除部分计算限制,无需超频或修改官方驱动,测试中RTX 3090部分矩阵运算吞吐量提升约80%,RTX 4090相关测试接近翻倍。
50%待验证论文评测显示,在RTX 3090与Jetson Orin上,BitMTP五任务平均吞吐提升最高达2.0倍,MBPP+单项达到3.3倍。
50%待验证使用LoRA在单张RTX 3090(24GB显存)上即可完成4B模型的微调,耗时仅数小时。
50%待验证在单卡RTX 3090上微调Qwen时,开发集正确回答数从7/28提升到13/28,但平均负对数似然(NLL)从2.215恶化到3.916。
50%待验证作者测试中所有重复运行的波动在3090上不超过0.5%,在L40S上最差2.6%,数据并非噪声。
50%