LLM City：把大模型权重变成一座3D城市是什么体验

当模型权重变成一座城市

大语言模型的参数规模常常以"千亿""万亿"这样的抽象数字出现，但这些数字对普通人乃至从业者而言，往往缺乏直观的感知。最近在 Hacker News 上引发热议的项目 LLM City，尝试用一种极具视觉冲击力的方式回答一个问题：如果把一个大模型的每一个权重都变成实体，它究竟有多庞大？

这个项目将 Kimi K3 模型的全部权重渲染成一座 3D 城市——每一个权重被表示为一块 2.5 毫米大小的"瓷砖"（tile），密密麻麻地铺陈开来，最终形成了一片仿佛无边无际的城市景观。这种大模型可视化方式让抽象的参数数量第一次拥有了空间尺度上的直观对应。

要理解这种可视化为何震撼人心，首先需要理解大语言模型中"参数"的本质。在 Transformer 架构中，这些参数主要分布在注意力层的 Query/Key/Value 投影矩阵、前馈网络的线性变换矩阵，以及嵌入层中。具体而言，自注意力机制的工作方式是将输入的每个 token 通过三个独立的线性变换分别映射为 Query（查询）、Key（键）和 Value（值）向量，然后通过 Query 与 Key 的点积计算注意力分数，再用这些分数对 Value 进行加权求和——这一过程中的每个线性变换矩阵都包含大量可训练参数。在多头注意力（Multi-Head Attention）机制下，这些矩阵会被复制多份以并行捕捉不同的语义关系模式，参数量随之成倍增长。前馈网络（Feed-Forward Network）则通常由两层全连接层构成，中间维度往往是隐藏维度的 4 倍，这意味着前馈层的参数量在整个模型中占据相当大的比例——在标准 Transformer 中约占总参数量的三分之二。

每个参数通常以浮点数形式存储——FP32（单精度浮点数）占 4 字节，FP16（半精度浮点数）或 BF16（Brain Floating Point 16，由 Google Brain 团队设计，保留了 FP32 的指数位范围但减少了尾数精度，特别适合深度学习训练中的梯度计算）占 2 字节，而近年来流行的 INT8/INT4 量化则可将单个参数压缩到 1 字节甚至 0.5 字节。量化技术的发展经历了从训练时量化（Quantization-Aware Training）到后训练量化（Post-Training Quantization）的演进。GPTQ（2022 年由 Frantar 等人提出）基于近似二阶信息实现高效的逐层量化，AWQ（Activation-aware Weight Quantization，由 MIT 韩松团队提出）则通过观察激活值分布来保护关键权重通道，在极低比特宽度下仍能保持模型性能。更新的 GGUF 格式则让量化模型能够在消费级 CPU 上运行，极大地扩展了大模型的可及性。以一个万亿参数模型为例，即使使用 FP16 存储，也需要约 2TB 的显存空间，意味着需要数十块高端 GPU 才能完整加载——以 NVIDIA H100 的 80GB 显存计算，至少需要 25 块才能容纳纯权重，加上推理时的激活值和 KV 缓存，实际需求还要翻倍。这些冰冷的存储数字，正是 LLM City 试图赋予物理感知的对象。

Kimi K3 是由中国 AI 公司月之暗面（Moonshot AI）开发的大语言模型。月之暗面由清华大学校友杨植麟于 2023 年创立，公司在成立不到一年的时间内便完成了多轮融资，估值迅速突破数十亿美元，投资方包括红杉中国、阿里巴巴等顶级机构。杨植麟本人曾在卡内基梅隆大学从事自然语言处理研究，师从知名学者 Ruslan Salakhutdinov 和 William W. Cohen，在长序列建模方面有深厚的学术积累。Kimi 系列模型以支持超长上下文窗口著称，早期版本便支持 20 万字（约 200K tokens）的上下文长度，这一能力在当时远超 GPT-4 的 128K 上下文窗口，在长文档理解和处理方面表现突出。实现超长上下文的关键技术挑战在于注意力机制的计算复杂度——标准自注意力的计算量随序列长度呈平方增长，因此需要采用稀疏注意力、线性注意力或分块计算等技术来降低复杂度。K3 作为其迭代版本，在参数规模和能力上进一步提升。选择 Kimi K3 作为可视化对象，既体现了该模型在行业中的代表性，也反映出中国大模型生态在全球 AI 竞争中日益重要的位置——2024 年以来，包括 DeepSeek、Qwen（通义千问）、GLM 等中国模型在多项国际基准测试中频繁跻身前列，打破了此前由 OpenAI、Google、Anthropic 等美国公司主导的格局。

为什么用"城市"作为隐喻

从数字到空间：让参数规模变得可感知

人类对纯数字的感知能力是有限的。认知科学研究表明，人类的数量直觉（number sense）在超过一定量级后就趋于失效——我们能直观区分 3 和 7 的差异，却很难感知十亿与一万亿之间的真实差距，这种现象被称为"数字麻木"（numerical numbness）。当我们听到"万亿参数"时，很难在脑海中构建出真实的规模概念。但当每一个参数都被赋予一个固定的物理尺寸（2.5mm），并按照某种规则排布在三维空间中时，数量级的差异就转化为了肉眼可见的面积与体积差异。

这正是 LLM City 的巧妙之处。它借用了城市这一人类最熟悉的大规模建筑集合意象——摩天楼、街区、蔓延到地平线的建筑群——来承载模型权重的庞大数量。当你在渲染画面中"俯瞰"这座由权重构成的城市时，那种规模感是任何数字都无法传达的。做一个简单的换算：如果一万亿个 2.5mm 的瓷砖紧密排列成一条直线，其总长度约为 2500 公里，大致相当于从北京到广州的直线距离。如果铺成一个正方形平面，则面积约为 6.25 平方公里——接近一个中等城市核心城区的面积。这种空间类比让"万亿参数"第一次有了人类经验可以锚定的参照系。

每块瓷砖背后的设计考量

项目选择 2.5 毫米作为单块瓷砖的尺寸并非随意。这个尺度既足够小以容纳海量参数，又足够大到在放大视角下能够被单独辨认。这种设计让观者可以在"宏观俯瞰整座城市"与"微观审视单块瓷砖"之间自由切换，从而理解从单个权重到整体模型之间的连续尺度关系。这种跨尺度的交互设计理念，在数据可视化领域有一个经典术语——"概览优先，按需缩放，细节按请求"（Overview first, zoom and filter, then details-on-demand），最早由信息可视化先驱 Ben Shneiderman 在 1996 年提出。

从技术实现角度看，将海量数据渲染为 3D 场景面临巨大的工程挑战。现代浏览器端的 3D 渲染通常基于 WebGL 或更新的 WebGPU 标准，配合 Three.js 等 JavaScript 库实现。WebGL（Web Graphics Library）基于 OpenGL ES 2.0 标准，自 2011 年起被主流浏览器支持，它允许 JavaScript 直接调用 GPU 进行图形渲染。而 WebGPU 是其下一代替代者，提供了更底层的 GPU 访问能力和计算着色器支持，性能可以比 WebGL 提升数倍，Chrome 浏览器于 2023 年正式支持这一标准。

对于 LLM City 这种需要渲染数以亿计对象的场景，核心挑战在于性能优化——直接渲染每个瓷砖对象会导致 GPU 崩溃，因此通常采用实例化渲染（Instanced Rendering）技术，将相同几何体的多个实例合并为单次绘制调用。实例化渲染的原理是：GPU 只需存储一份几何数据（顶点、法线、UV 坐标），然后通过一个额外的实例属性缓冲区（Instance Buffer）传递每个实例的位置、颜色、缩放等差异化信息，从而将绘制调用（Draw Call）的数量从数百万次降低到个位数——这是大规模粒子系统和城市场景渲染中的标准技术。此外，层级细节（LOD, Level of Detail）技术允许远距离对象使用简化模型——例如远处的瓷砖可能被替换为低分辨率的色块甚至直接合并为一个大面片，视锥体剔除（Frustum Culling）则跳过屏幕外物体的渲染，八叉树（Octree）或 BVH（Bounding Volume Hierarchy）等空间划分结构可以加速这一剔除过程。这些图形学技术的综合运用，使得在普通设备上"漫游"一座由数十亿元素构成的城市成为可能。类似的大规模可视化先例包括 Google Earth 的城市级 3D 建筑渲染和 Mapbox 的矢量瓦片系统，它们都采用了分层加载和动态 LOD 的策略。

大模型可视化在 AI 理解中的价值

打破黑箱的另一种尝试

大模型长期以来被诟病为"黑箱"——我们知道它有效，却难以理解其内部机制。这种不透明性不仅是学术问题，更是实际部署中的法律和伦理挑战。欧盟《人工智能法案》（AI Act，2024 年正式生效）明确要求高风险 AI 系统具备"足够的透明度"，这为 AI 可解释性研究注入了强烈的现实驱动力。虽然 LLM City 并不能真正解释权重之间的语义关系或计算逻辑，但它至少提供了一种"物质化"的视角，让人们直观感受到模型的物理体量。

这类数据可视化项目的价值在于教育与传播。对于初学者而言，理解"参数量"这一核心概念往往是入门的第一道门槛。将其转化为一座可以"漫游"的 3D 城市，无疑降低了认知门槛，也让技术传播更具感染力。在科技传播研究中，这种将抽象概念转化为具身体验（embodied experience）的手法已被证明能够显著提升知识留存率——MIT 媒体实验室和斯坦福大学的研究均表明，沉浸式可视化相比静态图表能将概念理解的深度提升 30% 以上。

与其他 AI 可视化项目的呼应

近年来，AI 社区涌现出不少将模型内部结构可视化的尝试，比如 Transformer 注意力机制的热力图、神经网络激活的动态演示等。LLM City 与它们的区别在于，它不聚焦于"模型如何思考"，而是回归到最朴素的"模型有多大"这一问题上。这种返璞归真的角度，反而在信息过载的当下显得格外新颖。

其中，注意力机制热力图是目前 AI 可解释性研究中最常见的可视化手段之一。它展示的是模型在生成某个输出 token 时，对输入序列中各个 token 的"关注程度"分布。代表性工具包括 BertViz（由 Jesse Vig 开发，支持 BERT、GPT-2 等多种模型的多头注意力可视化）和 Anthropic 研究中使用的激活分析方法。Google Brain 团队 2017 年发表的 Transformer 原始论文《Attention Is All You Need》中就已经展示了注意力权重的可视化——论文中那些著名的注意力模式图（如编码器中长距离依赖的弧形连线）至今仍是 AI 教学中使用最广泛的示意图之一。

然而，后续研究表明注意力权重并不总能准确反映模型的推理过程——高注意力分数不一定意味着因果重要性。2019 年 Jain 和 Wallace 的论文《Attention is not Explanation》引发了广泛讨论，指出注意力分布与特征重要性之间的相关性有时很弱。这也催生了一系列更精细的可解释性方法：梯度归因方法（如 Integrated Gradients，由 Sundararajan 等人于 2017 年提出）通过计算输入到输出的梯度路径来衡量每个输入特征的贡献；探针分析（Probing）通过在模型中间层训练简单分类器来检测特定语言知识是否被编码在某一层的表示中；而 Anthropic 在 2023-2024 年大力推进的机械可解释性（Mechanistic Interpretability）研究则试图逆向工程模型的内部电路——识别特定的神经元组合如何协同实现特定的计算功能，如"归纳头"（induction heads）负责模式匹配和上下文学习。他们使用稀疏自编码器（Sparse Autoencoders）从模型激活中提取可解释的特征方向，揭示了模型内部远比预期更丰富的概念表示。LLM City 没有陷入这些技术复杂性之中，而是选择了一条更直觉化的路径。

项目的局限与深层思考

视觉震撼之外的不足

必须承认，LLM City 更多是一件"数据艺术"作品，而非严谨的分析工具。将权重简单地映射为等大的瓷砖，忽略了权重的数值大小、正负、稀疏性以及层与层之间的结构差异。换言之，这座城市所有的"建筑"外观一致，无法反映模型内部真实的异质性。

权重稀疏性是当前 AI 效率优化的核心研究方向之一。研究发现，大模型中相当大比例的参数值接近于零或对最终输出贡献极小——Song Han 等人在 2015 年的开创性工作中发现，AlexNet 可以在不显著损失精度的情况下剪除 90% 的参数，而后续研究在大语言模型上也观察到了类似的冗余现象。著名的"彩票假说"（Lottery Ticket Hypothesis，由 Frankle 和 Carlin 于 2018 年提出）更进一步指出，在密集网络中存在一个稀疏子网络，仅用原始网络的一小部分参数就能达到相当的性能——仿佛在整座"城市"中，真正承载功能的只是某些特定的"街区"。

这一发现催生了剪枝（Pruning）技术——通过移除不重要的权重来缩小模型规模。结构化剪枝移除整个神经元、注意力头甚至整层网络，优势在于剪枝后的模型可以直接利用现有硬件加速，无需特殊的稀疏计算支持；非结构化剪枝则将单个权重置零，理论上可以实现更高的压缩率但需要稀疏矩阵硬件支持——NVIDIA 的 Ampere 架构 GPU 开始原生支持 2:4 结构化稀疏模式，即每 4 个连续权重中至少有 2 个为零，可以在不修改软件的情况下获得约 2 倍的推理加速。

与之相关的还有混合专家模型（Mixture of Experts, MoE）架构，如 Google 的 Switch Transformer（2021 年，总参数量达 1.6 万亿但每次推理仅激活约 1/64）和 Mistral AI 的 Mixtral 8x7B（总参数 46.7B，每次推理激活约 12.9B）。MoE 的核心思想是将前馈网络拆分为多个"专家"子网络，通过一个可训练的门控网络（Gating Network）动态选择每个 token 应该由哪几个专家处理。这意味着虽然模型的总参数量巨大，但计算量（FLOPs）远小于同等参数量的密集模型。DeepSeek-V2 还引入了 DeepSeekMoE 架构，使用更细粒度的专家划分来提高专家利用率。如果 LLM City 能够可视化这种稀疏性——比如将接近零的权重渲染为暗淡或透明的瓷砖，将 MoE 中不同专家用不同色系区分——将能展示模型中"真正工作"的部分与"沉默"部分之间的戏剧性对比。

除了剪枝和 MoE，知识蒸馏（Knowledge Distillation）是另一种重要的模型压缩手段。由 Hinton 等人于 2015 年系统化提出，其核心思想是让一个小模型（"学生"）学习大模型（"教师"）的输出分布而非硬标签，从而将大模型的"知识"转移到更小的模型中。近期的实践中，DeepSeek-R1 的蒸馏版本和 Phi 系列小模型都展示了蒸馏技术在保持能力的同时大幅缩减模型体积的潜力。如果将蒸馏前后的模型都可视化为城市，那么它们之间的面积对比将直观展示"压缩"的魔力。

如果未来的版本能够根据权重的数值、重要性或所属层级来赋予瓷砖不同的高度、颜色或密度，那么这座城市或许能从纯粹的"规模展示"进化为真正的"结构地图"，为模型可解释性研究提供更多实用价值。

对 AI 规模竞赛的隐喻

值得玩味的是，当我们看到一整座城市仅仅代表一个模型的权重时，也不禁反思当下 AI 领域的"规模竞赛"。模型越来越大，参数从百亿冲向万亿，而 LLM City 恰好用物理体量提醒我们：每一次参数量的跃升，背后都对应着惊人的存储、计算与能耗成本。这座城市既是技术成就的展示，也是资源消耗的隐喻。

这种隐喻有着沉重的现实基础。据估算，训练 GPT-3（1750 亿参数）消耗约 1287MWh 电力，相当于约 550 吨二氧化碳排放，等同于约 120 辆汽车一年的排放量。而万亿参数级模型的训练成本更是呈指数级增长——不仅是电力，还包括数千块 GPU 的硬件采购（单块 NVIDIA H100 售价约 2.5-4 万美元）、高速互联网络（如 NVIDIA NVLink 和 InfiniBand，用于 GPU 间的高带宽低延迟通信，训练万亿参数模型通常需要数千块 GPU 通过这些互联技术组成集群协同工作）、冷却系统等基础设施投入。据多方估计，GPT-4 的训练成本在 6000 万至 1 亿美元之间，而未来更大规模模型的训练成本可能突破 10 亿美元大关。

国际能源署（IEA）2024 年的报告指出，全球数据中心的电力消耗预计将在 2026 年翻倍，AI 训练和推理是主要驱动力。这引发了"绿色 AI"（Green AI）运动——2019 年 Schwartz 等人的同名论文呼吁学术界关注 AI 研究的计算效率而非单纯追求精度提升。与此同时，技术界也在寻找更高效的训练范式：DeepSeek-V2 提出的多头潜在注意力（MLA, Multi-head Latent Attention）通过压缩 KV 缓存将推理时的显存需求大幅降低；FlashAttention（由 Tri Dao 等人开发）通过 IO 感知的算法设计将注意力计算加速 2-4 倍并大幅减少显存占用；混合精度训练（Mixed Precision Training）允许在训练过程中混合使用 FP16 和 FP32，在几乎不损失精度的情况下将训练速度提升近一倍。这些效率优化技术的意义在于，它们证明了"更大"并非唯一的通向更强的路径——更聪明的架构设计和工程优化同样能够释放巨大的性能潜力。

当 LLM City 中那座蔓延到视觉尽头的城市映入眼帘时，我们看到的不仅仅是参数的数量，更是人类为追求智能所付出的真实物质代价。这也引出了一个更深层的问题：随着 Scaling Law（缩放定律，由 Kaplan 等人在 2020 年系统研究，揭示了模型性能与参数量、数据量、计算量之间的幂律关系）遭遇越来越多的质疑——部分研究者指出性能提升的边际收益正在递减——未来的 AI 发展是否会从"建更大的城市"转向"让每栋建筑更智能"？

结语

LLM City 是一个小而精巧的项目，它没有提出新的算法，也没有突破性的技术，但它用一种极具想象力的方式，把冰冷的参数数字转化为可感知的空间体验。在 AI 技术日益抽象、离普通人越来越远的今天，这类可视化尝试的意义或许不在于它揭示了多少，而在于它让更多人愿意停下来，去思考这些庞然大物究竟意味着什么。

对于关注 AI 的技术爱好者而言，LLM City 值得亲自体验——当你真正"走进"那座由权重构成的城市时，你对大模型的理解，或许会多出一个前所未有的维度。而这个项目也提醒我们，在 AI 时代，最有力的沟通工具有时不是论文或代码，而是一个好的隐喻——一座看不到边际的城市，比任何技术报告都更有力地诉说着：我们正在构建的这些智能系统，其规模已经超出了人类直觉所能把握的范围。