用假词造角色:Midjourney语义想象力实验揭秘

一场有趣的AI创作实验
在Reddit的AI创作社区里,一位创作者分享了一个别出心裁的玩法:先用随机单词生成器造出一批完全不存在的"假词"(fake words),再把这些毫无实际含义的词语丢进Midjourney,让AI基于这些虚构的词汇生成角色形象。
这个看似简单的实验,实际上触及了当下文生图模型一个非常本质的问题:当输入的提示词并不存在于任何真实语言体系中时,AI会如何理解并"脑补"出画面?

为什么假词也能让Midjourney生成合理的角色
语音与形态的联想机制
即便一个单词是随机拼凑出来的,它依然由真实的字母、音节和词根碎片组成。对Midjourney这类基于大规模图文对训练的模型而言,这些碎片并非毫无意义——模型在训练过程中学到了大量"词形—视觉"之间的隐性关联。
这种关联能力的核心来源是CLIP(Contrastive Language-Image Pre-training)模型。CLIP是OpenAI于2021年发布的多模态模型,通过在约4亿组互联网图文对上进行对比学习训练,学会了将文本和图像映射到同一个高维向量空间中。这4亿图文对来自互联网公开爬取的数据集WIT(WebImageText),其规模是经典ImageNet数据集(约1400万张标注图像)的近30倍。这种数据规模优势使CLIP学到了极为丰富的视觉-语言对应关系,涵盖了从日常物品到抽象概念的广泛范围,也正是CLIP能够处理各种奇异输入(包括假词)的基础。
其训练采用了对比学习(Contrastive Learning)范式,具体使用InfoNCE损失函数——在每个训练批次中,模型同时处理N对图文数据,目标是最大化匹配对的余弦相似度,同时最小化不匹配对的相似度。这种训练方式赋予了CLIP极强的零样本(zero-shot)迁移能力,使其不需要针对特定任务进行微调,就能理解从未见过的文本描述与图像之间的关系。CLIP的发布对整个AI图像生成领域产生了深远影响——DALL-E 2、Stable Diffusion、Midjourney等主流文生图模型都直接或间接地依赖CLIP作为文本理解的桥梁,使其成为当代生成式AI基础设施中不可或缺的组件。
值得注意的是,CLIP的架构包含两个并行的编码器:文本编码器采用基于Transformer的架构(类似GPT-2的12层Transformer),而视觉编码器则有两种变体——基于ResNet的卷积网络版本和基于Vision Transformer(ViT)的版本。ViT的工作方式是将输入图像切分为固定大小的patch(通常为16×16或32×32像素),将每个patch线性投影为一个向量后加上位置编码,然后像处理文本token一样通过Transformer层进行自注意力计算。这种统一的Transformer架构使得文本和图像能够在同一种计算范式下被处理,极大地促进了跨模态对齐的质量。在这个共享的高维向量空间里(通常是512维或768维),语义相近的文本描述和图像会被拉近距离,而语义无关的则被推远。
Midjourney在其架构中使用CLIP的文本编码器将用户的提示词转换为条件向量,这个向量随后作为条件信号引导扩散模型的去噪过程。具体而言,文本条件向量通过交叉注意力机制(Cross-Attention)注入到U-Net(或Transformer-based)去噪网络的中间层——在每一步去噪迭代中,图像的空间特征作为Query,文本编码作为Key和Value,通过注意力权重实现文本对图像生成过程的精细控制。正因如此,即使输入的是假词,CLIP的文本编码器仍然会基于其子词组成,在这个向量空间中找到一个合理的位置,而该位置周围关联的视觉概念就会被激活用于图像生成。
举例来说,一个包含"-oth"、"gr-"或"-ax"等音节的假词,可能会因为在训练数据中与某些奇幻、机械或生物类概念相邻,从而引导模型输出带有相应气质的角色。这也是为什么这些假词角色看起来往往异常和谐,仿佛它们本就应该长这个样子。
Token层面的拆解原理
从技术层面看,模型并不会把假词当作一个整体拒绝识别,而是通过分词器(tokenizer)将其拆解为若干子词单元(subword tokens)。现代大语言模型和多模态模型普遍采用的分词方法是BPE(Byte Pair Encoding,字节对编码)算法。BPE最初是一种数据压缩技术,由Philip Gage于1994年提出,后被引入自然语言处理领域用于解决开放词汇问题。
BPE的具体工作流程是:首先将训练语料中的所有单词拆分为单个字符,然后统计所有相邻字符对的出现频率,将最高频的字符对合并为一个新的子词单元,重复这一过程直到达到预设的词表大小(通常为3万到5万个子词,例如GPT系列使用约50,257个token的词表)。这种方法实现了字符级模型和词级模型的完美折中:常见单词会被保留为完整token(如"the"、"beautiful"),而罕见词或新造词则被拆分为更小的有意义片段。
除了BPE之外,业界还有其他几种主流的分词方法。Google的WordPiece算法(用于BERT模型)与BPE类似,但在选择合并对时不是基于频率最高的对,而是选择能最大化训练数据似然度的对——这使得WordPiece在某些情况下能产生语义更连贯的子词划分。另一种方法是Google开发的SentencePiece,它直接在原始文本上操作而不需要预先分词,支持Unigram语言模型和BPE两种算法,特别适合处理没有明确单词边界的语言(如中文、日文)。CLIP选择使用BPE的一个重要原因是其确定性和可复现性——相同的输入总会产生相同的token序列,这对于图文对齐的训练稳定性至关重要。对于假词处理而言,不同分词策略可能会产生不同的子词划分,进而导致不同的语义编码结果,但由于BPE的贪心匹配策略,它倾向于尽可能使用较长的已知子词片段,从而最大化每个token携带的语义信息量。
例如"unhappiness"可能被拆分为"un"+"happiness"或"un"+"happ"+"iness",而假词"Grothaxiel"可能被拆解为"Gr"+"oth"+"ax"+"iel"——每个片段都在训练中见过并携带着统计学意义上的语义信息。
这意味着即使遇到完全陌生的假词,BPE算法也不会报错或拒绝处理,而是将其拆解为已知的子词片段。每一个子词都携带着一定的语义向量,最终这些向量被组合、加权,形成一个模型"自认为合理"的语义表示。这个合成的语义表示随后被投射到模型的潜空间(Latent Space)中。
潜空间是生成式AI的核心概念之一。Midjourney所使用的扩散模型(Diffusion Model)源自2020年由UC Berkeley的Jonathan Ho等人提出的DDPM(Denoising Diffusion Probabilistic Models),其核心思想是将图像生成建模为一个逐步去噪的过程:前向过程逐步向图像添加高斯噪声直至变成纯噪声,反向过程则学习如何一步步去除噪声以还原或生成图像。从物理学角度看,这个过程有一个优美的热力学类比——前向扩散过程类似于有序结构逐渐变为无序状态(熵增,如墨滴在水中逐渐扩散),而反向去噪过程则类似于从无序中恢复有序(熵减)。这种类比并非巧合,DDPM的数学框架确实借鉴了非平衡热力学中的随机微分方程理论。2021年Yang Song等人进一步将扩散模型统一为基于分数的生成模型(Score-based Generative Models),从理论上证明了扩散过程和分数匹配之间的深层联系,为这一领域奠定了更坚实的数学基础。
而2022年提出的Latent Diffusion Model(LDM)将这一过程从像素空间搬到了潜空间,通过变分自编码器(VAE)的编码器将高分辨率图像压缩为低维潜表示(例如将512×512的图像压缩为64×64×4的潜表示),大幅降低了计算成本。去噪完成后再通过解码器还原为完整图像。
这个潜空间可以理解为所有可能图像的抽象地图——经过训练后,它形成了有意义的拓扑结构,空间中的每一个坐标点都对应一种可能的视觉输出,而坐标相邻的点往往代表视觉上相似的图像,两点之间的线性插值通常会产生语义上连续过渡的图像。这背后的理论基础是流形假设(Manifold Hypothesis)——虽然潜空间可能有数百个维度,但真实世界中有意义的图像数据实际上集中在这个高维空间中的一个低维流形上。就像地球表面是三维空间中的一个二维曲面一样,所有"看起来像真实图像"的潜向量只占据了整个潜空间的极小子集。模型在训练过程中学会了这个流形的形状,并且其生成过程本质上是在这个流形上进行采样。当假词的编码向量恰好落在流形之外时,扩散模型的去噪过程会自然地将结果"拉回"到最近的流形表面上——这就是为什么即使输入完全无意义,输出也总是看起来像某种连贯的角色或物体,而非抽象噪声。
换句话说,AI从不"空手而归"——即使面对纯粹虚构的输入,它也会调动整个潜空间中最接近的概念来完成填补。当假词被编码为向量后,模型会在这张概念"地图"上定位到对应的区域,并从该区域采样生成图像。这正是生成式模型"永不说不知道"特性的直观体现。
假词实验对AI创作的实用价值
打破提示词的路径依赖
很多创作者在使用Midjourney等文生图工具时,会陷入固定的提示词套路:"a beautiful girl"、"cyberpunk city"、"highly detailed"……这些高频词汇的组合虽然稳定,但也容易产生高度同质化的结果。
从技术角度理解这一现象,文生图模型中有一个关键参数叫CFG Scale(Classifier-Free Guidance Scale,无分类器引导比例),它控制着生成结果与文本提示之间的紧密程度。CFG由Jonathan Ho和Tim Salimans于2022年提出,是当前所有主流文生图模型的核心采样技术。其数学原理是:在每一步去噪过程中,模型同时计算有条件预测(基于文本提示)和无条件预测(不使用任何文本),然后将最终预测设为两者的加权外推,公式为ε_guided = ε_uncond + w × (ε_cond - ε_uncond),其中w就是CFG Scale值。
当w=1时等同于标准条件生成;w值越高,生成结果越严格遵循提示词但多样性越低;w值过高则会产生过饱和、过度对比的伪影。典型的CFG值范围是5-15。当使用常规高频提示词时,高CFG值会让模型紧紧围绕这些已被大量训练数据强烈强化的概念来生成图像,导致输出高度趋同。而假词由于没有被强烈绑定到任何特定的视觉模式上,其条件信号本身就较弱和模糊,即使使用相同的CFG值,实际效果也更接近低引导度的自由生成,相当于给了模型更大的自由度去探索潜空间中不常被访问的区域,从而产出更具多样性和意外感的结果。
值得一提的是,在实际使用Midjourney时,还有一个名为--chaos的参数(取值0-100)直接控制生成结果的变化程度。--chaos值越高,模型在初始噪声采样时的随机性越大,生成的四张候选图之间差异也越大。假词实验与高--chaos值的效果可以产生有趣的叠加:假词在语义层面引入模糊性(模型不确定该生成什么),而--chaos在采样层面引入随机性(模型从更广的分布中采样),两者结合相当于同时在"语义空间"和"采样空间"两个维度上扩大了探索范围。这种双重随机性的组合,可以产生比单独使用任何一种方法都更为出人意料的结果。类似地,在文本生成模型中,温度参数(Temperature)控制logits分布的平滑程度,Top-k和Top-p采样策略限制候选token的范围——这些都是在不同层面调节"创造性vs.可控性"平衡的工具。
用随机假词作为种子输入,本质上是一种主动引入随机性、逃离创作舒适区的策略。它迫使模型进入训练数据中较少被激活的区域,从而产出更具原创性和陌生感的视觉形象。对于需要设计独特IP角色、游戏怪物或概念艺术的创作者来说,这是一种低成本的灵感激发方式。
命名与形象的反向绑定
更有意思的是,这套流程还提供了一种"先有名、后有形"的角色设计逻辑。传统流程往往是先构思角色再取名,而假词实验则反其道而行——一个陌生的音节组合先出现,AI再赋予它血肉。这种反向绑定生成的角色,其名字与形象之间会形成一种天然的一致性,非常适合构建虚构世界的命名体系。
这种方法在游戏设计和奇幻文学创作中尤其有价值。J.R.R.托尔金在构建中土世界时,就是先创造了精灵语(Quenya和Sindarin)等语言体系,再围绕这些语言构建角色和世界观。托尔金本人是一位语言学教授,他深谙语音象征主义(phonesthetic symbolism)的原理——即特定的语音组合会天然唤起特定的感觉印象。例如,流畅的元音和液音(如"l"、"r")倾向于唤起优美柔和的感觉,而硬辅音和塞音(如"k"、"g"、"t")则暗示力量或粗犷。
这一现象在语言学中被称为"Bouba/Kiki效应"——实验证明,跨文化、跨语言的人群普遍会将圆润的形状与"bouba"这样的发音关联,将尖锐的形状与"kiki"关联。这一效应最初由德国心理学家Wolfgang Köhler于1929年发现(当时使用的是"maluma"和"takete"这对词),后由神经科学家Vilayanur Ramachandran等人于2001年重新命名和系统研究。实验在不同文化背景下(包括从未接触过拉丁字母的坦桑尼亚Himba部落)均获得了90%以上的一致性结果,表明语音与形状之间的映射关系可能根植于人类大脑的跨模态整合机制——特别是角回(angular gyrus)区域负责整合来自不同感觉通道的信息。这意味着"声音能唤起形状"并非文化习得,而是人类神经系统的固有特性。
假词实验虽然远不及托尔金的语言学深度,但其"从声音到形象"的创作路径有着类似的美学直觉——某些音节组合天然会唤起特定的情感联想,而AI恰好能将这种联想可视化。CLIP模型在数亿图文对上的训练,使其无意中习得了人类语言中普遍存在的语音象征规律,从而在处理假词时也能产出与音感"气质"相匹配的视觉输出。
AI理解的边界:假词实验带来的思考
这个小实验也留下了一些值得玩味的问题。当我们说AI"理解"了一个假词时,它究竟理解了什么?答案显然不是词义本身,而是词形所暗示的统计学联想。
从机器学习的角度看,假词实验本质上触及了OOD(Out-of-Distribution,分布外)泛化问题。OOD检测和泛化是当前AI安全和可靠性研究的核心议题之一。在分类任务中,良好的OOD检测意味着模型能够在遇到训练分布之外的输入时输出高不确定性,而非错误的高置信度预测。然而生成模型面临的挑战完全不同:它们的目标函数要求对任何输入都产生连贯输出,这种设计使得模型天然倾向于"自信地胡说"。
在NLP领域,这种现象被广泛研究为"幻觉问题"(hallucination),学术上将其分为内在幻觉(与源信息矛盾的输出)和外在幻觉(无法从源信息验证的输出)。在图像生成领域,假词实验所触发的可以被视为一种"创造性幻觉"——模型将未知输入映射到已知概念的流形上最近的点或区域,通过最近邻插值产生看似合理的输出。2023年多篇研究论文指出,扩散模型在面对OOD文本条件时,倾向于退化为其学到的先验分布的某种模式(如生成该模型训练集中的"平均"面孔或场景),而非产生随机噪声。这正是为什么假词生成的角色看起来总是"合理"的——它们本质上是模型先验知识的某种加权呈现。
值得注意的是,假词实验与AI安全领域中的"对抗性提示词"(adversarial prompts)研究存在有趣的技术关联。对抗性攻击的概念最早可追溯到2013年Christian Szegedy等人发现的图像分类模型漏洞——对图片添加人眼不可见的微小扰动即可完全改变模型预测。在文生图领域,2023年的多项研究将这一概念扩展到了文本空间:通过在embedding层面进行梯度下降优化,可以找到人类无法理解但能精确控制模型输出的token序列。这揭示了神经网络"理解"语言的方式与人类存在根本性差异——模型操作的是连续向量空间中的几何关系,而非离散的语义符号。
对抗性攻击的研究者们发现,精心构造的无意义字符串有时能绕过文生图模型的安全过滤器,或触发模型生成训练数据中的记忆内容(memorized samples)。2023年Carnegie Mellon等机构的研究表明,通过梯度优化可以找到看起来完全无意义的token序列,却能精确控制模型生成特定内容。假词实验与这类攻击的关键区别在于:前者是随机的、非定向的探索,其结果反映的是模型的一般先验;后者是经过精心优化的、定向的操纵,旨在利用模型的特定漏洞。但两者的共同点在于它们都证明了一个事实——文生图模型的文本理解并非基于真正的语义理解,而是基于向量空间中的几何关系,这种机制既赋予了模型惊人的创造力,也暴露了其脆弱性。
这提醒我们,文生图模型并非真正"看懂"了提示词,而是在庞大的图文关联网络中做插值与拟合。它擅长在已知概念之间做流畅的过渡,却始终无法凭空创造完全脱离训练分布的东西。所谓的假词角色,本质上仍是训练数据的某种重新排列组合——它们总是看起来"合理"却从不"全新",因为模型只能在已见过的视觉概念之间进行创造性重组。
对创作者而言,理解这一点很重要:AI是一个强大的联想引擎,而非独立的想象力主体。真正的创意,仍来自于人如何设计输入、筛选输出、赋予意义。这场用假词造角色的游戏,恰恰把这种"人机协作的想象力"展现得淋漓尽致。
结语
从一个随机单词生成器到Midjourney的角色画廊,这个实验虽小,却生动揭示了生成式AI的运作逻辑与创作潜力。它既是技术特性的趣味演示,也是打破创作惯性的实用技巧。下一次当你的灵感枯竭时,不妨试试给AI喂几个不存在的词——或许它会带来意想不到的惊喜。
相关推荐

机器学习研究入门:必读论文清单与研究实习申请路径
为ML初学者整理从零到研究实习的完整路径,包括必读经典论文清单(AlexNet、ResNet、Transformer等)、论文阅读方法、复现技巧及研究实习申请的实用建议。

Claude Code 入门实战教程:安装配置到自动化开发完整指南
详解Claude Code从环境搭建、权限配置、Go目标自主循环、Skills技能系统、MCP协议集成到版本控制的完整开发流程,帮助开发者快速掌握AI编程自动化工具。

Gemini 3.7 Flash发布与GPT-5.6极速模式:AI开源迈向生态时代
谷歌发布Gemini 3.7 Flash专注编程与Agent优化,OpenAI推出GPT-5.6 Ultra-Fast模式实现14倍速度提升。AI开源从开放模型转向开放生态,Agent工具链与成本监控工具密集涌现,智能体工作流进入实用化阶段。