跨界与融合：从视觉 Transformer (ViT) 到多模态大模型的底层逻辑
在前面的文章中，我们已经看到 Transformer 在自然语言处理中一路高歌猛进。但 Transformer 真正令人震撼的地方，不只是它能处理文字，而是它的架构具备极强的通用性——同样的 Self-Attention 机制，稍加改造，就能处理图像、音频、甚至跨模态的信息。
本文将沿着三个核心问题展开：第一，ViT 是如何让 Transformer “看”懂图片的？第二，CLIP 是如何让模型同时理解图片和文字的？第三，现代多模态大模型（如 GPT-4V、Qwen-VL）是如何将视觉与语言能力融为一体的？ 我们将从 ViT 的核心机制出发，逐步深入到 CLIP 的对比学习原理，再到现代多模态大模型的底层工程逻辑，带你透视大模型跨界与融合的完整脉络。
一、 图像如何变成“序列”？视觉 Transformer (ViT) 的核心机制
在 2020 年之前，计算机视觉是卷积神经网络（CNN）的绝对天下。CNN 通过卷积核在图像上滑动，提取局部特征。然而，Google 的研究人员提出了一个大胆的想法：放弃卷积，将图像转化为序列，直接喂给标准的 Transformer Encoder。这就是 ViT（Vision Transformer）的诞生。
1. 图像切块与线性映射的数学等价性
Transformer 无法直接处理二维的像素矩阵，因此 ViT 的第一步是将图像“序列化”。假设输入一张 $224 \times 224$ 像素的图片，ViT 会将其像切披萨一样，切割成 $16 \times 16$ 像素的小块（Patch）。总共会得到 $(224/16) \times (224/16) = 196$ 个 Patch。
接下来是展平（Flatten）与线性映射（Patch Embedding）。每个 $16 \times 16$ 的 RGB Patch 包含 $16 \times 16 \times 3 = 768$ 个像素值。在计算机内存中，这些像素按行优先（Row-major）的顺序连续存储。展平机制就是直接将这 768 个数字“拉直”，变成一个长度为 768 的一维向量 $x_{patch}$。随后，通过一个可学习的权重矩阵 $W$（形状为 $[768, 768]$），进行矩阵乘法 $x_{embedded} = x_{patch} \times W$，将其映射到 Transformer 能处理的特征空间。
在实际的 PyTorch 工程代码中，科学家发现“切块+展平+矩阵乘法”在数学上完全等价于一个二维卷积层（Conv2d）。只需设置卷积核大小（kernel_size）为 16，步长（stride）为 16，输入通道为 3，输出通道为 768。一行代码 nn.Conv2d(3, 768, kernel_size=16, stride=16) 就能完美实现 Patch Embedding。这种不重叠滑动的卷积操作，不仅完美契合了切块的物理意义，其底层的算子优化也让计算速度远快于手动切块。
2. 位置编码的查找表机制与空间整合
将图片切成 196 个 Patch 后，对于 Self-Attention 机制而言，这就像 196 块被打乱的拼图。Attention 本身具有“置换不变性”，它不知道哪个 Patch 在左上角，哪个在右下角。如果不加干预，模型会把“猫头”和“猫尾巴”当成相邻元素去理解。因此，必须引入位置编码（Positional Encoding）。
与原始 Transformer 使用固定的正弦/余弦函数不同，ViT 采用的是可学习的位置编码（Learnable Positional Embeddings）。它既不是绝对的 $(x, y)$ 物理坐标，也不是简单的 $1, 2, 3$ 序号，而是一个可学习的查找表。假设序列总长度为 197（196 个 Patch + 1 个用于聚合全局语义的 [CLS] Token），模型在初始化时会随机生成一个形状为 [1, 197, 768] 的矩阵。在训练过程中，反向传播会自动更新这 197 个向量，让它们隐式地学会代表不同的空间位置信息。
在整合方式上，位置编码通过逐元素相加（Element-wise Addition） 融入模型，即 $X_{final} = X_{patch_embedded} + X_{pos_embedding}$。不使用拼接（Concat）的原因有二：首先是保持维度不变，避免增加后续 Self-Attention 的计算负担（Attention 复杂度与特征维度 $d$ 的平方成正比）；其次是高维空间中的向量相加在几何上等同于平移，实验证明，神经网络能完美地在同一个高维空间中将“语义信息”和“位置信息”解耦，相加操作就像在像素特征上叠加了一层淡淡的“位置水印”。
3. ViT 基座架构与 CNN 的归纳偏置对决
ViT 纯粹使用的是 Encoder-only 架构。因为图像分类或目标检测需要的是对整张图的“全局深度理解”，而非自回归地生成下一个像素。在数学和代码层面，处理图片的 Transformer Block 与处理文本的 Block 没有任何区别，都是 $Q, K, V$ 矩阵乘法、Softmax、残差连接和 FFN。唯一的区别仅在于输入数据的物理含义，这完美证明了 Transformer 作为“通用序列处理引擎”的强大。
然而，ViT 刚提出时在小数据集上表现不如 CNN，这涉及归纳偏置（Inductive Bias） 的概念。CNN 具有强归纳偏置，天生假设了图像的“局部性”和“平移不变性”，这让它在小数据下能快速学到有用特征。同时，CNN 的卷积操作在每个位置上相互独立，天然适合 GPU 的大规模并行计算，因此训练效率很高。而 ViT 的 Self-Attention 没有任何先验知识，必须从头学习“相邻像素更相关”的常识，训练初期效率不如 CNN。但转折点在于 Scaling Law（缩放定律）。当训练数据量达到极大规模（如 JFT-300M，3亿张图片）时，CNN 的强归纳偏置反而成了限制其学习复杂全局依赖的“天花板”；而 ViT 凭借 Self-Attention 的全局视野，在海量数据的喂养下，性能全面碾压了最先进的 CNN，展现出极高的上限。
ViT 证明了 Transformer 可以像处理文本一样处理图像。但这只解决了“看”的问题——模型能识别图片中的内容，却还不能真正“理解”图片与文字之间的关系。如何让一个模型同时理解图片和文字，并判断它们是否在描述同一件事？这就是下一个关键问题。
二、 跨越模态的鸿沟：CLIP 模型与对比学习
如果说 ViT 解决的是“让 Transformer 看懂图片”，那么 CLIP 解决的是下一个更关键的问题：如何让模型知道一张图片和一句话是不是在说同一件事。
1. CLIP 真正学习的任务：图文匹配
传统图像分类通常会问：这张图片属于“猫”“狗”“汽车”中的哪一类？这类任务依赖固定类别标签，也需要人工标注数据。
CLIP 换了一个更通用的任务：给定一张图片和一句文本，判断它们是否匹配。
例如，互联网上存在大量天然配对：
- 图片：一张金毛犬在草地上奔跑的照片。
- 文本：一只金毛犬在草地上奔跑。
CLIP 的训练目标，就是让这对图文的表示彼此靠近；同时让这张图片和其他不相关文本的表示彼此远离，例如：
- 一只猫趴在沙发上。
- 一辆红色汽车停在路边。
- 一片海滩上的日出。
因此，CLIP 不是简单地背诵“图片里有什么类别”，而是学习“图像内容”和“语言描述”之间的对应关系。
这些图文对通常不需要人工标注类别。网页中的图片和旁边的标题、说明文字天然构成配对，所以 CLIP 的训练信号来自数据本身。这种训练方式通常被称为弱监督学习或自监督学习。
2. 双塔架构：把图片和句子编码到同一个空间
图片和文本不能直接比较。像素值无法和词语直接计算相似度。因此，CLIP 使用了双塔架构。
图像塔通常是一个 ViT 或 CNN，它把图片编码成一个向量$v_{img}$。文本塔通常是一个 Transformer 文本编码器，它把句子编码成一个向量$v_{text}$
为了让两者可以比较，这两个向量会被映射到同一个维度，例如 512 维。之后，模型使用余弦相似度衡量它们有多接近：
$$S = \frac{v_{img} \cdot v_{text}}{|v_{img}| |v_{text}|}$$
如果一张图片和一句话语义相近，它们的向量夹角就小，余弦相似度接近 1；如果不相关，相似度就会偏低。
可以把这个过程理解成：图像塔把图片翻译成一种“视觉语义向量”，文本塔把句子翻译成一种“语言语义向量”。虽然来源不同，但它们被训练到同一个语义空间中，因此可以互相比较。
3. 对比学习：在一个 Batch 里玩“连连看”
真正训练时，CLIP 不会一次只看一对图文，而是取一个 Batch。假设一个 Batch 中有 $N=32$ 对图文。
这 32 对数据中，第 1 张图对应第 1 句文本，第 2 张图对应第 2 句文本，以此类推。模型会计算 32 个图像向量和 32 个文本向量之间的相似度，得到一个 $32 \times 32$ 的相似度矩阵：
$$S_{i,j} = \text{sim}(v_{img}^{(i)}, v_{text}^{(j)})$$
其中，$S_{i,j}$ 表示第 $i$ 张图片和第 $j$ 句文本之间的相似度。
这个矩阵可以直观理解成一张“连连看”表格：
- 对角线上的 $S_{1,1}, S_{2,2}, \dots, S_{32,32}$ 是正确配对。
- 非对角线上的 $S_{1,2}, S_{1,3}, \dots$ 是错误配对。
理想状态下，模型希望这个相似度矩阵变成这样：
- 对角线分数很高，表示正确图文对彼此接近。
- 非对角线分数很低，表示错误图文对彼此远离。
也就是说，模型要让每张图片都能在 32 个候选句子中准确找到自己的那句描述，同时排除其他 31 个干扰项。
4. InfoNCE 损失：把“找正确句子”变成交叉熵分类
CLIP 的训练损失通常称为 InfoNCE。对第 $i$ 张图片来说，任务等价于一个 $N$ 分类问题：在 $N$ 个候选文本中选出唯一正确的文本。
公式为：
$$\text{Loss}i = -\log \frac{\exp(S{i,i} / \tau)}{\sum_{j=1}^{N} \exp(S_{i,j} / \tau)}$$
其中：
- $S_{i,i}$ 是正确图文对的相似度。
- $S_{i,j}$ 是第 $i$ 张图片和第 $j$ 个文本的相似度。
- $\tau$ 是温度系数，用于控制概率分布的尖锐程度。
这个公式的直觉是：正确文本的相似度越高，分子越大；错误文本的相似度越低，分母越小；损失就越小。
反过来，如果模型把很多错误文本也打了高分，分母会变大，损失就会变大。因此，CLIP 必须同时做两件事：
- 拉高正确图文对的相似度。
- 压低错误图文对的相似度。
这也是为什么不能只拉高对角线。如果只让正确配对变高，不压低错误配对，模型可能学成一个“把所有图文都判为相似”的系统。这样的模型无法区分“狗在草地上”和“猫在沙发上”，也就无法真正理解图文差异。
从数学上看，InfoNCE 并不是神秘的新损失，它本质上就是把“从一堆候选文本中找出正确文本”变成了一个交叉熵分类问题。只不过这里的类别不是固定标签，而是同一个 Batch 里的其他文本。
5. 为什么 CLIP 能做零样本图像分类？
训练完成后，CLIP 不再需要固定类别表。假设我们要判断一张图片是不是“独角兽”。传统分类模型通常需要用带“独角兽”标签的数据训练或微调。
CLIP 的做法不同。
第一步，把候选类别写成句子，例如：
- 一张独角兽的照片。
- 一张马的照片。
- 一张猫的照片。
第二步，把这些句子送入文本塔，得到多个文本向量。
第三步，把图片送入图像塔，得到图像向量。
第四步，计算图像向量和每个文本向量的相似度，选择相似度最高的类别。
这就是所谓的零样本（Zero-shot）能力。模型没有在“独角兽分类任务”上专门训练过，但它在预训练阶段见过大量互联网图文对，已经学会把“独角兽”这个语言概念和对应视觉特征对齐。
因此，CLIP 的强大之处不在于认识某个固定类别，而在于它建立了一个开放的图文对应关系。只要一个概念能用语言描述出来，并且模型在预训练中接触过相关图文，它就有机会通过文本提示识别对应图像。
6. 图像内容很复杂时怎么办？
如果图片中只有一个主体，比如“一只狗”，使用图像塔输出的全局向量就足够。很多模型会用 [CLS] 向量表示整张图片的整体语义。（[CLS] 是一个特殊的标记，被插入到序列的最前面。通过 Self-Attention 机制，它会吸收所有 Patch 的信息，最终汇聚成一个代表整张图片全局语义的向量。）
但如果图片中有很多对象，比如一张街景图里有行人、汽车、路牌、建筑，仅靠一个全局向量就容易丢失细节。它可能知道这是一张“城市街景”，却很难精确判断“左侧有行人”或“右上角有路牌”。
此时，模型不会只使用 [CLS]，而是保留 ViT 输出的所有 Patch 向量。每个 Patch 向量对应图片中的一个小区域。这样，文本中的“左侧的行人”“右上角的路牌”等表达，就有机会和对应图像区域的 Patch 向量对齐。
现代多模态大模型能够进行细粒度识图、目标定位和复杂视觉问答，很大程度上依赖这种从“全局匹配”走向“局部对齐”的能力。CLIP 提供了图文对齐的基础思想，而后续模型则进一步把这种对齐做得更细、更深、更接近语言推理。
CLIP 实现了图文语义对齐，但它的能力主要停留在“匹配”层面——判断一张图和一句话是否相关。如果我们想让模型不仅识别图片内容，还能围绕图片进行深度问答、逻辑推理，甚至根据图片写一篇分析报告呢？这就需要将视觉能力与大语言模型（LLM）的推理能力结合起来，也就是现代多模态大模型（LMM）要解决的问题。
三、 现代多模态大模型（LMM）的工业界范式
在 ViT 解决了图像序列化、CLIP 实现了图文语义对齐之后，多模态领域迎来了下一个核心诉求：如何让一个具备强大逻辑推理和对话能力的大语言模型（LLM），也能“看懂”图片并围绕其进行复杂交互？这就是现代多模态大模型（Large Multimodal Model，简称 LMM，如 GPT-4V、Qwen-VL、LLaVA 等）要解决的问题。
1. 从“图文匹配”到“视觉推理”：为什么 CLIP 不够用？
CLIP 的核心能力是“判断图文是否匹配”，这在零样本分类和检索中非常强大，但它并不具备真正的“视觉推理”能力。所谓“视觉推理”，是指理解图像中各元素之间的空间关系、因果关系，并结合常识进行多步逻辑推导的能力。例如，给 CLIP 一张包含复杂图表或密集物体的图片，并问“图中第三列的数据趋势说明了什么？”，CLIP 是无法回答的。因为它只负责将整张图映射为一个全局向量，缺乏对细粒度空间关系的理解，更没有语言模型那种多步逻辑推导和指令跟随的能力。
因此，现代 LMM 并没有抛弃 LLM，而是选择将视觉编码器（如 ViT）作为 LLM 的“眼睛”。但这里面临一个工程与数学上的双重难题：视觉编码器输出的是高维连续特征（例如 1024 维的浮点数向量），而 LLM 处理的是离散的文本 Token 对应的词嵌入向量（例如 4096 维）。两者的维度不同，语义空间也完全独立。直接拼接会导致 LLM 无法理解这些视觉信号，甚至破坏其原有的语言能力。
2. 投影层（Projector）：跨模态语义的桥梁
为了解决上述问题，LMM 在视觉编码器和 LLM 之间引入了一个投影层（Projector）。它的核心作用不仅是维度转换，更是将视觉特征“翻译”并映射到 LLM 的词嵌入空间中。目前工业界主要有两种实现流派：
第一种是轻量级多层感知机（MLP），以 LLaVA 为代表。它通常由两到三个线性层和非线性激活函数组成，数学表达为 $h = W_2 \sigma(W_1 x)$，其中 $x$ 是视觉特征，$h$ 是映射后的视觉 Token。这种方式保留了 ViT 输出的所有 Patch 特征（即 Dense features），让 LLM 能够“看”到图片的每一个细节。它的优势是结构简单、信息无损，但代价是输入 LLM 的序列长度会显著增加，导致 Attention 计算量激增。
第二种是基于 Cross-Attention 的聚合结构，如 BLIP-2 中使用的 Q-Former。它预先定义一组数量固定（如 32 个）的可学习 Query 向量，让这些 Query 通过交叉注意力机制去“提取”和“压缩” ViT 输出的几百个 Patch 特征。这种方式大幅减少了送入 LLM 的视觉 Token 数量，降低了计算成本，但本质上是一种信息瓶颈（Information Bottleneck），可能会丢失一些细粒度的视觉细节。
3. 两阶段训练法：表示对齐与指令跟随
仅仅有架构是不够的，如何让 LLM 学会理解这些视觉 Token 是训练的核心。直接端到端训练会导致 LLM 发生灾难性遗忘（Catastrophic Forgetting），破坏其原有的语言能力。因此，工业界普遍采用“两阶段训练法”。
第一阶段：特征对齐预训练（Feature Alignment）。 在这个阶段，视觉编码器和 LLM 的权重通常被冻结，只训练投影层。训练数据是海量的、相对简单的图文对（如网络爬取的图片及其简短描述）。训练目标通常是让 LLM 根据视觉 Token 预测出对应的文本描述（Image Captioning）。这一阶段的本质是让投影层学习到一个良好的初始化权重，使其输出的视觉向量在几何空间上尽可能靠近 LLM 中对应概念的文本词向量。这就好比给 LLM 配备了一个“视觉翻译官”，先让它学会基础的词汇映射。
第二阶段：视觉指令微调（Visual Instruction Tuning）。 在这个阶段，投影层和 LLM（有时也包括视觉编码器）会被解冻，进行端到端的联合微调。训练数据变成了高质量的“图片 + 复杂问题 + 详细推理过程”的指令数据集（Visual Instruction Data）。此时的损失函数是标准的语言模型自回归损失（Next Token Prediction）。模型在这一阶段不仅学习视觉 Grounding（将视觉特征与具体物体绑定），还学习如何将视觉信息与 LLM 内部的常识和逻辑推理能力结合起来，从而回答诸如“图中人物的表情暗示了什么情绪？”这类需要深度推理的问题。
4. 视觉底座的进化：SigLIP 与 InternViT 的底层突破
随着 LMM 对视觉理解要求的提高，传统的 CLIP 逐渐暴露出一些底层局限，促使了新一代视觉编码器的诞生。
SigLIP 主要解决了 CLIP 训练时的扩展性瓶颈。传统 CLIP 使用的 InfoNCE 损失函数包含一个 Softmax 操作，其分母需要计算整个 Batch 内所有负样本的指数和。在分布式训练中，这意味着必须进行全局的 All-Gather 通信，当 Batch Size 增大到数万时，显存和通信开销会呈平方级增长。SigLIP 抛弃了全局 Softmax，改用逐对的 Sigmoid 损失（Binary Cross Entropy），将图文匹配转化为独立的二分类问题。其损失函数变为对每个样本对独立计算 $- [y \log(\sigma(S)) + (1-y)\log(1-\sigma(S))]$。这一改动彻底解除了 Batch 内的全局依赖，使得模型可以使用极大的 Batch Size 进行高效训练，在零样本性能上全面超越了原版 CLIP。
InternViT 则致力于解决高分辨率与细粒度理解的矛盾。传统 ViT 若要处理高分辨率图像，必须切出更多的 Patch，导致序列长度剧增，直接撑爆 LLM 的上下文窗口。InternViT 引入了动态分辨率机制和 Patch Merging（块合并）技术。在提取特征时，它可以将相邻的 $2 \times 2$ 个 Patch 特征在通道维度上进行合并，从而在保留高分辨率图像丰富细节（Dense features）的同时，将输入 LLM 的序列长度压缩为原来的四分之一。这使得 LMM 能够精准识别图片中的微小文字、复杂图表和密集目标。
四、 架构之争：“融合多模态”与“原生多模态”
在理解了当前 LMM 的主流架构后，一个更触及本质的问题浮出水面：这种“ViT + Projector + LLM”的拼接模式，算不算真正的多模态？在学术界和工业界的前沿探讨中，这通常被称为“融合多模态（Fused Multimodal）”，而研究者们正在追求的终极形态，是“原生多模态（Native Multimodal）”。
1. 拼接式架构的本质局限
当前的融合多模态架构，本质上是两个独立预训练的“黑盒”系统的强行拼接。视觉编码器在图文匹配任务上优化，LLM 在纯文本自回归任务上优化。投影层只是一个事后的“补丁”，试图将连续的视觉特征硬生生地扭曲、映射到 LLM 的离散词嵌入空间中。
这种架构存在明显的信息瓶颈。LLM 本质上依然是一个纯文本模型，它只是在用处理语言的“脑区”去强行理解被翻译过来的连续视觉信号。这导致模型在处理需要极高视觉保真度的任务（如精确的图像编辑、像素级分割）时，往往力不从心。此外，视觉和文本在模型内部并没有实现真正的底层交融，跨模态的注意力机制往往只是在浅层进行特征交互。
2. 原生多模态的核心：视觉特征的离散化
真正的原生多模态，追求的是从输入表示到模型架构的“大一统（Unified）”。其核心第一步，是视觉特征的离散化。
在融合架构中，图像被表示为连续的浮点数向量。而在原生多模态（如 Meta 的 Chameleon、Google 的 Emu3）中，图像被转化为与文本一样的离散 Token。这通常通过 VQ-VAE（向量量化变分自编码器） 来实现。
VQ-VAE 包含一个 Encoder、一个离散的 Codebook（码本）和一个 Decoder。图像经过 Encoder 提取出连续特征后，并不是直接输出，而是去 Codebook 中查找与其特征最接近的码字（Nearest Neighbor lookup）。这个查找过程将连续的视觉特征量化（Quantization）为一系列离散的整数索引。这些索引就是“视觉 Token”。通过这种方式，图像被压缩成了一串离散的符号序列，与文本 Token 在数学形式上实现了完全统一。
3. 大一统的自回归：万物皆 Token
实现了 Token 级别的统一后，原生多模态模型不再需要独立的视觉塔和投影层。文本 Token 和视觉 Token 被混合成一个单一的长序列，直接输入到同一个 Transformer 中。
此时，模型的预训练目标变得极其纯粹：Next Token Prediction（下一个 Token 预测）。
在这个统一的自回归框架下，模型不再区分自己是在“看图”还是在“读文”。如果序列的下一个位置是文本 Token，模型就是在进行常规的语言生成；如果下一个位置是视觉 Token，模型就是在“生成图像”。当模型生成完一串视觉 Token 后，只需将这些 Token 送入 VQ-VAE 的 Decoder，就能还原出真实的像素图像。
这种架构带来了真正的跨模态生成能力。模型可以“看图说话”（输入视觉 Token，预测文本 Token），也可以“听音画图”（输入文本 Token，预测视觉 Token），甚至可以进行“图像到图像”的翻译。因为在模型眼中，一切都只是序列中的 Token 续写问题。
4. 工程现实与终极理想的博弈
尽管原生多模态在理论上极其优雅，但目前的工业界主流依然是“融合多模态”。这并非因为原生架构不好，而是因为它面临着巨大的工程与优化难题。
首先是模态竞争（Modality Competition）。文本 Token 和视觉 Token 的信息熵和分布规律差异极大（文本通常符合 Zipf 定律，而视觉 Token 具有强烈的空间局部相关性）。在统一训练时，模型往往会倾向于优化更容易收敛的模态（通常是文本），导致视觉模态的学习被抑制，生成图像的质量大幅下降。
其次是计算与显存的极致消耗。原生多模态模型无法像融合架构那样直接复用现成的、已经训练好的强 LLM 和强 ViT。它必须从随机初始化开始，在海量的图文混合数据上进行从头预训练（Pre-train from scratch）。这需要数万张 GPU 运行数月，成本是绝大多数团队无法承受的。
因此，当前的格局是一种务实的妥协：融合多模态（ViT + Projector + LLM）凭借极高的工程性价比和快速迭代能力，占据了当下的工业界主流；而原生多模态则作为更具潜力的长期方向，在顶尖实验室中不断突破离散化与统一优化的技术边界。两者并非简单的替代关系，而是多模态大模型在不同发展阶段的最优解。
结语
从 ViT 将图像序列化的数学巧思，到 CLIP 对比学习的本质，再到现代 LMM 的两阶段对齐训练与原生多模态的架构探索，我们已经完整走过了多模态大模型从“看”到“懂”再到“推理”的技术脉络。
回顾全文，核心线索其实非常清晰：
- ViT 解决了“如何让 Transformer 处理图像”的问题，将图像切块、展平、加上位置编码，转化为标准的序列输入；
- CLIP 解决了“如何让模型理解图文关系”的问题，通过双塔架构和对比学习，将图像和文本映射到同一个语义空间；
- 现代 LMM 解决了“如何让语言模型具备视觉推理能力”的问题，通过投影层和两阶段训练，将视觉编码器与大语言模型无缝融合；
- 原生多模态 则展望了更远的未来——让视觉和语言在同一个 Transformer 中真正统一。
Transformer 以其无与伦比的通用性，成功跨越了视觉与语言的鸿沟。接下来，大模型的征途将指向更深邃的领域：这头由数千张 GPU 喂养出来的“万亿参数巨兽”，是如何在海量纯文本数据中真正觉醒，并展现出令人类惊叹的“涌现能力”的？这将是预训练与 Scaling Law 最核心的秘密，也是大语言模型（LLM）诞生的真正基石。