【LLM】从零开始学大语言模型 | 9 | Vision Transformer

Wed, 26 Aug 2026 10:00:00 +0800

跨界与融合：从视觉 Transformer (ViT) 到多模态大模型的底层逻辑

在前面的文章中，我们已经看到 Transformer 在自然语言处理中一路高歌猛进。但 Transformer 真正令人震撼的地方，不只是它能处理文字，而是它的架构具备极强的通用性——同样的 Self-Attention 机制，稍加改造，就能处理图像、音频、甚至跨模态的信息。

本文将沿着三个核心问题展开：第一，ViT 是如何让 Transformer “看”懂图片的？第二，CLIP 是如何让模型同时理解图片和文字的？第三，现代多模态大模型（如 GPT-4V、Qwen-VL）是如何将视觉与语言能力融为一体的？我们将从 ViT 的核心机制出发，逐步深入到 CLIP 的对比学习原理，再到现代多模态大模型的底层工程逻辑，带你透视大模型跨界与融合的完整脉络。

一、图像如何变成“序列”？视觉 Transformer (ViT) 的核心机制

在 2020 年之前，计算机视觉是卷积神经网络（CNN）的绝对天下。CNN 通过卷积核在图像上滑动，提取局部特征。然而，Google 的研究人员提出了一个大胆的想法：放弃卷积，将图像转化为序列，直接喂给标准的 Transformer Encoder。这就是 ViT（Vision Transformer）的诞生。

1. 图像切块与线性映射的数学等价性

Transformer 无法直接处理二维的像素矩阵，因此 ViT 的第一步是将图像“序列化”。假设输入一张 $224 \times 224$ 像素的图片，ViT 会将其像切披萨一样，切割成 $16 \times 16$ 像素的小块（Patch）。总共会得到 $(224/16) \times (224/16) = 196$ 个 Patch。

接下来是展平（Flatten）与线性映射（Patch Embedding）。每个 $16 \times 16$ 的 RGB Patch 包含 $16 \times 16 \times 3 = 768$ 个像素值。在计算机内存中，这些像素按行优先（Row-major）的顺序连续存储。展平机制就是直接将这 768 个数字“拉直”，变成一个长度为 768 的一维向量 $x_{patch}$。随后，通过一个可学习的权重矩阵 $W$（形状为 $[768, 768]$），进行矩阵乘法 $x_{embedded} = x_{patch} \times W$，将其映射到 Transformer 能处理的特征空间。

ViT on Blog

【LLM】从零开始学大语言模型 | 9 | Vision Transformer

跨界与融合：从视觉 Transformer (ViT) 到多模态大模型的底层逻辑

一、 图像如何变成“序列”？视觉 Transformer (ViT) 的核心机制

1. 图像切块与线性映射的数学等价性

一、图像如何变成“序列”？视觉 Transformer (ViT) 的核心机制