论文 Proving and Improving the Platonic Representation Hypothesis with JEPAs
作者 Randall Balestriero, Yann LeCun
版本 arXiv，2026 年 10 月
不同模态为什么可能学到相似的表示？
同一个场景可以被拍成图片，也可以被写成文字。Platonic Representation Hypothesis 认为，随着模型变强，不同模型、不同模态学到的表示可能逐渐趋向共同的世界结构。
这篇文章进一步问，什么训练条件会促成这种对齐？能不能主动设计训练目标，让两个分别训练的编码器更容易对齐？作者选择从 JEPA 入手，分析正样本关系如何决定表示空间的几何结构。
正样本到底应该共享什么？
假设一个场景是“球员在篮下投篮”。两个人分别描述这张图片，可能用词不同，但都在描述同一个场景。作者把这种共享底层世界状态、观察细节各自变化的样本称为 good views。
另一种构造方式是拿同一句描述做裁剪、遮盖或切分。两个片段除了场景语义，还共享这一次描述中特有的措辞和表达习惯，模型可能把表示容量花在这些细节上。文章称之为 bad views。
这里的区分依赖于希望保留的世界状态和希望消除的干扰因素。构造正样本的方式，实际上已经在告诉模型哪些差异应该忽略。
定理证明了什么？
设世界状态为 $z$，模态 $m$ 的观察为 $g_m(z)$，编码器为 $f_m$。在论文的条件下，不同模态的最优表示可以写成
\[f_m(g_m(z))=Q_m h^*(z),\]其中 $h^*$ 是共同表示，$Q_m$ 是模态各自的正交变换。因此，分别训练的表示可以在旋转或反射之后对齐。
主要条件包括有限世界、观察映射可逆到世界状态、匹配的数据边缘分布、相同的正样本关系，以及目标函数的最优解只存在正交变换的不确定性。谱形式的 JEPA 分析还需要相应的谱间隙等条件。
这些条件很重要。真实图像和文字经常丢失不同信息，实际训练也只有有限样本。作者在结尾明确指出，实验中的 LeJEPA 并没有完全满足所有定理假设。因此，理论给出了一组充分条件，实验检验这些条件启发的训练方式能带来多少收益。
实验中哪些结果值得记住？
作者在相同语料上比较 good-view JEPA、bad-view JEPA 和 next-token prediction，尽量把“看到了什么数据”与“怎样利用数据”拆开。
在论文的表征对齐指标上，good views 达到相同水平所需的样本约为 next-token prediction 的 $1/42$。一个 109M 的文本 JEPA 在该对齐基准上达到 0.184，高于 Qwen2.5-72B 的 0.154。这个比较测量的是表示几何的一致程度，推理和生成能力还需要各自评测。
作者还把分别训练的视觉编码器和文本解码器连接起来，用 30k 个图文对拟合一个线性映射，实现图片描述生成。在无配对对齐的另一组实验中，109M 文本 JEPA 在 ImageNet-100 的 top-5 分类准确率达到 64.4%，超过比较论文报告的最高 56%。这两组应用使用的配对条件不同，需要分别看。
一个容易忽略的细节是训练文本的来源。大规模数据中，每张图的三段文本有两段由图像描述模型生成，这个模型本身使用了图文训练过的视觉编码器。因此，跨模态信息已经通过描述文本进入训练数据。作者也报告了去掉这类描述后的对照，并承认对齐效果会下降。
我的想法
感觉这篇文章把“模型越来越大，表示就会趋同”往前推进了一步。正样本怎么定义，可能比单纯增加参数更直接地影响模型最终保留什么信息。理论里的共同正样本关系，也给了一个检查数据构造的具体入口。
这让我想到球员 ReID。同身份跨帧样本、同一时刻不同摄像机画面、同一场景的不同描述，分别共享不同层次的信息。若正样本同时绑定了球衣、背景或镜头习惯，模型就可能学到这些容易利用的线索。以后设计上下文或多视角训练时，应该先明确希望哪些因素变化、哪些因素保持一致。
不过，“独立训练”背后的数据来源也需要仔细看。样本分组本身需要知道哪些观察属于同一场景，生成描述又可能带入教师模型的跨模态知识。把这些信息来源列清楚，才能判断共同表示究竟来自目标函数、数据结构，还是已经存在于上游模型中的知识。