本站内容为初稿,未经同行评审,后续会持续更新内容。

智能论连载第 1 篇

INT-11大语言模型的智能本质——语言作为最高密度低熵信息载体的胜利

22 页发布于 2026-11-05

下载 PDF

摘要

大语言模型先于世界模型成功,这件事需要一个解释。按信息量算,一张图的像素、空间关系、纹理,比同样存储的一段文字多得多;视频更多;具身交互最多。如果智能的高度由输入的信息量决定,视觉和具身系统本该先智能起来。事实是相反的。

我们的说法是:决定智能的不是信息量,是信息质量。语言的每一次符号使用都被几十亿人反复筛选过——低熵、高密度、自洽,这三样加起来,使语言成为人类造物里信息质量最高的载体。大模型预训练本质上是有史以来规模最大的一次低熵预训练。

这个框架一次接住四件事:视觉与视频模型为什么滞后于语言模型、AI 为什么按语言→图文→视频→3D/具身 的顺序发展、Chinchilla 定律该怎么重新读、以及涌现能力到底是什么。我们还做了一次能做的检验——跨模态污染传播实验:2 个视觉语言模型 × 3 个任务 × 4 个条件 × 10 次重复,共 240 次调用,看两个通道给出互相矛盾的值时模型信哪一边。结果分裂:一个模型 96.7% 信文本,与预测一致;另一个只有 33.3% 信文本,方向相反。 因此这个实验没有验证核心命题,只留下一个待解释的异常。

这是一次理论构建,不是实证报告。边界也说清楚:信息质量的精确函数形式没有给出,不同模态的信息质量没有定量比较,涌现临界点只是定性刻画。实验只有两个模型、每个条件 10 次重复,百分比的分辨率是 3.3 个百分点;更要紧的是两个模型的结果方向相反,所以连「文本比图像更被信任」这一条也没有建立起来。

关键词:大语言模型,低熵信息,语言本质,涌现能力,多模态学习,智能论

全文

PDF · 22 页

在页内预览

在新窗口打开 PDF →

下一篇的问题

如果决定智能的是信息质量,这个量总该能量出来。下一篇问的是:它到今天为止,到底测到了哪一步?