imicola 大语言模型也会梦见仿生人吗?
大语言模型也会梦见仿生人吗?

大语言模型也会梦见仿生人吗?

1,575 字 · 约 4 分钟

难得的失眠的夜,想着毕竟都睡不着觉不如写点这段时间陆陆续续一直在思考的问题,正好好久也没发公众号了(笑)

大语言模型(LLM)究竟有属于自己的思考吗?其实我知道这是一个假命题,LLM本质上是一堆神经网络和Transformer构成的大型矩阵运算器,通过分词器,将你输入的和自己输出的语句拆分成Token转换成向量,然后根据上下文表示的基础上去计算一个新的向量,最后再将这个计算出来的向量通过复杂的转换映射回Token,再将这个token加入矩阵后面继续做运算。

当然现在的LLM架构肯定有很多优化延伸内容,不过据我所知应该还是没有脱离Transformer架构,所以底层我们依旧可以抽象为一个庞大复杂的 “矩阵计算器”

那么这么一个几乎纯粹在计算的大型复杂矩阵计算器,为什么看起来会思考会回答问题?或者说这种智能和思维只是LLM在现代工程下的一种 “假象”?

其实,我们一直在探寻的问题是,如何定义“思考”?人的思考是什么?是我们去判断,去根据我们的“经验”来确定一个具体的问题的过程。我们之所以能对一个事物思考,是因为我们构建了一套适用于自己人生的“世界模型”,在我们去 “想象” 某个事物的发生和推进的过程中,我们将整个流程融入到我们自己构建的模型中,我们推演。事物的发展和不同决策带来的影响,这便是一次常规思考的过程。其实现在LLM也是在模拟构筑这样的 “世界模型”,LLM每次训练内容量都以几千亿为计甚至更多,如此庞大的知识和内容本身是人类文明数千年产生的压缩内容,比如我们花费了数千年将“物品为什么往地面上掉”在语言上定义为了“重力”,而一些更加形而上学的东西在语言符号中被抽象的就更加明显,比如爱情,民主,存在等词语。而LLM,它做了个几乎和人类的认知构建论相反的动作,它的世界模型构建是从这些词语中反向逐步拆解,将抽象的概念具体化,反向拼凑出一个存在于 “矩阵预测” 中的世界模型。也就是说,LLM 主要通过观察人类留下的大规模符号痕迹来间接重建世界模型,甚至我们都不好判断LLM是否真正的“学习”出了一个世界模型出来。

一个婴幼儿,出生后不懂打翻桌子上的一个水杯后会发生什么,他的世界中只会在他打翻水杯后那一刻构建出 打翻水杯 -> 水杯会碎这样的认知,我们的学习和认知是在我们与世界的交互之中产生的,我们的行为影响着我们对世界的构建,甚至更极端一下,在我们思考本身这个过程中,我们的大脑也会因为思考问题而产生改变,这种我们置身于世界之中无时无刻的感受与认知构建了我们对世界的模型建立。想象一下一个书本燃烧产生火的场景,一个读过很多很多书但是没见过火的人,他知道发生了什么,甚至告诉我们书本因为剧烈的氧化反应产生了二氧化碳。但是和一个真正见过火并且感受过的人相比,他们的认知是相同的吗?而前者放大规模一百万一千万倍,不正是LLM吗?而我们说认知是构建世界模型的基础,而世界模型为我们提供思考的底座,这样算下来,LLM是否真的在思考,我们至少可以确定的是,LLM不是如同人类一样的在思考。

还有一个比较有趣且有意思的点,涉及康德提到的一个概念 “先验”,康德所谓的 a priori是在讨论“什么东西必须预先存在,经验本身才是可能的”。康德认为时间和空间是我们不能从经验中总结出来的,而是人类组织经验的基本形式,就像我们不可能在通过单纯的感受,然后突然顿悟说,“哦,原来这就是空间与时间”,因为我们说的“前后”“左右”“先发生”“后发生”本来就是我们组织经验时已经使用的框架。而对于LLM,我们如果借用而不是严格使用康德的术语,那么 Transformer 的架构似乎也具有某种“机器先验”的意味,即attention规定了一种 token 之间建立关系的方式,同时LLM本身是有上下文窗口的,这个窗口又让LLM看到了自己能访问到的内容,这些在训练前就被规定,被设定的东西对于LLM来说何尝不是一种 “先验”,而正是因为有这种“先验”,这是否也是为LLM提供组织经验的可能与框架呢?所以我们真正想问的问题是,如果有一个和我们人类不同的,能够从大量数据中模糊的构建一种和我们类似的世界模型并且在此基础上分析与推演,但它从未真正置身于我们所处的世界,那么我们愿不愿意把这种过程称为思考?


唉唉,好久没写过思考随笔了,可能这篇文章懂技术的人不太懂哲学,懂哲学的人不太懂技术,定位有点尴尬(难道是面向大模型?)但是还是希望你看看喵!毕竟这是imicola又一个失眠的夜里绞尽脑汁写出来的东西(