大模型:概率编造的电子虚像
作者注:本文写于 2025 年 7 月,系我早期的作品。该文章如今看来存在诸多不妥与夸大之处,在此仅供归档留存,请勿作为任何参考依据。
大模型:概率编造的电子虚像
在ChatGPT刚出来之时,大模型还是个新奇的东西。人们惊叹于其魔法般的使用体验:能聊天、能写作、能解题、能翻译、还能写代码……彼时的人们认为,AI就是”第四次工业革命”。如今,2025年,大模型的能力早已不同往日:以DeepSeek为首的推理大模型将大模型能力带上一个新的台阶。但人们对大模型的抱怨却越来越重:内容空洞、逻辑混乱、充满幻觉,大模型似乎变成了一个只能吐出”正确答案”的冰冷机器。与此同时,大模型训练数据版权纠纷、大模型是否会替代人类。在我看来,现在的大模型不过是用概率编制的电子幻想,其并非无所不能,且有很大的安全隐患。
大模型从原理上就决定了它无法生成准确的内容。
目前所有的大模型都基于transformer这一个架构。这一架构使得大模型输出文本的本质就是”概率论”:大模型通过让用户输入的一个个需求拆解成token,再通过自己从语料库中学到的知识和上下文进行推理,预测下一个token哪个token出现的概率最大。
比如用户输入了”今天天气怎么样?”,当用户点击发送时,大模型就会启动推理,开始预测第一个token出现的概率:
今天 概率80%
根据 概率40%
你好 概率20%
……
这时候大模型往往会根据token出现概率,结合其设定(例如Temperature、Top-k)挑选token输出。
这里存在的致命问题就是,大模型其实并不知道用户输入的需求也不知道自己生成的文本,他只会根据一系列复杂的原理进行预测,这就导致了大模型从原理上就不可避免地会输出错误内容。还是拿上面的例子举例,大模型其实根本就不知道你今天要问他天气,也不知道今天的天气的真实情况如何,就容易生成”今天天气50℃”这样的错误信息。
同样地,大模型产生幻觉的原理,也同样是其自身架构导致的:当用户提出需求而大模型却无法从语料库中找到对应的答案时,大模型往往会陷入”幻觉”,生成一堆看似很合理实则完全是虚假信息的内容(就像是”一本正经地胡说八道”)。例如你问他vtech(伟易达,一家总部位于香港的电子玩具公司)是什么公司,如果大模型没有网络搜索功能,那么他往往会输出错误的信息(”是的,我知道,vtech是一家连锁酒店,成立于1988年”)。
种种以上因素决定了,大模型有概率,而且是很大概率会生成不正确、虚假的内容(”9.11比9.8大””strawberry有两个r””鲁迅和周树人并不是同一个人”)。
多数网络用户和社区并不认可大模型生成内容,甚至强烈排斥。
从大模型刚出来的时候,人们就发现它能以很快的速度生成看起来极其”精美”和”准确”的文本,于是一时间大模型遭到滥用:人们将大模型生成的许多看似完美实则并无价值的内容大量散布到网上。
这严重污染了网络环境,导致网络上一时间大量”AI味”文章泛滥,更致命的是,大模型生产的内容往往具有误导性,很容易把人带偏产生错误观念,一旦人们对大模型生成的内容产生信任,深信不疑,后果更不堪设想。
如今,许多用户仍沉浸在大模型带来的虚假的高效率中,更有甚者对大模型的使用已经达到了宁滥勿缺的程度。然而在另一面,许多亚文化社区和网友经历了大模型生成内容大量泛滥后,已经在这方面达成了共识:必须禁止大模型生成内容,保护高质量的人工内容保证其不被破坏。如今你再去看这些亚文化论坛、wiki等,发现上面都明确标明禁止发布任何AI生成内容。这就从另一个层面上反映了:大模型生成内容并不被更具准确性的高质量的内容社区和精英用户所认可,而是遭到强烈排斥。这一决定在现在看来无疑是正确的。
许多大公司使用的训练资料质量并不高,且会产生版权问题。
大模型跟人一样,也需要通过各种文本来训练自己的能力。其中也会产生问题。AI巨头们往往从网络上爬虫搜集文本,将其大量资料经过人工筛选之后再喂给模型进行训练。这又会产生问题:
(1) 许多互联网社区,尤其是中文互联网社区,会将自己的高质量内容严格锁定在自己的平台内,不允许外界直接获取。这种现象被称为信息孤岛,这导致AI巨头在训练时无法让大模型读到更多真正有价值的高质量文本,进一步加剧了大模型的能力衰败。
(2) 许多资料往往还有各式各样的版权,而目前没有明确的法律能界定AI公司通过这些版权数据训练出来大模型是否侵权。目前已经有事例证明了大模型容易一字不差地吐出自己训练过的版权文本。这也就是为什么大公司常常会与各种公司产生纠纷的原因。
可是为什么即使开了网络搜索大模型也难以生成高质量内容的原因,因为本身的语料不足。同时版权风险进一步加剧了大模型生成内容在法律上的定位,毕竟谁也不想因为自己用大模型创作一部小说引发侵权而打官司。
大模型日益增长的能力已经超过了人们对大模型能力的需求。
就像科技界的安迪比尔定律一样,大模型带来的能力增长也很快会被人们提出更高要求的需求而消耗掉。ChatGPT刚推出时,人们惊叹于它什么活都能干,而如今能够深度思考的DeepSeek R1我们却会骂他幻觉严重,内容空洞。
因为在ChatGPT刚出来的时候,人们往往提的都是写一首诗,写一首歌,帮我写一个Python贪吃蛇等等这样简单的需求。但到现在,人们对大模型的需求已早不止于此。很多人对大模型提出各种复杂的需求,这考验的是模型各项的综合能力,但凡有一个环节出了问题,就导致其会生成不准确的内容。加上现阶段的大模型只擅长于模仿,而不擅长于创造,其能力还无法做到优秀,而部分AI厂商为了让成绩好看,往往在一些训练过程中只让大模型背题而不学会方法,就像有一个人将AI测试题经过改动之后发现大模型能力综合下降了10%,更加导致了大模型生成内容的不准确性增加。
**综上所述,大模型的内部架构就决定了其无法真正理解用户输出的文本和它生成的文本,很容易生成错误的虚假信息。**而其生成内容又具有高度的迷幻性,很容易让人深信不疑。除非哪一天大模型的底层架构进行改动大模型能够真正理解文本的含义,否则大模型生成的内容永远只是用概率编造的神话,用幻觉建造的城堡,永远不能保证其准确性和严密性,永远无法像人类一样真正的理解和思考。