图灵奖得主杨立昆人工智能大会发言：不喜欢AGI一词 大语言模型架构存在缺陷

【资料图】

【网易科技7月6日报道】今日，2018年图灵奖得主、Meta Al基础人工智能研究(FAIR)团队首席人工智能科学家杨立昆与地平线创始人兼CEO余凯在2023人工智能大会上进行了一场对话，就人工智能治理展开了深入讨论。

首先，杨立昆谈到了过去十年人工智能领域最令人激动的进展——自主监督运行的革命。他特别提到了自然语言处理领域的语言模型和语音识别等与符号序列相关的技术。他指出，类似的革命正在扩展到图像和视频领域，并取得了显著成果。此外，他强调了在Transformer架构上的重大进步。

余凯进一步探讨了平移不变性和排列不变性的概念，并询问了杨立昆的看法。杨立昆解释道，在Transformer中，平移定变性是一种等变性，也就是说，如果输入发生平移，输出也会相应发生平移。他认为，通过结合平移和排列不变性的概念，我们能够实现许多有意义的应用。

随后，余凯提到了ChatGPT以及大型语言模型，并询问了杨立昆对这项技术是否可以通向人工通用智能（AGI）的看法。对此，杨立昆指出，关键在于系统的功能和缺陷，如果系统在某些基本能力上存在缺陷，那么它就无法走向人类智能的道路。此外，他表示对自己并不太喜欢AGI一词，因为每种智能都具有特定的领域专长。

在此基础上，杨立昆同时指出了一些关键问题。首先，大型语言模型仅通过文本进行训练，而没有利用图像或视频等其他类型的数据。这些模型的目标是预测文本中缺失的单词，例如ChatGPT只预测长文本的最后一个单词。然而，问题在于无法准确预测缺失的单词，必须预测整个字典中所有单词的分布。如果尝试在视频领域采用类似的生成式架构来预测视频的下一帧则面临挑战，因为视频帧之间差距很小。（江淼）

关键词：