最近chatGPT以及GPT-4的出现，引发了对通用人工智能的讨论的小高潮。目前实现通用人工智能有不同的方式，有类似chatGPT的大模型，也有其他的不依赖大模型的方向正在被尝试。

这引发我们思考，是否最终实现通用人工智能的道路就是依赖大模型？有没有大模型不能做到的系统性问题？而我们所研究的计算神经科学又能够在通用人工智能的发展中发挥什么样的作用呢？

为了探索这些问题，所以写了这个笔记，把一些看到的相关的知识整理梳理在这里。

I. What is AGI?

Definition 1 :

  1. 自学能力[1]
  2. 透明化AI系统，使得其更具备道德和治理的可能[1]
  3. 类大脑神经模式

Definition 2 :

The human-like system is a system that excels in “vision, reward-based learning, interacting with the physical world, and language” [3]

II. What can’t nowadays AGI based on big models do?

  1. Unable to contextualize and summarize information

    Reasoning and high-level language processing capabilities [2].

  2. Adaptability, flexibility, and the ability to make general inferences from sparse observations

III. NeuroAI research（Big pictures）

  1. The foreseeable step is to make systems that consist of a few basic ingredients of intelligence —— “ adaptability, flexibility, and the ability to make general inferences from sparse observations[3]. The neuroscience of embodied interaction with the world observed in all animals can be monumental in bringing the dream of ‘human-like’ AI much closer.

  2. Ideas from neuroscience yet to be fully embraced in ML [3]:

    – massive amount of structure (eg Van Essen diagram)

    – power of dendrites (@mattlark/@YiotaPoirazi etc)

    – variety of neurons (@AllenInstitute)

    – areawise specialization (@Nancy_Kanwisher)

    – intrinsic cues & development (Rakic)

  3. 信度分配问题

    信度分配是指，在发现错误之后，如何修正错误。在AI中使用反向传播算法来实现。但是我们并不知道真实的大脑的学习规则，但是大脑目前更倾向于是用一种局部学习规则来解决，即每个突触仅仅使用物理上可用的信息来调整其强度，例如由突触连接的两个神经元的电活动、其他附近突触的连接强度，以及任何反映反映奖励和错误的神经递质输入。解释这种局部突触的规则是什么，以及它们如何工作可能对 AI 产生重大影响，带来学习上避免反向传播通信开销。

  4. 整合突触复杂性与神经网络的记忆容量

    人工神经网络具有灾难性遗忘的问题，这可能是因为生物突触的动态复杂性被忽略了。事实上，目前生物领域的发现，认为每个生物突触内隐藏的极其复杂的分子信号通路，化学反应网络构成的复杂时间动态系统，对学习和记忆很重要。