🔗原文链接
这篇文章属于“平庸计算”（Mediocre Computing）系列。
《时代》杂志将泰勒·斯威夫特评为年度人物，但至少有一位CNN撰稿人认为（我也怀疑很多人会同意），这个荣誉应该属于山姆·阿尔特曼。我个人认为，年度人物应该是“AI”本身，就像1982年“个人电脑”被评为年度机器一样。
不过，“机器”（machine）这个词似乎完全不足以描述现代AI的本质。与传统的“经典AI”（GOFAI）不同，现代AI更像是一种发现，而非发明，更不用说是一种由“机器”行为体现的发明了。我们真正在寻找的词汇是“发现”。如果说那些装满GPU的机架和PyTorch处理数据的方式构成了某种“机器”，那么它们更像是韦伯望远镜——它们是发现的工具，而非生产的引擎。这些“机器”让我们能够深入探索极其庞大的数据堆。“大型XYZ模型”更接近于连接在韦伯望远镜输出端的图像处理管道，而非CAD文件意义上的模型。
【译注：GPU：中文叫“图形处理器”。它最初是为了处理计算机图形（比如游戏、视频渲染）而设计的硬件；PyTorch 是一个开源的 深度学习框架，它提供了一套工具和接口，让研究人员和开发者能够更方便地构建、训练和部署深度学习模型；“大数据XYZ模型”通常是指一种基于大规模数据集构建的机器学习或AI模型。这里的“XYZ”是一个占位符，用来泛指某一类具体的模型或技术】
输出的神奇之处主要来自输入本身，而不是处理过程。韦伯望远镜并没有“制造”那些令人惊叹的图像，它只是用红外波段“捕捉”到了它们的存在。而所有的图像处理工作，不过是通过一种类似幻觉的伪彩色技术，将这些图像转换到我们的视觉范围内。
如果听起来我是在为AI建立一个“数据相机”的思维模型，那是因为我确实是这样想的。不过，你会发现，这反而让事情变得更有趣，而不是更乏味。与传统摄影不同（它终结了繁琐的写实绘画），但和韦伯望远镜类似，“数据摄影”揭示了数据中我们从未怀疑过、甚至无法想象的世界。这些数据庞大到我们的大脑根本无法完全容纳，而AI却能从中发现层层叠叠的新世界。
这就是“随机鹦鹉”理论（以及更早的“猴子打字机”理论）完全忽略的地方。我们本质上都是“随机鹦鹉”，背后还挂着一群在打字机上乱敲的猴子。这种说法只有在你讨厌鹦鹉和猴子，并且幻想自己拥有某种它们无法体现的、不可言喻的高阶意识时，才会觉得是一种侮辱。
【译注：随机鹦鹉理论（Stochastic Parrot）指它们通过统计规律模仿人类语言，但并不真正理解语言的意义或背后的逻辑；猴子打字机理论（Monkeys at Typewriters）：这个理论源于一个思想实验：如果给一群猴子无限的时间在打字机上随机敲击键盘，它们最终会打出莎士比亚的全部作品。它试图说明，即使是通过完全随机的方式，只要时间足够长，也有可能产生有意义的结果】
最有趣的是，你只需要“鹦鹉”和“猴子”就够了。这似乎就是产生我们所谓“智能行为”的全部条件，而我们才刚刚开始探索这个行为空间的表面，它远比我们想象的要广阔得多。
本文的标题颠倒了唐纳德-麦肯齐（Donald Mackenzie）的一本经济学著作的标题，《这是引擎，而非相机》（An Engine Not a Camera）。 这本书的前提是，经济学理论是（通过政策和制度）产生经济行为的引擎，却让我们误以为它们只是在描述这些行为。现代AI则存在相反的问题。它就像一台照相机，让我们误以为它是一个 “生成 “而非 “观察 “事物的引擎。值得一提的是，这种奇怪的对称性让我怀疑经济学和现代AI可能是某种真正的对偶关系——也许为AI赋予能动性的方法，就是给它附加一个经济学理论。
因此，现代AI（我个人不倾向于使用“深度学习”和“机器学习”这些术语❶）是一种发现。而在这篇文章中，我想尝试解读它那种类似发现的特质。同时，我也想探讨帮助我们实现这一发现的工具（GPU及其运行的简单代码）那种类似相机的、非人类的观察能力。这个发现似乎太宏大，以至于不能仅仅称为“年度发现”，但与之相关的疯狂事物正在酝酿中（如量子计算、可编程密码学），并且在过去几十年里已经发生了许多重要事件（如区块链、互联网、可计算性理论、信息理论等），所以称之为“世纪发现”又显得时间跨度太长。因此，我将其称为“十年发现”。
看见计算现实
如果忽略以人类为中心的叙事和经典AI的偶然起源，现代AI非常自然地融入了一系列关于计算现实的发现中。我将计算现实定义为介于客观现实和主观现实之间的存在。
发现的轨迹始于香农（Shannon）和图灵（Turing）（甚至可能更早，追溯到莱布尼茨），而如今，75年过去了，这一进程正在加速发展。如果说莱布尼茨最初的“阶梯计算器”相当于伽利略的望远镜，那么现代AI就像詹姆斯·韦伯太空望远镜。每一次概念上的进步都帮助我们更深入地观察计算现实。
【译注：阶梯计算器（Stepped Reckoner）是由德国数学家、哲学家戈特弗里德·威廉·莱布尼茨（Gottfried Wilhelm Leibniz）在17世纪发明的一种机械计算器。它能够进行加法、减法、乘法和除法运算，是当时功能最全面的机械计算工具】
将这十件事放在一起看：
- 不管莱布尼茨当时到底在想什么
- 信息论
- 可计算性理论（图灵）
- 细胞自动机
- 计算复杂性理论❷
- 分形几何
- 非对称加密 ❸
- 现代AI机制 ❹
- 可编程加密 ❺
- 量子计算
这些现象，以及我们通过这些现象看似自然而必然的发现轨迹，真的看起来像是只与在一颗基本无害的尘埃上偶然进化出的生物物质有关吗？它们看起来像是“发明”吗？它们看起来像是属于从蒸汽机开始的家族树中的一部分吗？
你会注意到，我没有把经典AI（GOFAI）❻甚至GPU列入这个清单，也没有包括从巴贝奇的差分机到iPhone的物理计算机发展史。这些确实更像是一系列发明，而非发现。它们更接近蒸汽机、飞机、透镜研磨、文字处理器和电子表格，而不是物理学。
【译注：差分机（Difference Engine）是由英国数学家、发明家查尔斯·巴贝奇（Charles Babbage）在19世纪设计的一种机械计算设备，主要用于自动计算多项式函数的值，并生成数学表格。它通过机械装置实现复杂的数学运算，避免了人工计算的错误】
物理计算机的发展史就像乔布斯（Jobs）所说的那样，是一系列功能日益强大的 “心灵自行车”。但我上面列出的 10 项概念性进步及其工具性实现（涉及物理计算机和其他技术），更像是一份 “心灵望远镜 “清单。它们是通过数据（无论是自然呈现的还是通过技术扩展的）窥探现实计算核心的方式。
列表中的其他九项更容易看出它们类似发现的特质，因为在这些领域，人类拟人化投射的倾向更低，其现象学也更接近物理学和数学。到了量子计算这一项，甚至有人认为它实际上是一种更正确的、替代性的物理学思考方式（数字物理学派）。
我列出这些底层机制（如“区块链”上的非对称加密和“大语言模型”及“大规模多模态模型”中的注意力机制和反向传播），是因为它们更接近物理学家所说的强度属性，比如密度和导电性，而不是广延属性，比如质量或体积。通常，在“正常”的物理范围内，前者往往更为基础。当你接触到像黑洞这样的奇点时，广延属性才开始变得重要。
【译注：LLMs（Large Language Models，大语言模型）：这是一种基于海量文本数据训练的深度学习模型，能够理解和生成自然语言；LMMs（Large Multimodal Models，大规模多模态模型）：这是一种能够处理多种类型数据（如文本、图像、音频等）的模型】
这是为什么人们容易（但在我看来是误导性地）在计算中寻找“奇点”现象的原因之一。我们很可能会在计算能力以某种高密度方式聚集时遇到奇点现象，但将这种现象与“超级智能”的出现（一种对特定有机物质自大幻想的拟人化外推）等同起来，就像把黑洞称为“上帝”一样缺乏逻辑。顺便说一句，这种比喻在科幻和宇宙恐怖题材中很常见，刚开始可能觉得有趣，但经不起推敲，也不会引向任何有趣的方向（我个人认为，将黑洞与我们原始的“神性”概念等同起来，对黑洞来说是一种隐约的侮辱）。
【译注：“奇点”现象是指在特定条件下，某些物理、数学或技术系统表现出极端或无法用现有理论描述的行为】
因此，我们发现了关于计算现实的一些东西；看到了以前从未能观察到的部分。具体来说，这些部分可以从人类自然语言和在线积累的图像/视频数据中找到。
对于我们迄今为止所看到的，以及随着我们窥视大型数据集的 “望远镜 “和 “照相机 “越来越好，我们可能会看到什么，我们能说些什么呢？
这是一种什么样的发现？
对于AI，我们与其说是在构建AI，不如说是在发现自然智能的本质；这是我们在没有辅助的情况下唯一能 “看到 “的智能，并正在学习从我们自己大脑累积输出的数据之外的其他数据堆中看到它。
首先，现代人工智能的发现到底是什么？
“注意力机制就是一切”？“一切归根结底都是矩阵乘法”？“一切都是随机鹦鹉和打字机前的猴子”？“从充分压缩和消化的训练数据集中提取的标记流与人格信号无法区分”？“现实具有‘分布式语义’”？也许以上都是。这是一系列我们尚未整合成一幅完整图景的发现，需要时间。毕竟，从苹果砸到牛顿（Newton）头上和火炮过热到经典物理学的形成，也花了很长时间。
现代AI是一种什么样的发现？
它像一片有待探索地理的新大陆吗？像一组需要被公式化并理解的物理学基本方程和对称性吗？像一条需要被证明的定理吗？还是像我几年前提出的，一种类似人工时间的概念？
如果是类似物理学的普遍现象发现，我们是否应该寻找基本规律、对称性和守恒原理？
如果这是一种更数学化的发现，那么我们是否应该在训练日志文件中寻找新的数学常数和新的奇怪的上帝定理？
如果是新大陆之类的东西，我们是否应该绘制地图，让当地人感染天花，修建道路？
我认为，所有这些参考类别都有一点关系。
与分形和可计算性的类比在这里很有用。在这两种情况下，一旦基本现象被发现，我们就会发现它无处不在。分形从少数“引人注目”的分形（如通过迭代一个异常简单的方程发现的曼德勃罗集）变成了我们在各处都能看到的东西，从挪威的海岸线到股票价格的历史。在此过程中，我们发现了隐藏在混沌复杂性深处的诡异固定点，如费根鲍姆常数 。
同样，可计算性也从一个关于连接到无限磁带机的装置（典型的通用图灵机）的单一思想实验，逐渐发展为对某些数学结构的描述，再到我们学会在从细胞自动机到集换式卡牌游戏等一切事物中发现的“图灵完备性”属性，最终成为数字本质的基础，如素数和数学常数（ 柴廷欧米茄 ）。
【译注：图灵完备性（Turing Completeness）是计算机科学中的一个概念，用于描述一个计算系统或编程语言是否能够模拟通用图灵机（Universal Turing Machine）的行为】
现在，很难找到没有分形结构或可计算性特征的事物。我们还没有对现代AI所揭示的现象进行类似的理论化，但当我们做到时，我认为我们会发现一种意想不到的、现实中的尖锐特性，并开始到处看到它。我们已经在许多地方怀疑它的存在，从昆虫和鸟群的群体行为到生态系统再到天气模式。我们只是还不知道如何严谨地思考它，或者那些秘密的矩阵乘法究竟在哪里进行。
我上述列表中的一个较新成员与现代AI同病相怜，因为它的理论化和特性化程度不够。区块链可能是过去十年中的重大发现，但我们仍然倾向于将它们视为由某个特定且有些烦人的爱好者群体发明并为其服务的某种机器。起初，它们似乎也是发明，但现在，梅克尔树（Merkle trees ）和非对称密码学（asymmetric cryptography）似乎正以某种看似非常自然的复杂配置，如雨后春笋般涌现出来。我们才刚刚开始将区块链理解为计算现实的一种 “硬度 “属性 。
【译注：梅克尔树是一种数据结构，用于高效、安全地验证数据的完整性；非对称密码学是一种加密技术，使用一对密钥（公钥和私钥）来实现安全通信】
这里顺便提一下人类的一个共同倾向。。当我们发现令人恐惧的新事物时，我们首先试图将它们视为发明，因为发明似乎体现了偶然的可选择性，并赋予我们更多的主动权。感觉上，如果我们不喜欢它们，就不必使用它们，并且我们对它们的存在拥有某种类似造物主般的控制权。
这当然是一种错觉，但至少在涉及发明时，我们有一种令人安心的错觉。
另一方面，发现是无法被“未发现”的。你无法忽视你突然学会观察的宇宙的某个方面（而这个方面也已经学会观察你）。甚至连一种主动权的错觉带来的安慰都没有。
我列出的10个概念性进展都是发现。每一个发现，或将会成为发现，都会让所有自认为比鹦鹉优越的人类感到震撼。
这一切都不会消失。
欺骗岩石
我深信，在我清单上的所有十个项目都蕴含着科学上更深层次的东西。
计算机是 “我们用闪电诱使其思考的岩石”，这一说法（不知道源自何处； 可能在这里 ）抓住了事情的本质。”能够思考的石头”，这在几百年前是想都不敢想的。民间传说中确实有魔法石的故事，但我从未在任何神话体系中听说过能够思考的石头。
“石头有佛性吗？”这个问题的答案显然只是简单明了的 “有”， 而不是高深莫测的 “木”。 你只需要让石头处于合适的条件下，它就能领悟四圣谛，发现八正道，诸如此类。
特里·普拉切特（Terry Pratchett）的《碟形世界》（Discworld）小说中的巨魔将这个想法变成了一个巧妙的叙事基础。通常它们像石头一样愚笨，几乎就是一种最低级的有感知力的石头。但如果它们被冷却到冰点以下，就会变得越来越聪明，最终变成超越性的超级智能。碟形世界的巨魔在特定温度以下具有佛性。这一特性在几个碟形世界的情节中起到了作用。普拉切特可能受到了20世纪80年代和90年代超级计算机的启发，这些计算机在人们心中常与刺骨的空调联系在一起。
虽然光刻技术比简单的冷却过程更为复杂，但这里隐藏着一个深刻的思想。通过看似简单的物理/化学过程和结构模式（与CPU相比，GPU和AI加速芯片的物理布局非常简单；更像是晶体结构模式，而不是复杂的机械结构）“欺骗”石头，似乎不足以激发“思考”，但显然它是有效的。
因此，在2023年，我们发现“智能”远非线性进化过程的巅峰，而是一种可以通过物质的相对简单转变以多种方式出现的自然现象。而且，它的能力远远超出了触发它的机制（无论是生物神经网络还是硅基神经网络、反向传播或矩阵乘法）所能解释的范围。就像曼德勃罗集（Mandebrot）的生成函数（z²+c）看起来过于简单，却产生了丰富的几何结构一样，现代AI的工程细节似乎也过于简单，却带来了惊人的结果。只要将其与传统的符号AI（GOFAI）装置的复杂精巧相比（后者需要编写更多的代码，处理的数据却少得多），就能清楚地看到这一点。
值得注意的是，“过于简单”这一点并不适用于一个关键方面：数据。越来越明显的是，现代AI的智能程度取决于其训练数据。想要更高的智能，就必须输入更多的数据；想要更复杂的智能，就必须输入更复杂的数据。
将数据转化为模型的具体机制似乎并不那么重要（我在一条推特中看到，顶尖语言模型之间的差异在于训练数据集的不同，而不是那些微小的实现细节或训练协议的秘密配方）。我们甚至可能正在接近某种数据集的极限：或许语言模型的智能程度已经达到了其训练数据所能达到的上限，或者与这个上限只有微小的差距。
【译注：LxMs 通常用来指代那些基于大规模数据训练、能够处理和理解自然语言的先进AI模型】
对于那些倾向于将现代AI视为一种处理超能力的人来说，这可能是令人沮丧的（或是令人安心的）。这种超能力被认为是一种近乎神的能力，能够通过“归纳泛化”超越其训练数据的限制，并无限地增强。
但对我来说，令人兴奋的是，“智能”似乎是数据的一种潜在属性，可以被转化为显性属性，而不是某种处理技术的特性。
如果“智能”真的是数据通过某些看似简单的处理和压缩过程后展现出的属性，那么“智能”的本质就揭示了宇宙本身的本质，特别是那些数据所来自或描述的宇宙部分。你可以想象，将这一过程应用于与迄今为止我们关注的人类语言和图像数据集截然不同的数据集，并从中发现令人惊叹的事物。
我们已经用AI做了诸如解码鲸鱼歌声或解析所有蛋白质分子结构的事情。但为什么要局限于那些能生成我们可理解的“语法”语言的数据集呢？能否创建一个“大型太阳耀斑和太阳黑点模型”（LSFASM），学会与太阳对话，询问它下一次可能在哪里爆发耀斑？或者一个大型海洋模型，让船只与洋流对话？又或者一个大型历史模型，像阿西莫夫的心理史学中的“首要辐射器”那样运作？也许一个由天气数据构建的大型气候模型可以与我们对话，并提供应对气候变化的策略？
一旦你将智能视为特定数据堆的体现，而不是某种特定处理方式的结果，就会发生一种强有力的去中心化，打破人类中心主义的自负；一种哥白尼式的意识转变被触发。你不过是你所经历的数据的总和，一个附带小型脚本的大内存。当你从这种认识的震撼中恢复过来时，你会意识到更宏大的东西：任何来源具有某种一致性的数据堆都可以转化为一种你可以与之互动的智能，从而拓宽你自身存在的可能性。
“智能”作为数据的衡量标准
我们目前还处于非常初级的阶段，但基本上，任何足够大的数据集显然都可以被消化成一种独特且具有特征的“智能”块。
我甚至可能会大胆提出，或许“智能”只是对一堆数据在“数据集空间”中的位置进行某种最优化的哈希。如果是这样，我们就提出了一种非常独特的智能概念，它是数据集的度量，而不是被度量的对象。或者，它甚至是数据集度量空间中的一种度量。这对拓扑学家来说有令人兴奋的可能性（对于那些喜欢我冷门的“发散主义”哲学的人来说，这种观点也非常契合）。
【译注：哈希（Hash）是一种将任意长度的数据转换为固定长度值的数学函数，通常用于快速查找、数据加密或验证数据完整性】
也许我们甚至会提出基于“智能”的数据度量方式，类似于质量或熵，从而摆脱对心理测量学概念（如“智商”）的枯燥依赖。用“LSFASM的智商”这样的方式来思考似乎毫无意义，甚至根本就是错误的。但用“可从中构建的AI类型”来替代数据的“字节数”、“压缩字节数”或算法/输入类的“柯尔莫哥洛夫复杂度”作为数据度量标准？这种想法非常诱人。
【译注：“LSFASM的智商”是一种比喻性的说法，用来调侃或质疑将传统心理测量学中的智商（IQ）概念应用于非人类智能（如AI模型）的合理性】
我们已经开始考虑模型中的参数数量（如 “70 亿”），但还是让我们在这里进行明显的感知重构吧。
当你听到“70亿参数模型”这样的说法时，70亿参数实际上是对数据集的度量，而不是对模型本身的度量。显然，你无法用50个单词的文本训练出这样的模型（虽然可以，但结果会严重缺乏信息量）。而如果你给训练协议提供相当于100个互联网的数据量，70亿参数可能不足以有效衡量它。因此，“70亿参数模型”应该被理解为类似于“6英尺卷尺”。这个模型可以在特定范围内衡量数据集，而我们将其衡量结果称为“智能”。
在这条度量学的路径上，隐藏着一些非常有趣的东西，但似乎没有足够多的人在思考它。将AI视为数据的度量，而不是被度量的对象，打开了远比后者更令人着迷的可能性。
这之所以困难，原因之一还是在于我们倾向于将发现误认为发明，或者将相机误认为引擎。发现的工具更多地是用于测量，而不是被测量。确实，你可以用多种方式测量望远镜（例如镜面直径或焦距），但真正有趣的测量是望远镜对它所对准的物体进行的测量（这里与AI的类比可能是浮点精度——它更接近镜面直径）。
这一点可能很难察觉，因为从 ML 研究人员的言谈举止来看，他们似乎是在 “做 “和 “造”，就像你对待一项发明一样，而不是像对待一项发现那样进行探索和绘图。但是，数以千计的改进和技巧周而复始地被报道出来，这应该被视为未知大陆探险队的报告。所发现的现象与相关人员的创造力和想象力不成比例。这里有一种 “矩阵乘法的不合理效力 “式的效应。
【译注：ML 是 Machine Learning（机器学习）的缩写，它是AI（AI）的一个分支，专注于通过数据训练模型，使计算机能够从经验中学习并改进性能，而无需显式编程】
我自始至终都在使用双引号，因为我比以往任何时候都更加确信，“智能”是一个根本错误的框架，无法涵盖所有这些丰富的现象。我曾经写过将其视为“人工时间”的想法，但现在看来这也不准确，尽管它处于正确的抽象层次——远低于我们目前使用的抽象层次，即人类生物意识的以人为中心的层次。即使是“仿生”（作为一种奇怪的动物智能）或“外生仿生”（“我们中的外星人”）似乎也过于局限。
要正确理解“智能”，我们必须深入到物理学和数学的基础中。
我认为“智能”是一个类似于“燃素”或“以太”的词语，反映了我们在概念上无法沿着目前难以辨认的抽象层级阶梯向下攀登，而这个阶梯显然就埋藏在这里。这个阶梯可以把我们的想法带到空间、时间和物质等层面，并且它的前几级才刚刚开始显现。
【译注：“燃素”和“以太”是科学史上的错误理论，但它们反映了人类对自然现象的探索精神。它们的存在提醒我们，科学是一个不断修正和发展的过程】
让我尝试沿着这个阶梯向下探索。
信息与物质
我目前的观点是，我们已经发现了一种天然的普遍记忆现象，它是所有物质（包括生物和非生物）的一种属性。这是一种信息与空间、时间和物质纠缠的自然倾向，使得信息能够以自我报告的方式被体验。在生物之外思考记忆确实很奇怪，但让我们顺着这个思路继续下去。
“信息”是一个比“智能”更令人满意的词根（我忘了最近在哪里读到这一点，可能是在某份通讯中，或者有人提到过，但香农最初在广义上追求的是“智能”，直到他聚焦于“信息”并彻底打开了这个领域）。
我们应该如何看待这种纠葛？
不久前，我想出了一句话，我认为这是一个有希望的起点：叙事告诉原型如何演变，原型告诉叙事如何弯曲。这是对我最喜欢的物理学名言之一的模仿，出自J.A.惠勒（ J. A. Wheeler）： 时空告诉物质如何运动；物质告诉时空如何弯曲 （从特里-普拉切特（Terry Pratchett）的一句话中获得了额外的灵感： 故事创造思想，思想创造故事 ).
质量与时空的纠缠创造了我们所认为的客观现实。叙事与原型（或故事与思想）的纠缠创造了我们所认为的主观现实。
也许存在一种纠缠，创造了一种介于前两者之间的现实，将它们连接起来？我们可以称之为“计算现实”？或许现代AI正在让我们首次窥见这种纠缠？
这里的表述或许可以定义计算现实。 信息告诉物质如何跨越时空进行连接，物质告诉信息如何在时空中持续存在。
我不知道这是否是一个连贯的陈述；也许这只是一首毫无意义的平庸诗歌。但它给人的感觉是，它存在于正确的抽象层面上。
当我们用大量GPU处理海量数据时，我们看到的是信息在时空与物质纠缠中的无限深层的连接性和持续性结构。我们看到宇宙在记住自己的过去，以及过去中的可能性。这是万物在时空中的一小片切片，而对于你我这样的有限物质体来说，这感觉就像是“智能”通过“时间”进化的体验。
这种想法也自然延伸到我们发现轨迹的过去和未来。这让我想到了如何思考零知识证明和量子计算等问题。
这也与非常实际的思路相吻合。我最近在AI硬件设计的背景下听到的一个想法表明❼，这至少是正确的方向：AI计算是内存加网络。它并不是以CPU为中心的“计算”，就像我在80年代/90年代计算机科学课上学到的那样。它是一种内存层次结构的安排，目的是在时空基底上高效地移动数据。从处理操作的角度来看，“计算”是一个相对微不足道的元素，而不是瓶颈。瓶颈是内存带宽。
这有点像肿瘤学家对癌症的看法：问题不在于消灭癌细胞，而在于将化学物质或辐射或其他东西送到正确的位置。问题不在于矩阵比特的乘法运算。问题是在正确的时间以正确的速度将这些比特传送到正确的存储位置。
这些并不是关于AI的重大问题的答案，但它们是指向正确问题的诱人线索。这些问题的前提是，我们正在处理的是对宇宙的发现，而不是对仿造大脑的发明；我们正在使用有史以来最强大的相机，而不是引擎。这个相机最终应该会改变我们对客观和主观现实的感知和理解。
感性的自我利益
最后，我想以一个尚未完全成形的想法作为结尾，关于人类如何融入这一切。我多次提到具身性和“景深”在感知现实中的重要性（见《超越超拟人化》）。这是我当前思考的出发点。
我开始认为，人类的重要性在于拥有一种特殊的时空/物质 “关怀场”。我们可以用一种近乎机械的方式把人类关心的东西定义为时空中的一种球，它包含一堆体现局部利益的物质，以及一个与时空中其他地方的其他物质相连的网络。关怀模式定义了计算现实上的一种叠加，我们体验到的是一种感性的自我利益。在客观现实和计算现实的下层之上，存在着一种唯我主义的逃避现实，或者说主观性。
借用笛卡尔的话：我思故我在。
现在有趣的问题是，既然我们已经发现了如何看到那些无法忽视的计算现实，我们如何继续做到这一点？我们还能在乎吗？我们还能存在吗？
进入 2024 年，这是我脑海中的众多问题之一。
❶ “深度学习”过分强调了通往当前状态的一条特定路径，以及一种“深度”特性，这似乎更偏向诗意而非本质。“机器学习”则过分强调了机器的特性，我认为这非常具有误导性。AI，我认为已经被具体化为足够无意义的词，我们可以直接使用它，而不用担心“智能”这个词带来的所有未解决的哲学包袱。
❷ 我指的不仅是P/NP问题的正式研究，还包括经验计算复杂性、难题中的相变研究，以及通过参数化问题来发现困难与简单区域。这个领域即使在计算机科学家中也奇怪地鲜为人知，它在物理现象（如冻结和融化）与计算现象之间建立了引人入胜的类比。
❸ 其中包括一系列机制，如公钥加密、默克尔树、加密哈希和标识符，以及其他各种衍生结构。
❹ 我指的是具体的机制，例如反向传播、注意力、自注意力、卷积等，它们松散地统一在低精度矩阵乘法的共同基础之上。
❺ 即将到来的是“计算扩展宇宙”，一个由零知识证明技术解锁的奇异宇宙。
❻ 虽然GOFAI（传统AI）的某些方面，如定理证明和自动规划，看起来像是一种应用离散数学和形式逻辑，但根本上GOFAI更像是一种产品发明活动，而不是研究或发现活动。它在历史上是深度学习的父辈之一，但如今这一点几乎像是一个毫无意义的偶然。任何因果连续性都主要是表面上的。
❼ 也许是我自己编的。它出现在我的Roam笔记里，但没有来源。当你经常和很多人讨论某件事并阅读相关内容时，记忆就会在时空和物质中扩散。