#568. Transformer辩论：如何理解下一代智能之争

📝 本期播客简介本期我们克隆了：Pathway《Transformer vs Post-Transformer | ft. Lukasz Kaiser, Adrian Kosowski, Mathias Lechner, & Llion Jones》这是一场以“拳击赛”形式呈现的 AI 架构思想对决：Transformer 还会继续统治下一代 AI，还是我们已经站在 postTransformer 时代的门口？辩论的一边，是 Transformer 共同发明者 Lukasz Kaiser，他认为 Transformer 虽然简单得近乎疯狂，却已经证明自己能够工作、能够扩展，并且可以被理解为一种强大的可微分记忆系统。另一边，Adrian Kosowski 和 Llion Jones 则认为，Transformer 只是智能的一种实现形式，而不是智能的终极答案。人脑的数据效率、连续学习、非语言推理和动态状态，都在提醒我们：一定还存在更好的东西。Mathias Lechner 则代表更工程化的中间路线：未来可能不是 Transformer 或 postTransformer 二选一，而是根据硬件、场景和能力需求，把所有可用 building block 组合起来。这期节目尤其适合想理解 AI 底层趋势的人：为什么 Transformer 如此强大？为什么 scaling laws 仍然重要？为什么“用语言思考”可能不是最高效的 reasoning？新架构为什么总会被硬件拖住？benchmark 到底能不能衡量真实智能？如果你关心 AI 下一轮技术红利、创业机会、算力焦虑和 AGI 路线之争，这是一场非常值得听完的高密度讨论。👨‍⚕️ 本期嘉宾Lukasz Kaiser，Transformer 共同发明者之一，曾参与创建 ChatGPT o1，是现代大语言模型架构演进中的关键人物。Adrian Kosowski，Pathway 的 CSO，BDH 架构的发明者之一，主张从动态系统、latent reasoning 和持续学习角度探索 postTransformer 架构。Mathias Lechner，Liquid AI 研究者，专注于构建新一代 foundation model，强调 Transformer 与 postTransformer building blocks 的混合使用，以及模型在不同硬件和部署场景中的实际表现。Llion Jones，Transformer 共同发明者之一，虽然参与了 Transformer 的诞生，但在本场辩论中站在 postTransformer 阵营，认为 AI 需要跳出当前架构的局部最优。⏱️ 时间戳00:00 开场 & 播客简介拳击赛开局：谁代表 AI 的下一个时代01:43 现场规则：用拳击赛形式辩论 Transformer vs postTransformer04:02 Lukasz 开场：Transformer 是简单、漂亮、而且真正能工作的 memory06:40 Adrian 开场：智能还没有迎来自己的 PageRank 时刻09:54 Mathias 开场：未来不是二选一，而是 Transformer 加 postTransformer12:22 Llion 开场：Transformer 很强，但它可能只是 brute force 的局部最优第一轮交锋：Transformer 到底是不是终局16:42 Lukasz 反驳：Transformer 仍是当前机器学习里最强的可扩展答案19:00 Adrian 反击：reasoning 和 learning 不一样，语言思考不是唯一解21:38 Mathias：Transformer 和 RNN 的边界会越来越模糊23:33 Llion：真正突破不是重排组件，而是重新质疑神经网络假设智能是什么：语言、压缩与人脑26:04 智能定义之争：是可观察行为，还是更深层的信息处理过程28:30 Transformer 是否把工程便利误认为科学真理29:08 智能即压缩：预测互联网下一个词为什么如此有效30:02 Language 与 reasoning：语言承载智能，但也限制思考方式31:30 发现新知识时，非语言推理是否更高效31:52 人脑与儿童启发：为什么小孩不用长链推理也能快速泛化Scaling 之争：算力还会继续赢吗33:06 Bitter Lesson：为什么十倍算力和十倍数据常常打败巧妙设计33:34 不同架构都有 scaling law，但硬件适配决定谁能赢34:34 Lukasz：如果有比 Transformer 更好的 scaling curve，请拿出来35:56 Adrian：数据、模型、算力不一定必须一起 scale现实世界部署与 benchmark36:58 非文本模态：蛋白质、基因序列和生物医学信号中的架构差异38:05 Benchmark 会不会误导我们39:11 Perplexity：为什么“预测下一个 token”仍可能是最硬的指标40:57 最后陈述：比拼的关键不是单次成绩，而是 scaling curve 的斜率最终立场：Transformer 现在赢，但未来未定41:53 Adrian：下一次突破可能来自更高效、更紧凑的 reasoning43:08 Mathias：两边都押注，探索所有可能性43:40 Llion：今天没有任何理由能让我放弃“还有更好东西”的信念观众提问：硬件会不会锁死创新44:31 硬件彩票：现有 GPU/TPU 是否让大家困在 Transformer 范式45:18 Llion：postTransformer 第一版不必马上打败 SOTA46:12 Lukasz：Transformer 当年也不适配硬件，真正强的架构会推动硬件改变48:38 慢 50 倍也不要怕：只要 scaling curve 更好，就值得探索学习、记忆与动态权重48:59 智能是否首先是学习能力50:10 In-context learning：把上下文学习延长到无限时间会怎样51:01 Continual learning：给静态权重打补丁，还是从头设计动态系统51:41 Transformer 的 activation 是否已经在做类似 gradient descent 的事53:25 Transformer 不会消失：postTransformer 世界里仍会使用 Transformer54:08 Attention weights 也是动态权重吗55:32 经验型 context：模型是否能从自己的行动、错误和反馈中学习安全、微调与 latent reasoning57:25 Fine-tuning、context learning 和 latent space 推理的关系58:05 文本 chain of thought 是否真的可解释58:58 postTransformer 是否可能更接近大脑，从而更可解释、更安全59:13 现场投票：用欢呼声决定今晚冠军🌟 精彩内容💡 Transformer 的核心优势：简单到疯狂，但真的能工作Lukasz Kaiser 为 Transformer 做出的核心辩护，不是说它完美，而是说它已经在最重要的层面证明了自己：它简单、可扩展、能被硬件放大，并且真的产生了聊天、写代码、操作电脑等能力。他把 Transformer 理解为一种 memory：为每段输入写下 key 和 value，再用 soft attention 检索相关内容。“这个疯狂简单的机器，只是在一句话或者一段更长文本里预测下一个 token，却能够和你聊天，现在还能写代码，点击你电脑上的窗口。”🧠 PostTransformer 的焦虑：智能还没有 PageRank 时刻Adrian Kosowski 认为，Transformer 是智能的一种实现，但不是智能背后的共同原理。就像搜索引擎时代，PageRank 抓住了信息索引的核心机制一样，AI 领域仍然缺