在ICLR投稿量超越6w的今天，通过论文数量，甚至中位数中稿质量的若干论文来攫取impact和reputation似乎已经不再现实。在这种情况下，不论是奔着“职业科研”的心态去从LLM语义中抽出只是“能够发表”的idea，还是将手中目前能够想到的这类idea全部变现，都不再是对于有一定research经验的研究生/研究者的最优选项。反而专注地集中于一个问题做深做好，把一定的精力放在了解和思考前沿，对个人能力的提升也许更有益处，也更容易做出有影响力的工作。那么，什么问题才是值得我（们）去投入专注、过程中能够提升个人能力的呢？

我应该每天盯着中文三大会的文章“吓哭”一次吗？

当前大模型三天两头的“原子弹爆炸式震惊瘫坐”已经让人有些麻木，但同时又有着隐隐的不安，似乎不能深度使用甚至参与其中就会成为未来被AI辞退的芸芸众生。此时保持对最新动向的紧随了解和积极思考无疑是缓解焦虑的有效途径，但从一个更加high-level的角度认识到哪些进展是突破预期（真正应该感到惊讶）的可以让人用更加平和的心态审视新的技术。LLM起始于蒸馏人类长时间积累的文本数据，从符号空间的蒸馏拓展到多模态空间的蒸馏，此所谓预训练，这使得大模型成为了一个压缩了庞大知识库的语义分布；后续的SFT+RL使得LLM可以在概率空间中进行外推的探索，本质上是将人类的期望（包括一些客观的标准比如围棋的输赢）蒸馏为格式和reward——用更加高效的方式让模型一定程度地走出其预训练的（概率）边界。由于LLM可解释性的匮乏，关于后训练到底拓宽了预训练边界的多少一直是难以解释的谜团，但在许多数学未解难题上的成功无疑证明了这个“一定程度”是相当有程度的，也让人有理由预期：在人类能够提出可验证标准的任务上，当前路径的LLM也许已经足以在未来超越所有人类的成功率。于是，“蒸馏”便成了前沿——蒸馏更强的大模型是简洁的捷径，找一群人进去造题是直接的努力。最本质的边界在于将人类偏好“显化”的难度：难度越高带给人的惊奇度则越高，但突破可能性的进展才是真正的“原子弹”。

可预见的未来

大家普遍认为，即使LLM的能力在今天达到上限，围绕其的应用都足以至少再做10年，事实也的确如此——当前还有许多行业的生产力尚未被前沿技术“赋能”。人类社会的生产关系变化总是比生产力的提升缓慢得多，但不妨试想一下未来，可预见的大模型能力提升足以造成怎样的影响。抽象地说，每个人都会获得一个“神明的契约”，献上自己灵魂的一部分（自己的需求偏好）将其“外化”到这个契约之上，就能够获得与虔诚程度（金钱以及需求表述所花费的effort）相匹配的收获。

这听起来似乎和当下很多“代做海报”等人工服务差不太多，但其所耗时间和金钱之少足以产生质变。有些声音认为人类有限的attention并不需要如此多的产出，但我认为这就和玩超级玛丽的人无法想象今天的3A大作一样，轻视了人类的兴奋阈值可以被推高的上限。以往当成品级别的工作成本降低到组件级别时，在供大于求的乱象会重新形成新的供需平衡，消费者在信息过载的阵痛后会用脚投票发出新的需求信号，让生产端对“高质量”的定义及其所需成本有新的锚定。生产者的创造力被极大解放，“taste”——即“指哪打哪”的“指哪”——成为最重要的能力，可这不意味着出一个“大结果”变得更简单，而是意味着从AI的默认分布中解脱出来变得更为可贵。然而，以上这只是较为乐观的估计。

事实上在许多领域里面（也许就包括了ICLR），消费者不一定有较为廉价的方式去验证产品的质量（融入人类taste的分布真的能够有比AI默认分布更高的竞争力吗？），此时”柠檬市场”就出现了：买方分不清好坏，只愿按平均质量出价，好的生产者于是退出。此时新的”高质量锚点”就会更多锚定到难以产出的信号上，比如可信之人和强力社群的背书，work的真正credit是获取他人的信任。这是怎样的光景呢？我也想不清楚。

而对于学习者而言，所有的学习都会围绕“理解”而非“技能”的熟练（其实早该如此），“悟性”和在某些领域的天赋和兴趣可能会更大决定一个人的发展方向。当各种知识触手可及的时候，“是否学习”将成为一个重要的判断。事实上今天我们已经有充足的条件可以实现数字世界中这样的“知识平权”，人类也应该使用更加丰富的表现形式和交互来增加知识的摄取速度。但即便如此，对于人类可怜的读入带宽，LLM所能做的帮助也许只有这一些了。

当下离未来的距离

我们暂时抛开一些难以预见的问题，比如LLM是否可能独立完成跨时代研究，甚至是否拥有“意识”；也先抛开从文本空间到图像、声音的拓展甚至一统，以及与物理世界的交互（因为多模态和具身我不懂lol）。光是探讨当下的LLM距离文本空间中可预见的“神明的契约”最终态还有多远就足以催生许多的empirical analysis和benchmark，但我们也可以尝试从原理角度考虑一下还有什么“皇冠上的明珠”。 首先从“蒸馏人类”的角度：如何设计evaluation来将人类偏好对齐到LLM是一个直接的问题，但memory事实上制约了真正能够蒸馏进去的可能。当前部署时的memory在逐字容量上已远超人类，但在跨会话的持久化、以及把经历巩固为直觉的效率上，仍然相差甚远。这可能是本质上难以在训练和部署时真正蒸馏人类的长期性的决策（比如投资、代码库的长期维护）的原因之一，也许当前AI创新能力的不足也只是长时程的value function无法被学习的体现。最大的瓶颈出现在参数空间和符号空间转换的efficiency上。当前符号空间的上下文memory在部署时进入参数空间的方法就是KV cache，一个符号对应一份比原有表示大得多的cache。理论上如果要保证精确回忆任意内容，则KV cache会随着memory线性增长，那么注定了必须有一种compaction机制将其定期地整理。事实上这也是某种意义上的“无限上下文”，但当前的compaction机制这种文本摘要的方式更多的是保留了工作的连续性，反复的压缩会损失掉很多重要细节；更重要的是，这种“截断式遗忘”保留下的摘要对隐式偏好的转述是否能够让交互中模型获得的概率“理解”继承下去是值得怀疑的。用率失真理论的语言说，在有限记忆下任何压缩都有损，丢掉什么由压缩器的目标函数决定。类似大海捞针实验的精确检索需要无压缩地储存信息，将文本移出窗口如RLM这种harness方法可能有比较好的扩展性，能够较为廉价接入LLM的信息的无损压缩方法也是令人期待的；而在长程理解和长周期的测试时学习上，放在上下文里的信息不会自动变成行为倾向（PrefEval），更连续的记忆压缩模式（包括有选择地“渐进式遗忘”、内化偏好到参数等）才是问题的关键。如何将memory更高效地写入参数空间和读出会是一个长期的本质问题。

而后从后训练对既有人类知识的外推角度，如何让模型从填满训练数据形成的“包络”（概率意义上的支撑集？组合意义上的凸包？）到拓宽人类集体知识的边界（比如有价值的全新概念和问题）是一个既没有定义清晰也似乎没有清晰的实现路径的问题。当前AI对各大数学难题的突破令人振奋，但内行大多认为这些是对既有数学体系的极致运用——经典工具的意外组合，或是在人类开辟的新框架上补完最后一步；但它们也的确如AlphaGo的那“第37手”一般在既有规则中下到了人类所没有注意和推演过的角落，改变了人类对这些问题的认识——只是数学家们认为这样的“外推”价值还不够有taste，换句话说，还不够符合人类的长期偏好。RSI似乎为从训练数据的外推指明了一条道路，但当前的RSI不论生成数据还是进行研究和改进依然需要有经验的人类指明方向，抛开一些evaluation的trick真正做work不知道有多少；通过造题和RL引导模型获得更强的外推能力似乎依然是后训练的主流。

推理范式也是一个值得思考的问题。latent推理在研究上并不冷门，但前沿模型几乎都没有采用：一方面规模化后的收益还不稳定，另一方面自然语言CoT是目前监督模型最有效的窗口。人类思考时极少使用絮絮叨叨的自然语言，神经科学也发现语言网络在许多思考过程中几乎是沉默的；但人类在做长链条的严格推理时，又离不开纸笔和符号。这提示我们，更高效的推理也许不是完全抛弃语言，而是让局部步骤在latent中完成，把需要记住和检查的部分外化为符号。可预见的来说，将token，尤其是那些只是充当语义流畅粘合剂的、承担中间计算的、甚至本身就是用于停下来思考的token，所使用的计算adaptively地分配到latent空间中，也许是一种可以提高token（数量）efficiency的方式；当下很火的Looped架构就是做了这样的一件事，不过looped也不一定是解决这个问题的唯一途径，将整个模型的大部分参数复用计算依然由同一组模块完成，这样损失了一定自由度的归纳偏置也许也不是足够好的，多次循环中路由不同的MoE experts缓解了这件事情，因此渐渐开始成为使用Looped的共识标配。

最后是大模型的安全性与可靠性，毕竟我们需要“神明的契约”而非“魔鬼的契约”，这也是让AI独立负责一些高危环境中工作的必由之路。在验证廉价且稳定的情况下（比如用Lean验证数学定理），我们不一定需要信任模型本身，只需验证它的产物；在动作可以被检查、错误能被及时拦截的环境中，也可以用AI control的基建把损失控制在可接受的范围内。但control依赖一个更弱却可信的监督者，能力差距越大就越难奏效；而真正想让AI和人类对齐、让人类真正信任AI，表面的alignment是不足够的，因为模型似乎被报道越来越能察觉自己正在被测试，单纯行为评估无法区分是在表演对齐还是真的对齐，对齐的泛化性也会令人担忧（最近的RoboHarm测试中，GPT-6 Astra在聊天中会拒绝刺婴儿玩偶，但接上机械臂后，20次里有17次真的刺了下去；另一个模型则拒绝了刀，却仍会去执行把气罐放到灶上这类危险任务，安全行为似乎绑定在表面线索上，而没有泛化成对伤害本身的理解。）。这注定与大模型理论和可解释性密不可分。这个问题上的突破个人感觉比其他问题都更加困难，也许未来AI的理论甚至是由AI提出的也说不定lol。

在研究这些问题中如何提高与提高什么能力

科研方面，虽然community已经有若干纯auto research中稿三大会的案例，但似乎并未见到有经验的研究者对纯AI的idea有什么高度评价。我个人的体感也是，AI的智力很多时候是以乘法形式而非加法形式增长人类能力的。在科研中的许多关键判断，当下依然需要人类基于对领域的理解来激活AI对应的语义分布才能获得不错的效果，AI提出的许多需要insight的猜想和定论总是检验为错误——并且是那种对这个领域有经验的科研者不需要验证就知道极大概率不work的错误。我不知道在可比人类记忆的上下文实现之后LLM是否会涌现出insights，也许AI idea可行性的较差某种程度上来自于其蒸馏的研究论文中Failure cases的偏少，但目前(i)使用大模型快速理解一个领域 (ii)靠着自己的理解和好奇心提出key question (iii)推进对question的探索中不轻信AI，根据自己的taste果断调整AI的方向和驳回AI的判断 (iv)将结果转化为人类可读的（不管直接可理解还是通过agent易读）的形式 这些在一个科研闭环的每个步骤的能力仍然对于做出一个好的work（但可能不一定是paper）至关重要。而不常被提到的是，对于大多数人来说，了解AI的能力边界、将需求清晰表述给AI、有效监督AI工作的能力其实就已经难得可贵了。

围绕以上的能力大家讨论的已经很多了，但我认为事实上(i)(ii)(iv)都可以被一个能力所极大的加持：social能力。在AI时代，人与人之间的联系变得更加可贵，一次与内行的交流可能可以直接省下在垃圾论文中迷茫、对着一个早已被试过的idea抓头、在各个平台发帖宣传所耗费的许多时间！带着你自己的理解与内行交流绝对是事半功倍，找到同行的朋友会很受鼓舞！

最后但也是最重要的，保持健康，保持幸福，这样才能不被疲惫、焦虑、嫉妒抑制你灵感的迸发，才能频繁地意识到AI是以服务而非替代人类为目标的，才能自信地sell你的work并为你自己所已经做到的而感到自豪。也许有一天当你一觉醒来，会发现iclr的界面上仍然只挂着不到1000篇有效投稿，没有什么是all you need的——而这些什么Fable、Astra，不过是你在自己搓出的GPT又一个benchmark上刷不过BERT惨遭iclr拒稿后，所做的一个亦真亦假的梦罢了。