整合长久操心，AI竣事自我进化，探索大模子这一可能性

机器之心报谈

剪辑：Panda、小舟

地球上最早的人命左证至少不错追想到 35 亿年前，而直到约莫 25 万到 40 万年前，智东谈主才出现地球上。在这漫长的岁月中，生物陆续地同意又毕命，但举座趋势老是越来越复杂，其中最复杂的生物组件莫过于咱们智东谈主的大脑。这么的复杂性是咱们的坚忍和聪惠的开头。而这一切背后的机制是进化（evolution）。

到了现今的大模子时期，重大的基础模子依然展现出了重大的智能水平，能完成多种万般的任务。但它们也有个纰谬，历练之后就基本定型了，难以跟着用户的使用而演进。但毫无疑问，这项才略很紧迫。

近日，天桥脑科学计划院和普林斯顿大学等多所计划机构发布了一篇计划论文，详备证明了长久操心对 AI 自我进化的紧迫性，况且他们还提议了我方的竣事框架 —— 基于多智能体的 Omne，其在 GAIA 基准上取得了第又名的收成。

论文标题：Long Term Memory : The Foundation of AI Self-Evolution论文地址：https://arxiv.org/pdf/2410.15665

最初，该团队将 LLM 的模子进化经由分红了三个主要阶段

阶段 1：在物理寰宇中积聚贯通。阶段 2：在数字寰宇中构建基础模子。阶段 3：模子自我进化，以竣事更重大的智能。

现存的计划主要围绕着阶段 1 和 2，即若何构建更好的数据以及将其用于历练更重大的基础模子。目下东谈主们有一个大都的主张：在这种弧线拟合范式中，架构并不紧迫，要害的身分是数据集。但到了阶段 3，架构就会变得和数据相似紧迫。中枢的难题是如安在统计模子的基础上有用抒发少数个体的数据。该计划心绪的中枢是若何确保在统计模子内有用地抒发个体数据。

竣事模子自我进化的旨趣

模子的自我进化才略是模子长久安妥和个性化的要害，而这又严重仰赖于有用的操心机制。

在这一厚实的基础上，该团队提议：长久操心（LTM）能为模子的捏续进化提供历史数据积聚和教会学习才略。正如东谈主类通过教会和操心来完善贯通和步履相似，LTM 也能让模子在处理长久、分散和个性化的数据时逐渐提高推理和学习才略。

用 LTM 数据提高模子才略，使其大概自我进化

在传统 LLM 中，更新模子往往需要治疗所有这个词参数，而要是主见是处理个体数据，那这种操作昭彰不切执行。

一种更优的方法是仅更新局部参数，从而在无损模子全局踏实性的前提下，让模子安妥稀少、个性化的 LTM 数据。这种方法可束缚现时模子中个体数据「被平均化」的问题，使个性化信息大概更全面地抒发。使用高下文体习（ICL）的检索增强生成（RAG）和用于微调的低秩安妥（LoRA）等技巧都可被视为局部更新个体数据的方法。

该团队的作念法是选拔一种羼杂政策来整合 LTM 数据，从而在执行应用中达到让东谈主稳定的摈弃。关联词，该团队也示意，这可能并非一种完满的束缚有沟通，改日可能还会出现更好的方法。

组合 LTM 数据进行及时权重更新，从而竣事自我进化

现时的 LLM 往往分为历练和推理两个阶段。在推理阶段，模子权重是冻结的，驻防模子根据新输入进行治疗和学习。这种固定的推理经由会甩手模子的安妥性，尤其是在处理个性化任务和及时学习方面。

受东谈主脑更新机制的启发，该团队合计改日的 LLM 应该将推理和历练与 LTM 纠合起来，使模子大概在收受到新信息时动态治疗权重。这就近似于东谈主类的捏续学习才略。

此外，这种集成还不错匡助模子在濒临复杂的推理任务时自我反念念并改革乖谬的推理旅途，从而提高准确性和成果。

这种动态的自我治疗才略将大大提高模子的个性化才略和长久进化后劲。通过长久操心，模子不仅不错从短期操心中学习，还不错从历史数据中索要有价值的视力，跟着时候的推移能更深远地厚实个东谈主偏好和步履形态。这种厚实可竣事模子的个性化定制和动态治疗，使模子大概更有用地进化。独特是在濒临新的或极点的情况时，长久操心使模子大概参考已往的教会，快速作念出治疗并自我进化，从而赢得更大的天真性和安妥性。

长久操心在模子自我进化中的竣事旅途

该团队最初将给出 AI 自我进化和 LTM 的界说，然后探索 LTM 在 AI 自我进化中的要害作用，之后会先容若何使用 LTM 来竣事 AI 自我进化。

他们作念出了以下孝顺：

给出了 AI 自我进化和 LTM 的界说；提议了一个用于 LTM 的数据框架，包括数据网罗、分析与合成；提议了一个用于 LTM 的多智能体协调开导框架。

AI 自我进化的基础

这里简要给出 AI 自我进化的界说，确定请参阅原论文。

AI 自我进化是指 AI 模子使用个性化数据陆续学习和优化，竣事多智能体协融合贯通方面的冲破。该经由基于一个分享式内核架构，其中各个模子通过处理个性化教会和数据陆续进化，从而提高本人推理才略和安妥才略，最终竣事在动态环境中的自主学习和捏续进化。

要竣事 AI 自我进化，需要：

多智能体协调机制各异化的个性化模子自我纠错和评估机制长久操心和学习才略

用于 AI 自我进化的 LTM

目下，LLM 主要通过两种操心机制来束缚信息：高下文存储器和基于压缩的参数存储器。天然这些机制在短期任务中进展出色，但它们在复旧长久自主学习和进化方面仍然存在不及。

正如东谈主类使用 LTM 来塑造他们的步履和身份相似，东谈主工智能系统也不错选拔近似的方法根据「个东谈主数据」定制其反馈和步履。这里，「个东谈主数据」不仅限于个东谈主用户，还包括特定的机构和领域，允许模子根据更时常的个东谈主配景和需求治疗其反馈和步履。

作家深远探讨了 LTM 在 AI 自我进化中所阐发的要害作用，最初在 AI 自我进化的配景下界说了 LTM，并分析了现时 LLM 操心机制的纰谬。然后，作家扣问了通过从东谈主类 LTM 特征中汲取灵感来增强东谈主工智能模子的自我进化才略，旨在构建能捏续学习和自我完善的东谈主工智能系统。

该计划将 AI 自我进化中的 LTM 界说为：

LTM 是东谈主工智能系统不错长久保留和讹诈的信息，使模子大概根据更时常的配景治疗其反馈和步履。

这里，「个东谈主数据」不仅限于个东谈主用户，还包括特定的机构和领域，允许模子根据更时常的个东谈主配景和需求治疗其反应和步履。

从数据积聚的角度来看：模子和东谈主类都与环境进行时常的交互，为个性化提供基础数据。与东谈主类比较，东谈主工智能模子不错更有用地与环境交互，况且不错在纯造谣的数字环境中奉行这些交互和迭代。因此，通过设想允洽的操心细化政策，模子应该大概像东谈主类相似积聚长久操心，甚而可能具有更高的成果和范畴。

从模子更新的角度来看：东谈主工智能擅长存储和调用海量数据，远远进步东谈主类操心范畴。神经荟萃通过散播式参数束缚这些数据，处理来自不同领域的输入。关联词，这种存储相对刚性，微辞及时更新的天真性，往往需要从新历练本领竣事更新。比较之下，东谈主类的操心力却突出强。

LTM 的构建政策

LTM 是对原始数据的有用组织和结构化，而不单是是名义上对原始数据进行分类和排序。相背，它是从操心快速存储和检索以及信息高效讹诈的角度来设想和优化。通过成立关连信息之间的连络，有用处理数据并从新组织信息，智能体不错快速定位所需的操心片断，从而提高反馈速率和准确性。以下是几种主要的操作方法：

文本纲领数据结构化图表征矢量化模子参数化

若何讹诈 LTM 竣事模子自我进化？

赢得高质地的 LTM 数据后，下一个挑战是若何讹诈它来增强模子才略并竣事模子的自我进化。在使用 LTM 数据以最大适度地提高其有用性和成果的经由中需要束缚几个要害挑战，包括：

安妥捏续更新的 LTM 数据。跟着用户 LTM 数据的陆续积聚，模子必须在学习新信息和保留先前获取的学问之间取得均衡。传统模子往往假定踏实的数据散播，但在执行场景中，新的 LTM 数据可能与早期形态显赫背离，导致过拟合或可怜性淡忘等风险。有用处理这些变化关于安妥动态 LTM 数据至关紧迫。

及时学习和高效反馈集成。由于 LTM 数据是动态积聚的，模子必须快速安妥用户步履的及时变化。新数据的快速集成关于智能助手等应用按次至关紧迫，其中无缝的用户交互是要害。此外，在完善基础模子时，应试虑隐式（举例点击次数或破耗的时候）和显式的用户反馈。及时纠合这两种类型的反馈使模子大概陆续革命并得意个东谈主用户的需求。

处理数据稀少性和用户万般性。数据稀少是捏续更新的 LTM 系统中一个常见的问题，独特是关于交互历史有限或脱落行动的用户来说，这使得历练模子变得坚苦。此外，用户万般性也会进一步加多复杂性，条件模子安妥个体形态，同期仍然有用地推行到不同的用户组。

以清华大学团队的 Agent Hospital（智能体病院）看成案例，该团队展示了如安在这个模拟医疗场景顶用 LTM 来提高模子的才略，其中包括医疗记载积聚、医疗教会反念念和基于 RAG 讹诈 LTM。详原宥论文。

基于 LTM 竣事模子自我进化的实践

获取 LTM 数据

为了提高模子保留和窥伺 LTM 数据的才略，该团队全面计划了各式方法，其中包括：

若何网罗信得过寰宇的 LTM 数据。若何获取合成的 LTM 数据，其中包括用信得过数据提高合成 LTM 数据的生成经由、使用念念维链增强合成 LTM 数据的生成经由、生成历练数据和评估数据等多个方面。若何使用 LTM 数据，该团队先容了通过 SFT 和 RAG 使用 LTM、将 LTM 用于医疗领域的智能体自我评估、通过操心系统来使用 LTM、通过及时权重更新来使用 LTM。

这其中包含一些实验评估和例证，详原宥论文。这里咱们来重心望望他们开导的基于 LTM 的多智能体框架。

基于 LTM 的多智能体框架

该团队提议一个基于 LTM 的多智能体框架 Omne。

Omne 是基于 AutoGen MultiAgent Framework 深度定制的开导框架，专诚用于束缚 LTM 在 AI 系统中的执行应用难题。

它扩张了一系列与操心关连的基础设施，包括融合的操心模子、多模态音讯处理系统以及天确凿操心存储和操作机制。Omne 的中枢模块（Omne Core）如下图所示：

Omne 的中枢绪划是提供一套全面的束缚有沟通，使 LTM 大概在执行工程面目中有用部署，从而增强 AI 系统的长久操心才略和任务处理成果。

基于 Omne Core，该团队还构建了一个 Omne Assistant。

Omne Assistant 的设想沟通是匡助开导聊天场景中的 AI 助手，其提供了一个现成的应用层框架。它包括 AI 助手所需的基本功能，使开导东谈主员无需重新驱动设想基础组件，就能快速构立功能都全的聊天机器东谈主。

Omne Assistant 带有一个 Simple Responder，这是一个通用的问答反馈器，不错处理基本的用户聊天交互以竣事即时通讯。此外，该框架还提供了一个 Reactive Responder，它具有高档任务分析和估计功能，使其大概束缚需要多技艺推理和任务编排的更复杂的用户肯求。

借助这些内置组件，Omne Assistant 可让路发东谈主员专注于竣事我方的功能，从而更快地开导和部署配备长久操心功能的 AI 助手应用。

在 GAIA 基准（包含 400 多个问答任务的通用 AI 助手测试集）上，该团队对 Omne 框架进行了评估。

为了探索 AI 的界限，他们在 Omne 框架中使用了现在最重大的 GPT-4o 和 o1-preview 模子，同期配备了 4 个器具：荟萃浏览、Bing 搜索引擎、基于 llamaparse 的文献读取器，一个使用 o1-preview 构建的逻辑各人。

基于这 2 个基础模子和 4 个器具，Omne 在测试集和考据集上区别取得了第又名（40.53%）和第二名（46.06%）的收成。

值得凝视的是，Omne 在最复杂、条件最高的 3 级问题上达到了 26.53% 的准确率。这评释了其通过讹诈重大的基础模子（尤其是具有重大推理和逻辑才略的模子）束缚现实问题的后劲。

改日沟通

该团队并不计议留步于此，他们依然制定了改日计划的沟通，场合包括：

1. 若何更好地构建 LTM 数据？

2. 若何为 LTM 设想新的模子架构？

3. LTM 若何匡助用户提议更好的问题？

4. 若何将 LTM 与推理时候搜索相纠合？

5. 如安在复杂场景中使用 LTM 竣事智能体自我进化？

6. 如安在多智能体场景中使用 LTM？