众所周知，人类会随着时间的推移不断积累知识，进而不断提高自身的能力和技能。这种能力被称为“终身学习”，但迄今为止在人工智能（AI）和机器人系统中仍难以复制这一能力。据外媒报道，由慕尼黑工业大学（Technical University of Munich）Alois Knoll教授和南京大学（Nanjing University）Zhenshan Bing博士领导的研究团队开发出一种名为LEGION的新型强化学习框架，有望为机器人系统赋予终身学习能力。

图片来源：《Nature Machine Intelligence》

这项研究成果发表在期刊《Nature Machine Intelligence》的一篇论文中，该框架有助于增强机器人的适应能力，同时提升其在现实环境中的表现。论文第一作者Yuan Meng表示：“我们的研究起源于2021年的一个关于机器人元强化学习的项目，最初我们探索了高斯混合模型（GMM，Gaussian mixture models）作为任务推理和知识聚类的先验。尽管这种方法取得了不错的结果，但我们发现了一个局限性——GMM需要预定义聚类数量，这使得它们不适合任务数量未知且异步演变的终身学习场景。为了解决这个问题，我们转向了贝叶斯非参数模型（Bayesian non-parametric models），特别是狄利克雷过程混合模型（DPMM，Dirichlet Process Mixture Models），它可以根据输入的任务数据动态调整聚类数量。”

LEGION框架利用DPMM模型，使通过强化学习训练的算法能够在不断变化的任务流中持续获取、保存并重新应用知识。研究人员希望这一新框架能够增强AI代理的学习能力，使其更接近人类的终身学习能力。Yuan Meng解释道：“LEGION框架旨在模仿人类的终身学习能力，使机器人能够持续学习新任务，同时保留并重用之前获取的知识。其核心贡献在于基于DPMM的非参数知识空间，它能够动态确定知识结构，而无需预定义任务聚类数量。这避免了灾难性遗忘，并允许灵活适应新的、未见过的任务。”

Yuan Meng、Knoll教授、Zhenshan Bing博士及其同事提出的新框架集成了从预训练大型语言模型（LLM）中编码的语言嵌入。这种集成最终使机器人能够处理和理解用户的指令，并独立于任务演示来解释这些指令。Yuan Meng表示：“此外，我们的框架促进了知识重组，这意味着机器人可以通过智能排序先前学习的技能（如推动物体、打开抽屉或按下按钮）来解决长期任务（例如清理桌子）。与依赖预定义执行顺序的传统模仿学习不同，LEGION允许以任何所需顺序灵活组合技能，从而在现实世界的机器人应用中实现更高的泛化性和灵活性。”

研究人员在一系列初步测试中评估了他们的方法，并将其应用于真实的机器人系统。结果非常令人鼓舞，LEGION框架使机器人能够从持续的任务流中不断积累知识。Yuan Meng表示：“我们证明了非参数贝叶斯模型（特别是DPMM）可以作为机器人终身学习的有效先验知识。与传统的多任务学习（所有任务同时学习）不同，我们的框架能够动态适应未知数量的任务流，保留并重组知识，从而随着时间的推移提高性能。”

Yuan Meng、Knoll教授、Zhenshan Bing博士及其同事的这项研究为未来开发能够持续获取知识并随时间完善技能的机器人提供了方向。LEGION框架可以进一步改进并应用于各种机器人，包括服务机器人和工业机器人。Yuan Meng举例说：“例如，部署在家庭环境中的机器人可以随着时间的推移学习家务，根据用户反馈完善其技能，并适应新任务。同样，在工业环境中，机器人可以逐步学习并适应不断变化的生产线，而无需大量的重新编程。”

在接下来的研究中，研究人员计划进一步优化终身学习中的稳定性与可塑性平衡，这将使机器人能够可靠地保留知识，同时适应新环境或任务。为此，研究人员将整合多种计算技术，包括生成回放和持续反向传播。Yuan Meng补充道：“未来另一个关键研究方向是跨平台知识迁移，即机器人能够在不同实体（如人形机器人、机械臂和移动平台）之间迁移和调整学习到的知识。我们还希望扩展LEGION的能力，使其超越结构化环境，使机器人能够处理非结构化、动态的现实世界环境，适应多样化的物体排列。最后，我们设想利用LLM实现实时奖励调整，使机器人能够根据语言或上下文反馈动态调整任务目标。”