自主学习代理

在职学习-部署后的持续学习

交互式人工智能和终身学习和持续学习
自主学习：自我倡导的开放世界持续学习和适应


第二版："终身机器学习”作者：Z.Chen和B.Liu，Morgan&Claypool，2018年8月（2016年第1版）
持续学习对话系统-模型部署后的在职学习.教程@IJCAI-2021年8月21日至26日，加拿大蒙特利尔。
模型部署后的持续交互式学习2021年6月18日，在艾伦人工智能研究所（AI2）受邀演讲。
持续学习对话系统-模型部署后的学习2021年5月7日，在ICLR-21神经对话人工智能研讨会上受邀演讲。
开放世界中的在职学习2020年9月11日，受邀在南加州大学信息科学研究所演讲。
开放世界中的在职学习。受邀演讲@ICML-2020持续学习研讨会，2020年7月17日。
终身机器学习教程标题：终身机器学习和计算机阅读网络，KDD-2016，2016年8月13日至17日，美国旧金山。
终身机器学习教程2015年7月25日至31日，IJCAI-2015，阿根廷布宜诺斯艾利斯。

自主学习动机：据了解，约70%我们人类的知识从“在职”学习。只有大约10%是通过正式学习教育，剩下的20%是通过观察他人学习的（模仿）。自主人工智能系统必须具备这一能力机器学习算法必须能够在工作中自主学习或在工作时模型部署后。就像现实世界一样太复杂和不断变化，不可能学到一切通过使用手动标记的数据进行离线培训。自主学习agent必须在现实世界中自己探索和学习，这是开放且不断变化-充满未知。AI代理必须能够通过它与人类、其他代理和现实环境的交互。它不应该使 封闭世界假设再。以下是两个令人鼓舞的例子：

自主学习：就像人类在职学习一样，它学习模型部署后或模型应用期间的学习（或测试）-在一个好的模型之后已在应用程序中构建和部署。在经典的机器学习中，一旦建立了模型部署在应用程序中。在应用过程中，模型保持固定或不变。自主学习（或在职学习）调查模型部署后的持续学习，包括以下步骤

  1. 不断发现新任务以供代理本身学习。这叫做开放世界学习或分发外检测.
  2. 通过与人类、其他代理和环境的交互，通过代理自己的积极努力收集“免费”培训数据。
  3. 在不中断应用程序的情况下，逐步学习新任务，从而变得越来越有知识。这是持续的学习。
在这里，我们强调与人类和环境的互动，以发现新的任务，并自然地标记训练数据（参见上面的两个激励示例）。

交互式人工智能：这也称为交互式自我监督第二步是在职的关键学习，即如何找到隐藏的类并获得标记的培训数据。这必须通过系统本身启动的操作来完成不会中断应用程序。也就是说，它必须积极学习其自身基于其先验知识，通过观察和与环境和人类获得显性或隐性反馈服务作为监督。与人类的互动应该通过自然语言对话。自治智能代理是不可能的仅仅依靠大量手动标记的训练数据被动学习永远离线。

出版物

         教科书：陈志远和刘冰。终身机器学习摩根克莱普尔出版社，2018年（第2版），2016年（第1版）。

创建于2020年7月15日刘冰（Bing Liu）.