8月14日,首期“DI极客说”线上技术沙龙成功举办。技术沙龙以“决策AI的研究与应用”为主题,邀请到多位业内专家分享决策AI领域的最新研究成果。
上海人工智能实验室科学技术发展部部长、研究员乔宇表示,OpenDILab(开源决策智能平台)是上海人工智能实验室重点布局发展的开源平台,未来上海人工智能实验室还将持续投入建设新一代人工智能生态,推进科技创新、产业发展和人才培养形成合力,促进人工智能发展。
强化学习:走出游戏,改变世界
俞扬《环境模型学习——让强化学习走出游戏》主题分享
当前,针对强化学习的研究大多被限制于游戏环境中,尚处于“好看不好用”的境地,原因之一是强化学习样本效率低下。南京大学教授,南栖仙策创始人俞扬认为,基于环境模型的强化学习将是解决这一难题,“让强化走出游戏”的主要途径。
俞扬在“DI极客说”中分享了环境模型学习的研究进展,及其在真实强化学习应用中的效用。一旦有了良好环境模型,强化学习的大量试错可在环境模型中完成,从而极大的减少了在真实环境的试错采样的数量,使得强化学习更具可用性。然而,以往环境模型学习的理论与实验均难以支持这一想法,使得研究主流逐渐抛弃对学习良好环境模型的期待。俞扬认为,在实践需求中可以看到,环境模型具有难以替代的应用优势,强化学习将是改变世界的技术。
高阳《Mastering Atari Games with Limited Data》主题分享
如何让强化学习应用于更多的实际场景?
清华大学交叉信息研究院助理教授高阳分享了Efficient Zero强化学习算法,该算法有助于从高维图象观测环境中学到有效策略,从而将强化学习推向在真实世界中更有用的场景。高阳介绍,Efficient Zero算法是由Muzero算法改进而来,针对Muzero算法的监督训练信号问题、环境动力建模问题及异策略偏差问题,相应解决方案分别为:self modellearner、valueprefix、off-policy correction。Efficient Zero算法在经典学术环境上可以快速达到人类水平,并在部分环境上超越人类,而且整个环境训练过程,其数据效率相较于DQN算法有大幅提升。
OpenDILab:致力破解“标准化”难题
在题为《从感知AI的发展到理解决策AI的未来》的报告中,上海人工智能实验室青年科学家、OpenDILab开源决策智能平台负责人刘宇分享了从感知AI到决策AI技术体系的整体发展趋势,包括感知AI、强化学习和决策AI在计算流上的异同,以及计算机视觉在深度学习时代的发展。
刘宇《从感知AI的发展到理解决策AI的未来》主题分享
自2012年以来,AlexNet的广泛应用使得计算机视觉发展有了质的飞跃;在2014-2016阶段,由于FaceNet、DeepID等细分领域算法的突破,计算机视觉在几个拥有海量数据的领域达到超越人类水平的高度;在2017-2020阶段,计算机视觉有了更进一步的发展,产生了如AutoML、NAS、HPO等半自动AI模型的训练和生产的流程;最近一两年,基于通用预训练模型的算法突破,使得一个计算机视觉模型可以解决大多数相似而长尾分布的任务。
刘宇认为,环境革新和算法革新两大核心动力正带动决策AI快速发展,但决策AI目前仍面临着“标准化难”的瓶颈。而OpenDILab将致力于从环境多样性、计算复杂性以及计算尺度多样性等方面着手,提高训练过程标准化水平,从而推动决策AI的发展。
牛雅哲《从零到一,坚持做正确的事——通用决策AI平台的开拓创新之路》主题分享
上海人工智能实验室OpenDILab核心研发人员牛雅哲从平台设计和工程实现的角度进行解读,分享了OpenDILab为提高决策AI在环境、算法、计算规模的通用性而储备的一系列技术解决方案。OpenDILab作为通用决策智能平台,可高效地处理解决AI技术遇到的各种复杂性问题,为决策AI生态圈提供基础技术支持。
“DI极客说”系列技术沙龙由上海人工智能实验室主办,全球高校人工智能学术联盟承办,商汤科技作为支持单位,AI研习社作为直播平台, PaperWeekly作为合作自媒体共同打造。“DI极客说”系列技术沙龙将通过邀请多元化技术嘉宾,介绍决策AI相关领域的前沿科技成果,分享科研和产业化应用经验,一起共建“知识共享”的决策AI开源技术生态。
OpenDILab(开源决策智能平台)介绍:
OpenDILab(开源决策智能平台)于2021年7月8日世界人工智能大会的开幕式和科学前沿全体会议上正式发布。该平台作为上海人工智能实验室开源平台体系OpenXLab的重要组成部分,是国际上首个覆盖最全学术界算法和工业级规模的决策AI平台,具备一套完备的决策AI训练和部署框架,自顶而下涵盖了包括应用生态层,算法抽象层,异步分布式管理层和最底层的分布式执行层,适配从单机到万CPU/GPU联合训练的全尺度调度系统优化。