DeepMind用新AI超越自己：提速200倍，在所有雅达利游戏上胜过人
2022-10-03 15:48来源：IT之家 阅读量：19202
DeepMind又在攻击雅达利游戏了！
这次他们最新的agent MEME，效果一样，比两年前的Agent57快200倍！
DeepMind在2020年开发的代理Agent57有史以来第一次在全部57款雅达利游戏中超越了人类基准性能。
但它有一个致命的缺陷:效率低:需要近800亿帧的数据训练才能实现。
现在，模因的出现完美地解决了这个问题。
有网友看后表示:这才是真正的样本效率。
话不多说，我们来快速看一下。
新代理:MEME
Agent57作为Atari所有游戏中第一个超越人类基准性能的代理，性能足够先进。
但问题是，为了实现这个目标，背后需要780亿帧的庞大经验训练，无论从时间还是成本上来说，都是一笔不小的开支。
因此，以Agent57为出发点，DeepMind采取了一系列不同的策略来提高训练效率。
他们调查了还原数据系统中遇到的一系列不稳定因素和瓶颈，提出了有效的解决方案，最终建立了一个更强大，更高效的代理:MEME。
新的MEME agent主要在Agent57的四个方面进行了改进，即:
A.实现稀有事件相关学习信号的快速传播，
B.不同价值尺度下的稳定学习，
C.改进神经网络的结构，
D.使更新在快速变化的策略下更加健壮。
为了实现这四个目标，DeepMind采取了以下方法，分别对应以上四点。
A1。在线网络指导，
A2。带公差的目标计算，
B1。损失和优先级标准化，
B2。交叉混合训练，
C1。不规范的干线网络，
C2。综合损耗的共享干线，
D.由策略提炼的健壮行为。
这些方法旨在提高Agent57的数据效率，但这种效率的提高不能以牺牲终端性能为代价。
因此，为了测试上述步骤后agent MEME的效率和性能，研究团队分别在2亿帧，10亿帧，200亿帧和900亿帧环境下进行训练。
从下图中可以直观的看出，新agent MEME以3.9亿帧超越了人类基准，比Agent57快了两个数量级，在参数数量从90B减少到1B的情况下取得了类似的最终性能。
可以说，与Agent57相比，MEME不仅提高了效率，而且保持了性能。
研究团队
MEME的研究团队来自DeepMind。
值得一提的是Steven Kapturowski是这两篇论文中的一篇。
毕业于美国科罗拉多大学博尔德分校，曾就职于苹果，微软，Glassdoor等公司，现为DeepMind高级研究工程师。
涉及
。郑重声明：此文内容为本网站转载企业宣传资讯，目的在于传播更多信息，与本站立场无关。仅供读者参考，并请自行核实相关内容。
责任编辑：山歌
最新阅读
-
-
-
-
-
-
![特斯拉CEO埃隆・马斯克弟弟：我们兄弟俩都不迷恋财富这“很无聊”]()
特斯拉CEO埃隆・马斯克弟弟：我们兄弟俩都不迷恋财
，据外媒报道，特斯拉与SpaceX首席执行官埃隆?马斯克已经是世界首富，但他的弟弟金巴尔?马斯克(KimbalMusk)表示，他们两人都不痴迷于财富。最近接受媒体采访时，金巴尔强调，他和哥哥都没有过度...
2022-03-04 10:49 -
![昔日最强机皇宣告终结：鼎盛期苹果也不是对手！]()
昔日最强机皇宣告终结：鼎盛期苹果也不是对手！
编辑:Wallace小雷搜了一下之前写过的文章，发现原来早在2018年市场上就有消息存传出，三星可能会将旗下的顶级产线GalaxyNote系列“砍掉”，由其他产品取而代之。时间来到2020年前后，眼看...
2022-03-04 10:43 -
![智能自动化在能源和公用事业行业的作用]()
智能自动化在能源和公用事业行业的作用
随着世界对清洁、安全、可承受和可持续的电力的迫切需求，各国对于绿色能源的需求和新应用不断增长，从而希望采用可再生能源替代化石能源。能源行业正从监管转向创新，而其客户也从被动消费者转向需求旺盛的买家。以...
2022-03-04 10:42 -
![小鹏汽车投资碳化硅半导体领域公司瞻芯电子]()
小鹏汽车投资碳化硅半导体领域公司瞻芯电子
企查查APP显示，近日，上海瞻芯电子科技有限公司发生工商变更，新增股东广州小鹏汽车投资咨询合伙企业(有限合伙)，同时公司注册资本由4921.88万元人民币增加至5111.46万元人民币。企查查信息显示...
2022-03-04 10:41 -
![微软智能云Azure在华的第五个数据中心区域正式启用]()
微软智能云Azure在华的第五个数据中心区域正式启
，微软联合世纪互联正式宣布，自2022年3月1日起，全新的Azure在华数据中心区域将正式启用，客户可以不受限制地对其进行访问。这是微软智能云在中国市场的第五个Azure数据中心区域，由其合作伙伴世纪...
2022-03-04 10:39
