杭州本地
机器东谈主迈向ChatGPT时期!清华团队初次发现具身智能Scaling Laws
2024-11-06
AIxiv专栏是机器之心发布学术、技巧实质的栏目。夙昔数年,机器之心AIxiv专栏罗致报谈了2000多篇实质,袒护环球各大高校与企业的顶级实验室,有用促进了学术疏导与传播。淌若您有优秀的责任念念要共享,接待投稿或者接洽报谈。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com
念念象这样一个场景:你正在暖锅店和一又友畅聊,一个机器东谈主持重地为你倒饮料、端菜,实足不需要你分神呼叫作事员。这个听起来像科幻的场景,还是被清华大学交叉信息院的酌量者们酿成了实际!他们发现了具身智能规模的 “圣杯”——data scaling laws,让机器东谈主达成了委果的零样本泛化,不错无需任何微调就能泛化到全新的场景和物体。这一冲破性发现,很可能成为机器东谈主规模的 “ChatGPT 时期”,绝对编削咱们竖立通用机器东谈主的形态!
从暖锅店到电梯,机器东谈主展现惊东谈主泛化力
酌量团队可不是只在实验室里玩玩物。他们把机器东谈主带到了多样确实场景:暖锅店、咖啡厅、公园、喷泉旁,以至是电梯里。更令东谈主颤抖的是,机器东谈主在这些前所未见的环境中王人展现出了超强的稳健能力!
为了确保酌量的可复现性,团队激动地开源了通盘资源,包括耗时半年辘集的海量东谈主类演示数据:
论文标题:Data Scaling Laws in Imitation Learning for Robotic Manipulation论文邻接:https://arxiv.org/abs/2410.18647神气主页:https://scaling-laws.github.io/
连 Google DeepMind 的机器东谈主众人 Ted Xiao 王人忍不住为这项酌量点赞,称其对机器东谈主大模子时间具有里程碑意旨!
Scaling Laws:从 ChatGPT 到机器东谈主的制胜律例
还难忘 ChatGPT 为什么能横空出世吗?谜底即是 scaling laws!当前,清华团队初次解释:这个律例在机器东谈主规模相通适用。事实上,委果的 scaling laws 包含数据、模子和算力三个维度,而本酌量重心冲破了最基础也最要道的数据维度。
酌量团队使用便携式手捏夹爪 UMI,在确实环境中辘集了卓越 4 万条东谈主类演示数据。他们遴荐最新的 Diffusion Policy 设施从这些数据中学习机器东谈主闭幕模子,并通过惊东谈主的 15000 + 次实机测试进行严谨评估,最终发现了三个改进性的幂律接洽:
模子对新物体的泛化能力与锤真金不怕火「物体」数目呈幂律接洽。模子对新环境的泛化能力与锤真金不怕火「环境」数目呈幂律接洽。模子对环境 - 物体组合的泛化能力与锤真金不怕火「环境 - 物体对」的数目呈幂律接洽。
这意味着什么?浅薄说:惟一有实足的数据,机器东谈主就能像 ChatGPT 聚首谈话一样,当然地聚首和稳健物理天下!这一发现不仅证明了机器东谈主规模与谈话模子存在惊东谈主的相似性,更为预测数据限度与模子性能的接洽提供了坚实的表面基础。
颠覆性发现:数据辘集原来要这样作念!
酌量团队还破解了一个困扰业界的穷苦:对于给定的操作任务,奈何优化取舍环境数目、物体数目和每个物体的演示次数?
过程多数实验,他们得出了两个出东谈主预念念的论断:
1. 当环境数目实足多时,在单一环境中辘集多个不同的操作物体的数据收益极其有限 —— 换句话说,每个环境只需要一个操作物体的数据就够了。
2. 单个物体的演示数据很容易达到饱和 —— 在倒水和摆放鼠标等任务中,总演示数据达到 800 次时,性能就运行趋于自在。因此,每个物体 50 次示范基本就能处分。
为考证这个计策,团队找来 4 个东谈主,只花了一个下昼就辘集到了锤真金不怕火数据。效果令东谈主颤抖:在 8 个全新场景中,机器东谈主生遵循高达 90%!这意味着,蓝本可能需要几个月的数据辘集责任,当前可能只需要几天就能完成!
模子限度化探索的不测发现
除了数据限度,酌量团队还在模子限度化方面有三个进犯发现:
视觉编码器必须过程预锤真金不怕火和完好的微调,不成偏废扩大视觉编码器的限度能权臣提高性能最令东谈主不测的是:扩大扩散模子的限度却没能带来澄莹的性能提高,这一气候还值得真切酌量
异日瞻望
数据限度化正在鼓动机器东谈主技巧走向新纪元。但酌量团队辅导:比起盲目增多数据量,提高数据质地可能更为进犯。要道问题在于:
奈何详情委果需要推广的数据类型?奈何最高效地获取这些高质地数据?
这些王人是 Data Scaling Laws 酌量正在积极探索的标的。坚信在不久的将来,具有超强稳健力的机器东谈主将走进千门万户,让科幻电影中的场景变为实际!而这一切,王人将从清华团队发现的这个基础性限定运行!
对于作家
该神气有两位共并吞作。一位是清华大学交叉信息酌量院四年事博士生胡英东,专注于具身智能规模的前沿酌量。他勉力于探索通用机器东谈主系统所濒临的基础性问题,旨在使机器东谈主草率在多样非结构化的实际环境中泛化其学习到的行动。
另一位是交叉信息酌量院一年事博士生林凡淇。他专注于将大模子的先验常识交融到机器东谈主任务中,匡助机器东谈主完成平淡生计中的复杂任务;同期他但愿哄骗已有的机器东谈主算法、视觉谈话大模子,探索机器东谈主落地的可能性。
神气标通信作家是清华大学交叉信息酌量院的助理素养高阳,他主要酌量贪图机视觉与机器东谈主学。此前,他在好意思国加州大学伯克利分校得到博士学位,师从 Trevor Darrell 素养。他还在加州伯克利大学与 Pieter Abbeel 等东谈主互助完成了博士后责任。在此之前,高阳从清华大学贪图机系毕业,与朱军素养在贝叶斯推理方面开展了酌量责任。他在 2011-2012 年在谷歌酌量院进行了当然谈话处理有关的酌量责任、2016 年在谷歌自动驾驶部门 Waymo 的相机感知团队责任,在 2018 年与 Vladlen Koltun 博士在英特尔酌量院在端到端自动驾驶方面进行了酌量责任。高阳在东谈主工智能顶级会议 NeurIPS,ICML,CVPR,ECCV,ICLR 等发表过多篇学术论文,谷歌学术援用量卓越 2000 次。