vlm

放大/在演示视频中，由 PaLM-E 控制的机械臂伸手去拿一袋薯片。 （信用：谷歌研究） 周一，来自谷歌和柏林工业大学的一组 AI 研究人员推出了PaLM-E ，这是一种多模式体现视觉语言模型 (VLM)，具有 5620 亿个参数，集成了用于机器人控制的视觉和语言。他们声称这是有史以来最大的 VLM，它可以执行各种任务而无需重新训练

Google 和柏林科技大学的一组研究人员透露了可用于控制机器人的多模态 Embodied 视觉语言模型（VLM）PaLM-E，有 5620 亿个参数，融合了视觉和语言处理。当用户发出“高阶指令”，如“将抽屉里的米片拿过我”， PaLM-E 能为装备机械臂的移动机器人平台生成一个行动计划，并自行执行。它执行不同任务不需要预先或重复训练