По данным Google, при подаче команды высокого уровня, например, «принеси мне рисовые чипсы из ящика», PaLM-E может сгенерировать план действий и самостоятельно выполнить эти действия.
PaLM-E делает это, анализируя данные с камеры робота, не нуждаясь в предварительной обработке представления сцены. Это устраняет необходимость предварительной обработки или аннотирования данных человеком и позволяет более автономно управлять роботом.
Он также устойчив и может реагировать на окружающую среду. В видео примере исследователь берет чипсы у робота и перемещает их, но робот находит чипсы и снова берет их.
