SeeAct предназначен для оснащения агентов видения-языка двухступенчатой системой: модуль планирования на базе больших языковых моделей создает подцели на основе наблюдаемых сцен, а модуль выполнения переводит эти подцели в действия, специфичные для окружения. В базовом восприятии извлекаются признаки объектов и сцен из изображений или симуляций. Модульная архитектура позволяет легко заменять планировщики или сети восприятия и поддерживает оценку в AI2-THOR, Habitat и пользовательских средах. SeeAct ускоряет исследование интерактивного embodied AI, предоставляя разложение задач, привязку и выполнение от начала до конца.