Прямо день Яндекса какой-то: некоторые подробности о роботах Яндекса

🤖 Яндекс развивает физический искусственный интеллект для роботов и автономного транспорта

Яндекс сообщил о разработке Physical AI — физического искусственного интеллекта, который учится понимать и интерпретировать материальный мир. Его внедрение откроет новые возможности для роботов и автономного транспорта компании, расширяя границы ИИ за пределами виртуальной среды.

🧠 Что такое Physical AI
Новый тип ИИ объединяет восприятие, мышление и действие: роботы смогут анализировать мультимодальные данные — изображения, видео, звук и текст — и принимать решения, исходя из контекста. Система будет адаптироваться под различные типы «тел» — от роборуки до автономного автомобиля.

🏭 Яндекс Роботикс
Команда создаёт универсальный «мозг» для сервисных и промышленных роботов и уже обучила VLA-модель (Vision-Language-Action), которая переводит голос, текст и визуальные сигналы в действия («взять», «положить», «перенести» и др.). Роботы смогут взаимодействовать с людьми естественным образом — голосом, жестами или текстом.
Благодаря системе Yandex RMS они научатся координировать задачи и обмениваться данными между собой, что сделает бизнес-процессы более автономными.

🚗 Автономный транспорт
С 2017 года Яндекс развивает технологии восприятия и планирования движения. Теперь в основе планировщика — нейросеть-трансформер, обученная на реальных действиях водителей. Она делает движение автомобилей и роботов-доставщиков плавным и «человечным».
Физический ИИ позволит машинам учитывать динамику событий и сигналы инфраструктуры — например, распознавать светофоры или предугадывать поведение пешеходов.

⚙️ Зачем это нужно
Physical AI повысит безопасность автономных систем и ускорит их внедрение в логистике, производстве и городской инфраструктуре. Для людей взаимодействие с роботами станет интуитивным — достаточно будет объяснить задачу обычными словами.

Некоторые подробности о роботах Яндекса

Яндекс расширит возможности роботов и автономного транспорта благодаря физическому ИИ

Яндекс начал применять ИИ за пределами виртуальной среды. Компания работает над Physical AI — физическим искусственным интеллектом, который способен глубоко понимать материальный мир, взаимодействовать с ним, учитывать его контекст и адаптироваться под меняющиеся условия. Благодаря физическому ИИ роботы и автономный транспорт Яндекса получат новые возможности и смогут выйти на следующий этап развития.

Физический искусственный интеллект развивают команды Яндекс Роботикс и автономного транспорта. Яндекс Роботикс разрабатывает универсальный «мозг» для сервисных и промышленных роботов: роборук, коботов, мобильных роботов и так далее. Команда автономного транспорта с 2017 года создаёт технологии восприятия и планирования для автомобилей и роботов-доставщиков, а сейчас — и для гуманоидов.

Опыт, накопленный на дорогах и внутри помещений, в сочетании с технологиями Яндекса позволит:

• Научить роботов и автономные автомобили комплексно обрабатывать мультимодальные данные: изображение, видео, звук, текст. Это приблизит их восприятие к человеческому.
• Обеспечить адаптивность. Существуют разные виды роботов и автономного транспорта с разными возможностями, поэтому физический ИИ должен уметь подстраиваться под любые «тела».
• Научить роботов и автономные автомобили моделировать разные варианты развития событий и самостоятельно принимать решения исходя из обстановки.

Сервисные и промышленные роботы

Компания Яндекс Роботикс, открытая на базе Центра робототехники Яндекс Маркета, разрабатывает роботов и решения по автоматизации разных отраслей бизнеса. Компания создала и обучила модель VLA (Vision-Language-Action model) — она преобразует голосовые и текстовые команды, картинку с камер и другие данные, которые робот получает на вход, в действия. Уже поддерживается больше 10 базовых действий: «взять», «положить», «перенести» и так далее, а в будущем их станет больше сотни. С помощью Yandex RMS — системы управления роботами, которую развивает Яндекс Роботикс, — роботы смогут определять, какую комбинацию действий использовать в той или иной задаче и как её решать: самостоятельно или в кооперации с другими роботами. Если им не хватает данных, они смогут сами запросить их в смежных системах. VLA-модель найдёт применение в роборуках и других сервисных и промышленных роботах.

Люди получат возможность взаимодействовать с роботами привычным способом — голосом, жестами и текстом. Это упростит роботизацию бизнеса: компаниям не потребуется дополнительно обучать персонал и кардинально перестраивать процессы. К примеру, будет достаточно показать роботу инструкцию, написанную для людей, — и он поймёт, что нужно делать.

Автономный транспорт

Команда автономного транспорта продолжает развивать ML-планировщик. В нём за построение траектории движения отвечает нейросеть-трансформер, обученная на большом объёме данных о действиях профессиональных водителей. Подражая им, планировщик помогает автомобилю двигаться более плавно и предсказуемо — в манере, близкой к манере человека.

Ещё одно направление работы — развитие симулятора. В нём автомобили и роботы-доставщики отрабатывают навыки вождения и учатся реагировать на разные ситуации — в том числе те, которые редко возникают в жизни.

Физический ИИ повысит безопасность технологии автономного вождения и позволит автомобилям и роботам-доставщикам не просто распознавать ситуации, а воспринимать их в динамике. Они также научатся взаимодействовать с дорожной инфраструктурой — например, учитывать сигналы светофоров при планировании маршрута. Роботам-гуманоидам физический ИИ позволит точнее оценивать вес и устойчивость предметов, рассчитывать усилие при захвате, сохранять равновесие при движении и безопасно взаимодействовать с людьми и объектами.