ByteDance: UI-TARS 7B

UI-TARS-1.5 — это мультиканальный визуально-языковой агент, оптимизированный для сред с графическим интерфейсом пользователя (GUI), включая настольные интерфейсы, веб-браузеры, мобильные системы и игры. Разработанный ByteDance, он основан на фреймворке UI-TARS с использованием рассуждений на основе обучения с подкреплением, что обеспечивает надёжное планирование и выполнение действий в виртуальных интерфейсах.

Эта модель достигает самых современных результатов в ряде интерактивных и grounding бенчмарков, включая OSworld, WebVoyager, AndroidWorld и ScreenSpot. Она также демонстрирует идеальное выполнение задач в различных играх Poki и превосходит предыдущие модели в задачах агентов Minecraft. UI-TARS-1.5 поддерживает декомпозицию мыслей во время инференса и показывает сильное масштабирование по вариантам, при этом версия 1.5 заметно превосходит производительность более ранних контрольных точек 72B и 7B.