Инструменты на основе искусственного интеллекта становятся всё более значимыми в процессе разработки программного кода и приложений. В подтверждение этому, Google провела тестирование нескольких ИИ-моделей для определения их эффективности в создании Android-приложений. Результаты этого исследования были представлены в новом рейтинге Android Bench.
В ходе тестирования специалисты компании изучили, как различные ИИ-модели взаимодействуют с ключевыми технологиями Android, такими как Jetpack Compose для создания интерфейсов, Coroutines и Flows для асинхронного программирования, Room для работы с базами данных и Hilt для внедрения зависимостей. Также проверялись такие аспекты, как обработка критических изменений при обновлении SDK.
Google стремилась оценить, насколько эффективно ИИ-модели могут работать с основными и более специфическими компонентами Android, включая системный интерфейс, мультимедиа, камеры и адаптацию для устройств с гибким дисплеем. Цель проекта Android Bench — показать, какие ИИ-модели лучше всего подходят для разработки Android-приложений, поскольку существующие бенчмарки не охватывают весь спектр проблем, с которыми могут столкнуться разработчики.
По итогам тестирования модель Google Gemini 3.1 Pro Preview заняла первое место с результатом 72,4 %. Второе место досталось Anthropic Claude Opus 4.6 с показателем 66,6 %, а третье — OpenAI ChatGPT 5.2 Codex, набравшей 62,5 %. Наименее эффективной оказалась модель Gemini 2.5 Flash, результат которой составил всего 16,1 %.
Google отметила, что публикация рейтинга направлена на стимулирование улучшения больших языковых моделей для Android-разработки, а также на помощь разработчикам в повышении их продуктивности. В конечном итоге это должно способствовать созданию приложений более высокого качества во всей экосистеме Android.