Microsoft: ИИ-модели теряют до 50% данных в длинных задачах
В бенчмарке DELEGATE-52 протестированы 52 профессиональные области. Фронтирные LLM вроде...
Тег
бенчмарк
Материалы, в которых упоминается бенчмарк.
ИИ-модели для кодинга ошибаются в каждом четвёртом случае — исследование
Учёные Университета Ватерлоо протестировали 11 крупных языковых моделей на 44 задачах генерации структурированного кода в форматах JSON, XML...
Claude Opus 4.6 от Anthropic взломал шифрование бенчмарка ИИ
Модель самостоятельно заподозрила искусственность вопроса, провела анализ известных тестов, нашла BrowseComp и написала программу для дешифр...