Mistral AI запустила новую модель Mistral Small4, которая объединяет в себе высокие способности к рассуждению, мультимодальному пониманию и программированию. Теперь разработчики могут использовать все эти функции в одном решении, не выбирая между специализированными моделями.
Новая модель оснащена передовой архитектурой с разделяемыми экспертами (MoE) и обладает 119 миллиардами параметров в целом, из которых активируются только 6 миллиардов. Это позволяет значительно улучшить производительность и эффективность использования ресурсов.
Кроме того, Mistral Small4 имеет расширенное окно контекста до 256 килобайт, что обеспечивает поддержку как быстрых ответов, так и глубоких рассуждений. Модель официально доступна в открытом исходном коде под лицензией Apache 2.0.
В плане производительности новая модель демонстрирует значительные улучшения. В режиме оптимизации задержки время завершения задач сокращается на 40% по сравнению с предыдущей версией, а в режиме оптимизации пропускной способности обработка запросов увеличивается в три раза.
Минимальные требования к оборудованию для использования Mistral Small4 включают 4 сервера HGX H100 или 1 сервер DGX B200. Для оптимального пользовательского опыта рекомендуется использовать 4 сервера HGX H200 или 2 сервера DGX B200.
