Mistral AI анонсировала Small 4: MoE-модель на 119 млрд параметров под Apache 2.0
Модель активирует лишь 6 млрд параметров на токен из 128 экспертов, ускоряя инференс на...
Тег
MoE
Материалы, в которых упоминается MoE.
NVIDIA представила Nemotron 3 Super — открытую модель с 120 млрд параметров
Модель использует гибридную архитектуру Mamba-Attention MoE, обеспечивая 5-кратный прирост пропускной способности для задач агентного ИИ. Эт...
Meta видит немаркированное видео новым фронтиром обучения ИИ
Исследователи Meta FAIR и NYU обучили мультимодальную модель с нуля на текстах и видео, опровергая ключевые предположения. Единый энкодер сп...
YuanLab AI выпустила Yuan 3.0 Ultra — мультимодальную MoE-модель для ИИ
Новая нейросеть на базе Mixture-of-Experts имеет 1 трлн параметров в сумме и 68,8 млрд активных. Она сокращает параметры на 33,3% и повышает...