SambaNova Systems представила новый ускоритель для искусственного интеллекта пятого поколения — SN50. Устройство построено на базе фирменных процессоров RDU (Reconfigurable Dataflow Unit) и, согласно заявлениям компании, обеспечивает исключительные характеристики производительности при работе с ИИ-инференсом.
Основные преимущества SN50 включают сверхнизкую задержку, высокую пропускную способность и энергоэффективность. По данным SambaNova, новая модель демонстрирует в 2,5 раза более высокую производительность при 16-бит вычислениях (1,6 Пфлопс) и в 5 раз больше производительности в режиме FP8 (3,2 Пфлопс), по сравнению с предшественником SN40L.
Архитектура SN50 основана на потоковой обработке данных (SambaNova DataFlow). Каждый RDU оснащен 432 Мбайт SRAM, 64 Гбайт HBM2E с пропускной способностью 1,8 Тбайт/с и памятью DDR5 объемом от 256 Гбайт до 2 Тбайт. Это позволяет платформе поддерживать модели ИИ с 10 трлн параметров и контекстами до 10 млн токенов.
Ключевым элементом архитектуры является трёхуровневая иерархия памяти, включающая DDR5, HBM и SRAM. Такое решение обеспечивает эффективное управление данными и высокую производительность при работе с большими объёмами информации. Интерконнект между чипами SN50 поддерживает скорость передачи данных до 2,2 Тбайт/с в каждую сторону, что позволяет создавать масштабируемые кластеры для обработки сложных задач.
SambaNova утверждает, что по сравнению с NVIDIA B200, SN50 обеспечивает в 5 раз большую скорость генерации токенов на пользователя и более чем в 3 раза превосходит конкурента по пропускной способности для агентного инференса. Это было продемонстрировано на примере моделей, таких как Meta Llama 3.3 70B.
Архитектура SN50 позволяет эффективно разгружать KV-кеш и переключаться между моделями в HBM и SRAM за миллисекунды, что важно для агентных рабочих нагрузок. Входные токены могут кешироваться в памяти, сокращая время предварительной обработки и задержку первого токена (TTFT) для запросов.
Кроме того, компания представила систему SambaRack SN50 мощностью 20 кВт, которая объединяет 16 чипов SN50. Она может масштабироваться до кластера из 256 ускорителей с пропускной способностью интерконнекта в несколько Тбайт/с, что обеспечивает высокую производительность и быстродействие при обработке больших пакетов данных.
Поставки SN50 начнутся во второй половине 2026 года. SambaNova также объявила о привлечении более $350 млн в рамках переподписанного раунда финансирования серии E, возглавляемого частной инвестиционной компанией Vista Equity Partners при участии Intel Capital.
В рамках нового партнёрства с Intel, компаниям предстоит разработать и продвигать высокопроизводительные и экономически эффективные системы для выполнения ИИ-задач. Цель — предоставить альтернативу GPU, которые сегодня доминируют на рынке. Обновлённая платформа SambaNova Cloud будет оптимизирована для многомодальных LLM и включит процессоры Xeon, GPU, сетевые решения и СХД от Intel.
Партнёрство выгодно обеим компаниям: SambaNova получает доступ к глобальной производственной базе Intel, а Intel — возможность заявить о себе на ИИ-рынке. Это особенно важно для Intel, так как до сих пор она не могла конкурировать с NVIDIA и AMD в этой области.
Важно отметить, что Intel также имеет значительные сделки с NVIDIA и AWS, а её собственные GPU для инференса пока уступают по характеристикам SN50. Тем временем, другие конкуренты SambaNova, такие как Groq и Cerebras, уже заключили значимые соглашения с крупными игроками рынка ИИ.
*Компания Meta признана экстремистской организацией и запрещена в РФ