Компания Gimlet Labs, основанная профессором Стэнфордского университета и успешным предпринимателем Зейном Асгаром, привлекла $80 миллионов в рамках серии A. Инвестиционный раунд возглавил Menlo Ventures.
Gimlet Labs разработала первый и единственный «мульти-чиповый инференс облака» — программное обеспечение, которое позволяет запускать AI-загрузки одновременно на различных типах оборудования. Это включает как традиционные CPU, так и специализированные GPU, системы с большой памятью, а также чипы от NVIDIA, AMD, Intel, ARM, Cerebras и d-Matrix.
«Мы можем работать на любом доступном оборудовании», — отметил Асгар в интервью TechCrunch. Согласно Тиму Талли из Menlo Ventures, каждая стадия AI-обработки требует разного оборудования: «Инференс ограничен вычислительной мощностью; декодирование — памятью; а вызовы инструментов — сетевыми связями».
Ни одна из существующих микросхем пока не может выполнить все задачи, но с появлением новых чипов и перераспределением устаревших GPU, «мульти-чиповый флот готов — ему просто не хватает программного слоя для его работы». Именно это, по мнению Талли, предлагает Gimlet Labs.
По оценкам McKinsey, к 2030 году расходы на центры обработки данных достигнут почти $7 триллионов. Асгар утверждает, что существующее оборудование используется лишь на 15-30% времени. «Другими словами, вы теряете сотни миллиардов долларов из-за простаивающих ресурсов», — сказал он.
Цель Gimlet Labs — сделать AI-загрузки в 10 раз более эффективными. Для этого команда разработала программное обеспечение, которое распределяет агентные задачи по всем доступным типам оборудования. Компания утверждает, что её продукт увеличивает скорость AI-инференса на 3-10 раз при той же стоимости и энергопотреблении.
Gimlet Labs может даже разбивать базовые модели так, чтобы они работали на разных архитектурах, используя лучший чип для каждой части модели. Продукт компании доступен как программное обеспечение и через API к собственному облаку Gimlet.
Клиентская база Gimlet Labs включает крупные AI-лаборатории и центры обработки данных, а не обычных разработчиков AI-приложений. Компания публично запустилась в октябре с выручкой в восемь цифр (не менее $10 миллионов). За последние четыре месяца число клиентов удвоилось и включает крупного производителя моделей и очень большую облачную компанию, хотя их имена не раскрываются.
Основатели Gimlet Labs ранее работали вместе в стартапе Pixie, создавшем инструмент для мониторинга Kubernetes. Pixie был приобретен New Relic в 2020 году всего через два месяца после запуска с $9 миллионами серии A под руководством Benchmark.
После случайной встречи Асгара и Талли год назад, а также получения ангельских инвестиций от профессоров Стэнфорда, венчурные капиталисты начали звонить. После запуска компании на стол Асгару легло предложение о финансировании, которое быстро стало переполненным.
С учетом предыдущего seed-раунда, стартап привлек в общей сложности $92 миллиона. Среди инвесторов — Factory (лидер seed-раунда), Eclipse Ventures, Prosperity7 и Triatomic, а также ряд ангелов, таких как Билл Кагран из Sequoia, профессор Ник Маккин из Стэнфорда, бывший CEO VMware Рагху Рагхурам и генеральный директор Intel Лип-Бу Тан.
Компания в настоящее время насчитывает 30 сотрудников.
