Liquid AI представила модель LFM2-24B-A2B, оптимизированную для локальной низколатентной диспетчеризации инструментов. В дополнение к этому был анонсирован LocalCowork — настольное приложение-агент с открытым исходным кодом, доступное в репозитории Liquid4All GitHub Cookbook. Это решение предлагает архитектуру для выполнения корпоративных рабочих процессов исключительно на устройстве пользователя, что исключает обращение к API и передачу данных во внешние среды, удовлетворяя требования конфиденциальности.
Архитектура и конфигурация обслуживания
Для достижения низкой задержки на потребительском оборудовании в модели LFM2-24B-A2B применяется архитектура Sparse Mixture-of-Experts (MoE), или разреженная смесь экспертов. Хотя общая численность параметров модели составляет 24 миллиарда, в процессе инференса (вывода) для каждого токена активируется лишь около 2 миллиардов параметров.
Такой подход позволяет модели сохранять обширную базу знаний, при этом существенно снижая вычислительные затраты на каждый шаг генерации. Liquid AI провела стресс-тестирование модели с использованием следующей аппаратной и программной конфигурации:
- Оборудование: Apple M4 Max, 36 ГБ унифицированной памяти, 32 графических ядра (GPU cores).
- Серверный движок: llama-server с активированной функцией flash attention (ускоренный механизм внимания).
- Квантование: формат GGUF (GGML-унифицированный формат) Q4_K_M.
- Объем оперативной памяти: приблизительно 14.5 ГБ RAM.
- Гиперпараметры: температура установлена на 0.1, top_p на 0.1, а max_tokens на 512, что оптимально для обеспечения детерминированных (предопределенных), строго структурированных выходных данных.
Интеграция инструментов LocalCowork
LocalCowork представляет собой полностью автономный настольный ИИ-агент, который использует Model Context Protocol (MCP) для выполнения встроенных инструментов без зависимости от облачных API и без компрометации конфиденциальности данных. Все действия агента фиксируются в локальном журнале аудита. Система включает 75 инструментов, распределенных по 14 MCP-серверам, способных выполнять такие задачи, как файловые операции, оптическое распознавание символов (OCR) и сканирование безопасности. Тем не менее, демонстрационная версия сосредоточена на тщательно отобранном подмножестве из 20 инструментов, распределенных по 6 серверам. Каждый из этих инструментов прошел строгие испытания, показав более 80% точности на одношаговых операциях и подтвержденное участие в многошаговых цепочках.
LocalCowork является практической реализацией этой модели. Приложение функционирует полностью в автономном режиме и поставляется с предустановленным набором инструментов корпоративного уровня:
- Операции с файлами: Просмотр, чтение и поиск по файловой системе хоста.
- Сканирование безопасности: Выявление утечек ключей API и персонально идентифицируемой информации (PII) в локальных каталогах.
- Обработка документов: Выполнение оптического распознавания символов (OCR), синтаксический анализ текста, сравнение контрактов и генерация PDF-документов.
- Журналирование аудита: Локальная запись каждого вызова инструмента для отслеживания соответствия требованиям.
Бенчмарки производительности
Команда Liquid AI оценила модель по рабочей нагрузке, включающей 100 запросов на выбор одношаговых инструментов и 50 многошаговых цепочек. Последние требовали от 3 до 6 отдельных выполнений инструментов, таких как поиск в папке, запуск OCR, парсинг данных, дедупликация и экспорт.
Задержка
Модель продемонстрировала среднюю задержку около 385 мс на каждый ответ при выборе инструмента. Это время диспетчеризации, составляющее менее одной секунды, является вполне приемлемым для интерактивных приложений, где требуется вовлечение человека и немедленная обратная связь.
Точность
- Одношаговые выполнения: 80% точности.
- Многошаговые цепочки: 26% успешного сквозного выполнения.
Ключевые выводы
- Локальное выполнение с приоритетом конфиденциальности: LocalCowork функционирует исключительно на устройстве, не требуя зависимостей от облачных API и исключая передачу данных. Это делает его оптимальным для регулируемых корпоративных сред с высокими требованиями к конфиденциальности данных.
- Эффективная архитектура MoE: Модель LFM2-24B-A2B использует архитектуру Sparse Mixture-of-Experts (MoE), активируя лишь около 2 миллиардов из своих 24 миллиардов параметров на токен. Это позволяет разместить модель в приблизительно 14.5 ГБ RAM с использованием квантования Q4_K_M GGUF.
- Задержка менее секунды на потребительском оборудовании: При тестировании на ноутбуке Apple M4 Max модель достигает средней задержки около 385 мс для диспетчеризации выбора инструмента, что обеспечивает высокоинтерактивные рабочие процессы в реальном времени.
- Стандартизированная интеграция инструментов MCP: Агент использует Model Context Protocol (MCP) для бесшовного подключения к локальным инструментам, включая файловые операции, OCR и сканирование безопасности, автоматически записывая все действия в локальный журнал аудита.
- Высокая точность одношаговых операций с ограничениями многошаговых: Модель демонстрирует 80% точности при выполнении одношаговых операций с инструментами, но этот показатель снижается до 26% для многошаговых цепочек из-за "путаницы между похожими элементами" (выбора похожего, но неверного инструмента). Это указывает на то, что модель сейчас наиболее эффективна в управляемом рабочем процессе с участием человека, а не как полностью автономный агент.