ITGlobal.com предоставил GPU-инфраструктуру для корпоративного ИИ-ассистента

Облачный провайдер ITGlobal.com реализовал проект по внедрению ИИ-ассистента, предназначенного для управления корпоративными знаниями. В основе технического решения лежит GPU-инфраструктура, позволившая автоматизировать поиск в распределенных источниках данных. Согласно внутренним метрикам заказчика, переход на использование ИИ привел к снижению нагрузки на внутренние сервисные команды на 37%.

Технические предпосылки и архитектура

Заказчик — многопрофильная холдинговая структура с обширной филиальной сетью — столкнулся с проблемой фрагментации данных. Регламенты, техническая документация и базы знаний находились в различных системах, что затрудняло доступ персонала к информации. Рост числа внутренних сервисов привел к тому, что подавляющее большинство запросов к поддержке состояло из однотипных вопросов, на решение которых тратилось значительное время.

Требовалось развернуть инструмент в закрытом корпоративном контуре с обязательным использованием технологии RAG (Retrieval-Augmented Generation). Проще говоря, это метод, при котором модель получает доступ к актуальной базе документов и формирует ответ, основываясь строго на найденных фрагментах, что минимизирует вероятность «галлюцинаций» и обеспечивает точность ссылок на первоисточники.

Реализация на базе GPU

Для развертывания RAG-системы ITGlobal.com предоставил инфраструктуру на базе серверов с Nvidia RTX 6000 Blackwell. Выбор архитектуры был обусловлен необходимостью обработки запросов в реальном времени и обеспечения возможности масштабирования по мере вовлечения большего числа сотрудников. В инфраструктуре провайдера реализована поддержка vGPU, что технически означает возможность работы как с выделенным графическим ускорителем, так и с нарезкой ресурсов на виртуальные профили с заданными параметрами памяти.

На практике это позволило заказчику провести пилотную фазу на минимально необходимых вычислительных мощностях с последующим переходом к полноценной эксплуатации. Использование виртуализации видеокарт помогло избежать избыточных затрат при проверке гипотезы, так как компания масштабировала ресурсы уже после подтверждения эффективности архитектуры.

Результаты оптимизации

Интеграция ИИ-ассистента в корпоративную среду позволила трансформировать процесс поиска данных. Вместо последовательного просмотра нескольких систем сотрудники перешли к диалоговому взаимодействию с моделью. Система предоставляет ответ с прямой ссылкой на конкретный документ или регламент, что стало критически важным для работы с технической документацией.

Количественные показатели проекта демонстрируют существенное изменение эффективности внутренних процессов: среднее время поиска необходимой информации сократилось с 15 минут до 40 секунд. Высвободившиеся ресурсы сервисных команд были перенаправлены на решение нетиповых, более сложных задач, что стало следствием снижения объема входящих заявок на 37%.