LlamaIndex выпустила LiteParse — инструмент для быстрого и точного парсинга PDF-документов в AI-агентных рабочих процессах. Этот локальный, TypeScript-ориентированный инструмент решает проблемы с обработкой сложных PDF-файлов, обеспечивая высокую скорость, точность и конфиденциальность данных.
Контекст
В современной экосистеме Retrieval-Augmented Generation (RAG) основным ограничением для разработчиков стала не сама большая языковая модель (LLM), а пайплайн обработки данных. Преобразование сложных PDF-файлов в формат, который можно использовать LLM, остается задачей с высокой задержкой и значительными затратами.
О LiteParse
LlamaIndex представила LiteParse — открытый, локально ориентированный инструмент для парсинга документов. В отличие от многих существующих решений, которые полагаются на облачные API или тяжелые Python-библиотеки OCR, LiteParse написан на TypeScript и работает на Node.js. Он предназначен для выполнения на локальной машине пользователя и служит быстрой альтернативой управляемому сервису LlamaParse компании.
Архитектурные особенности
Основное техническое отличие LiteParse заключается в его архитектуре. Библиотека использует PDF.js (конкретно pdf.js-extract) для извлечения текста и Tesseract.js для локального оптического распознавания символов (OCR). Отсутствие Python-зависимостей делает LiteParse легче интегрировать в современные веб- или edge-среды.
Пространственный парсинг текста
LiteParse использует пространственный подход к парсингу текста. Большинство традиционных парсеров преобразуют документы в Markdown, что часто приводит к потере контекста при обработке многостолбцовых макетов или вложенных таблиц. LiteParse избегает этого, проецируя текст на пространственную сетку и сохраняя оригинальный формат страницы с помощью отступов и пробелов. Это позволяет LLM использовать свои внутренние пространственные способности для "чтения" документа так, как он выглядит.
Обработка табличных данных
Извлечение табличных данных является одной из основных задач для разработчиков AI. Традиционные методы часто приводят к искажению текста при нестандартной структуре таблиц. LiteParse использует "красиво ленивый" подход, сохраняя горизонтальное и вертикальное выравнивание текста. Благодаря этому LLM могут более эффективно интерпретировать пространственно точные текстовые блоки, что снижает вычислительную нагрузку и сохраняет реляционную целостность данных.
Поддержка мультимодальных агентов
LiteParse оптимизирован для работы с AI-агентами. В рамках агентного RAG-процесса, агент может нуждаться в проверке визуального контекста документа при неоднозначном извлечении текста. Для этого LiteParse генерирует скриншоты страниц во время парсинга.
Процесс обработки документа в LiteParse выдает:
- Пространственный текст: версию документа с сохраненным форматом.
- Скриншоты: изображения каждой страницы для мультимодельных моделей, таких как GPT-4o или Claude 3.5 Sonnet, которые могут визуально проверять диаграммы или сложное форматирование.
- JSON-метаданные: структурированные данные, содержащие номера страниц и пути к файлам, что помогает агентам поддерживать четкий "цепочку владения" для извлеченной информации.
Интеграция с LlamaIndex
LiteParse разработан как компонент в экосистеме LlamaIndex. Разработчики, уже использующие VectorStoreIndex или IngestionPipeline, могут легко интегрировать LiteParse на этап загрузки документов.
Установка и использование
LiteParse можно установить с помощью npm и использовать как CLI:
npx @llamaindex/liteparse <path-to-pdf> --outputDir ./output
Эта команда обрабатывает PDF-файл и заполняет указанную директорию пространственными текстовыми файлами и, при необходимости, скриншотами страниц.
Основные выводы
- TypeScript-ориентированная архитектура: LiteParse построен на Node.js с использованием PDF.js и Tesseract.js, работает без Python-зависимостей. Это делает его быстрым и легким решением для разработчиков за пределами традиционного Python AI-стека.
- Пространственный парсинг над Markdown: вместо ошибочного преобразования в Markdown, LiteParse использует пространственный парсинг текста. Он сохраняет оригинальный формат документа с помощью точных отступов и пробелов, что позволяет LLM интерпретировать визуальную структуру и ASCII-таблицы.
- Поддержка мультимодальных агентов: LiteParse генерирует скриншоты страниц вместе с текстом, что позволяет мультимодельным агентам "видеть" и рассуждать о сложных элементах, таких как диаграммы или таблицы.
- Локальная конфиденциальность: вся обработка, включая OCR, происходит на локальной машине. Это исключает необходимость вызовов внешних API, значительно уменьшая задержку и гарантируя, что чувствительные данные не покидают локальную зону безопасности.
- Простой опыт разработчика: LiteParse предназначен для быстрого внедрения. Его можно установить с помощью npm и использовать как CLI или библиотеку. Он интегрируется напрямую в экосистему LlamaIndex, предоставляя "быстрый режим" загрузки данных для производственных RAG-пайплайнов.
