Компания Google официально представила TensorFlow 2.21, который включает значительные улучшения в LiteRT (Lite Runtime). Теперь LiteRT вышла из стадии предварительной версии и стала полноценным решением для выполнения на устройстве, заменив TensorFlow Lite (TFLite).
Основное внимание в этом релизе уделяется улучшению производительности и оптимизации для краевых вычислений. Вот ключевые моменты:
Ускорение работы с GPU на 1,5 раза
LiteRT теперь обеспечивает заметное повышение скорости работы с графическими процессорами (GPU) на мобильных устройствах. Это улучшение позволяет приложениям быстрее обрабатывать AI-задачи, снижая задержки и улучшая пользовательский опыт.
Новая поддержка NPU
В новой версии добавлена поддержка нейронных процессорных единиц (NPU), что позволяет более эффективно использовать специализированные чипы для обработки AI-задач. Это особенно важно для устройств, где производительность CPU ограничена.
Оптимизация мобильной инференции
LiteRT была значительно оптимизирована для улучшения производительности на мобильных устройствах. На практике это значит, что модели AI будут работать быстрее и с меньшей задержкой, что критично для приложений, требующих реального времени.
Бесшовное развертывание PyTorch на краевых устройствах
Обновление включает улучшения, позволяющие бесшовно развертывать модели PyTorch на краевых устройствах. Это особенно полезно для разработчиков, которые работают с несколькими фреймворками и хотят обеспечить гибкость в выборе инструментов.
Влияние на отрасль
Эти улучшения делают TensorFlow 2.21 особенно ценным для разработчиков мобильных приложений, исследователей AI и специалистов по краевым вычислениям. Ускоренная обработка на устройствах с поддержкой GPU и NPU позволяет создавать более эффективные и производительные AI-приложения.
Компания Google продолжает улучшать экосистему TensorFlow, делая его все более подходящим для широкого спектра задач, от мобильных приложений до краевых вычислений.