Недавно стартап Kimi (Moonshot AI) представил новую техническую работу под названием "Attention Residuals: Rethinking depth-wise aggregation", которая вызвала значительный интерес в индустрии. Элон Маск, генеральный директор Tesla, публично выразил восхищение исследованием, отметив его как "Impressive work" (Впечатляющая работа) в социальных медиа.
Официальный аккаунт Kimi ответил на похвалу Маска, отметив его умение строить ракеты. Это взаимодействие быстро стало популярной темой в глобальном сообществе AI-технологий.
В рамках этого исследования Kimi предложила новую методику "Attention Residuals", направленную на пересмотр и улучшение традиционного подхода к накоплению остаточных соединений в больших моделях. Новая технология заменяет классические рекурсивные структуры более гибким механизмом агрегации по глубине. На практике это позволяет модели преодолевать ограничения существующих вычислительных путей при обработке высокоуровневой контекстной информации, что значительно улучшает точность и эффективность обработки длинных последовательностей данных.