Moonshot AI представила Attention Residuals для улучшения трансформеров
Новая технология заменяет фиксированные остаточные связи на динамический механизм глубинного внимания. Это повышает стабильность оптимизации глубоких моделей и эффективность в задачах обработки естественного языка, решая проблемы масштабируемости.