# UL2

## Обзор

Модель T5 была представлена в статье [Unifying Language Learning Paradigms](https://huggingface.co/papers/2205.05131) авторами Yi Tay, Mostafa Dehghani, Vinh Q. Tran, Xavier Garcia, Dara Bahri, Tal Schuster, Huaixiu Steven Zheng, Neil Houlsby, Donald Metzler.

Аннотация из статьи следующая:

*Существующие предобученные модели, как правило, ориентированы на решение задач конкретного класса. На сегодняшний день, похоже, всё ещё не выработан консенсус относительно того, какой должна быть правильная архитектура и схема предобучения. В данной статье предлагается единая рамка для предобучения моделей, которые универсально эффективны на различных наборах данных и в разных конфигурациях. Мы начинаем с разделения архитектурных архетипов и целей предобучения — двух концепций, которые обычно смешивают. Далее мы представляем обобщённый и единый взгляд на самоконтроль в NLP и показываем, как различные цели предобучения можно свести друг к другу и как интерполяция между различными целями может быть эффективной. Затем мы предлагаем Mixture-of-Denoisers (MoD) — цель предобучения, которая объединяет различные парадигмы предобучения. Кроме того, мы вводим понятие переключения режимов, при котором дообучение для прикладных задач ассоциируется с конкретными схемами предобучения. Мы проводим обширные эксперименты с абляцией для сравнения нескольких целей предобучения и обнаруживаем, что наш метод сдвигает границу Парето, превосходя модели T5 и/или GPT-подобные модели в нескольких разнообразных конфигурациях. Наконец, масштабируя нашу модель до 20 млрд параметров, мы достигаем SOTA-результатов на 50 устоявшихся задачах контролируемого NLP, начиная от генерации языка (с автоматической и человеческой оценкой), понимания языка, классификации текста, ответов на вопросы, рассуждений на основе здравого смысла, рассуждений над длинным текстом, привязки к структурированным знаниям и информационного поиска. Наша модель также демонстрирует сильные результаты в контекстном обучении, превосходя GPT-3 на 175 млрд параметров в zero-shot SuperGLUE и втрое превышая производительность T5-XXL в one-shot суммаризации.*

Эта модель была предоставлена [DanielHesslow](https://huggingface.co/Seledorn). Исходный код можно найти [здесь](https://github.com/google-research/google-research/tree/master/ul2).

## Советы по использованию

- UL2 — это модель с архитектурой «кодировщик-декодировщик», предварительно обученная на смеси функций шумоподавления, а также дообученная на наборе задач нижнего уровня.
- UL2 имеет ту же архитектуру, что и [T5v1.1](t5v1.1), но использует функцию активации Gated-SiLU вместо Gated-GELU.
- Авторы публикуют контрольные точки одной архитектуры, которые можно найти [здесь](https://huggingface.co/google/ul2)

Поскольку UL2 имеет ту же архитектуру, что и T5v1.1, см. [страницу документации T5](t5) для справки по API, советов, примеров кода и ноутбуков.

