Notes

Языковые модели генераторы мультивселенных Хабр
Вместе с дата-сайентистом и биоинформатиком Марией Дьяковой подготовили подробный гайд о том, как устроены самые популярные языковые модели и что нужно знать, чтобы начать с ними работать. https://github.com/topics/artificial-intelligence Задаём модели роль эксперта по демографии Калифорнии, который оценивает вероятности этнических групп в зависимости от возрастной группы. Полученные данные выглядят немного лучше, чем в первом случае, но все же дают неправильное распределение. [5] То, как я использую слово «состояние», может относиться ко всему состоянию или к его компоненту.
Она состояла из рекордных для того времени 1,5 млрд параметров (то есть была в ~10 раз больше первой), имела контекст в 1024 токена и была обучена на 40 ГБ текстовых данных. GPT-2 снова побеждала предыдущие подходы, включая GPT-1, на многих бенчмарках. Главная задача языкового моделирования — это предсказание следующего слова.
Это стимулирует модель использовать новые токены/слова/фразы и способствует рассмотрению более широкого спектра тем и более частой их смене, при этом не принуждая модель полностью отказываться от повторного употребления часто используемых слов. Без использования top-k семплирования модель будет рассматривать любой токен из своего словаря как потенциальное продолжение фразы. Значит, существует определенная, хоть и небольшая, вероятность того, что на выходе мы получим что-то вроде «Солнце встает на кухне». С применением же top-k семплирования модель отфильтровывает наименее подходящие токены и концентрируется только на выбранном количестве наиболее вероятных вариантов. Отсекая этот https://paperswithcode.com «хвост» некорректных токенов, мы уменьшаем разнообразие ответов, но значительно повышаем их качество.
Задачи языковых моделей
В целом, и top-p, и top-k можно использовать в сочетании с ненулевой температурой для достижения большего разнообразия ответов модели без особой потери качества, однако top-p семплирование обычно справляется с этой задачей лучше. Чтобы сгенерировать токен, языковая модель присваивает каждому токену в своём словаре оценку правдоподобия, т.е. Модель оценивает, насколько подходящим является токен для продолжения заданного текста. При хорошем соответствии токен получает высокую оценку правдоподобия, при слабом соответствии — низкую. Сумма оценок правдоподобия для всех токенов в словаре модели всегда равна единице. Оценка качества языковых моделей в основном проводится путём сравнения с эталонными тестами, созданными людьми на основе типичных языковых задач.
Объяснение языковых моделей: как машины понимают и генерируют текст
Если из слова «Джек» вычесть направление «актёр» и добавить направление «музыкант», то созданное вами суперслово с гораздо большей вероятностью будет обозначать «Джека Джонсона», чем «Джека Николсона». У языковых моделей большое будущее с возможными приложениями в здравоохранении, юридических услугах, поддержке клиентов и других дисциплинах. Языковые модели учатся на огромных объемах данных, которые могут случайно отражать социальные предубеждения в обучающих данных. Другие стратегии, такие как поиск по лучу, сосредоточены на поиске наиболее вероятных последовательностей слов для оптимизации согласованности и контекстуальности. Эта стратегия добавляет модели непредсказуемости, позволяя создавать разнообразные и инновационные ответы. Процедура, известная как тонкая настройка, используется для настройки языковых моделей для конкретных действий или областей.
Например, сейчас можно проследить, как меняются числовые данные (например, стоимость акций на бирже) и сделать прогноз на будущее с помощью тех же нейросетей. Разрабатывать языковые модели стало проще, когда в в 2017 году исследователи из Google Brain представили такую архитектуру, как трансформер. C 2019 года она используется в большинстве методов для обработки естественного языка — потому что позволяет использовать меньшие вычислительные мощности для решения сложных задач.

На этом этапе модели предоставляют размеченные примеры для последующей генерации ею более точных и контекстуально верных ответов на задачу-адресата [3]. Таким образом, прозрачность ИИ становится не просто желательной характеристикой, а необходимым условием для достижения высокой эффективности и надежности в его применении. Мы также рассмотрим другие тонкие настройки, оптимизирующие поведение моделей. Они автоматизируют множество задач, связанных с пониманием естественного языка.
Например, уже существовали случаи, когда модель генерировала сюжет книги или текст дипломной работы. Во втором подходе мы запрашиваем модель генерировать значения по одной строке или даже по одной ячейке за раз. Это повышает точность, так как позволяет модели учитывать контекст и корреляции. Например, слова «дождь», «солнце», «ветер», скорее всего, будут находиться рядом в векторном пространстве, потому что все они описывают погоду. AUSLANDER.EXPERT А не связанные по смыслу слова вроде «солнце», «компьютер», «собака» будут находиться далеко друг от друга. Если ее обучали на текстах, где солнце, компьютер и собака упоминаются в одном контексте, она может распознать их как семантически близкие друг к другу слова.
Формирование такого промта, особенно на few-shot, заставляет модель рассуждать, как можно правильно решить задачу. Авторы этой статьи сравнили на двух математических бенчмарках способность модели решать сложные задачи. Тогда, можно «заморозить» все параметры в модели, кроме этих токенов, и сэкономить на обучении.
Расстояние и направление между этими местами отражают сложные отношения между словами и понятиями. Эта карта настолько обширна, что даже комбинации, не встречающиеся непосредственно во время обучения, например Джек Николсон становится болельщиком «Пэйсерс», могут быть найдены, если двигаться в правильном «семантическом направлении». Именно так языковые модели поступают с суперсловами, которые они хранят в своих словарях. Слова, чьи координаты — или местоположение — находятся ближе друг к другу, более близки по смыслу. Но суперслова могут существовать и между любыми двумя точками на карте, так же как вы можете посетить любое место между, скажем, 1-й и 2-й улицами, даже если этот конкретный адрес на сетке не отмечен.
Для поиска универсальных законов необходимо разбить концепцию "интеллекта" на несколько ключевых измерений, таких как структуры, знание и логика. Каждое из этих измерений требует создания синтетических данных и формирования идеализированной учебной среды, что позволяет более точно определить факторы, оказывающие наибольшее влияние на производительность языковых моделей. Аналогично методам, используемым в астрономии для открытия законов движения планет, в области языковых моделей мы должны собирать данные через множество контролируемых экспериментов. Этот подход помогает выявить закономерности и взаимосвязи, применимые к различным моделям, вне зависимости от их размеров или гиперпараметров.
Read More: https://paperswithcode.com