Notes

Большие языковые модели: от предобучения до обучения на инструкциях Хабр
Хомский предложил разделить предложение на токены и строить граф взаимосвязей, описывающий грамматические отношения в предложении. В архитектуре трансформеров механизм внимания (attention) действует как эффективный детектор взаимозавистмостей токенов. В статье исследователей из Standford и Facebook AI [2] анализируется механизм внимания в трансформерах, они выявили, что разные головки (heads) внимания специализируются на разных типах взаимосвязей.
https://auslander.expert/ Воспринимайте ответы ИИ как черновик или отправную точку для дальнейшей проверки. Особенно если речь идёт о важных решениях или требуется фактическая точность. Используйте перепроверку через надёжные источники, запрашивайте у модели обоснования и не стесняйтесь уточнять детали.
Также можете указать, в каком тоне должен быть перевод, или укажите какой-то жаргон и т.д. Такие модели могут работать как в облаке, так и на локальных устройствах в зависимости от требований задачи. Класс конфигурации дообучения LoRA называется LoraConfig, а класс для запуска обучения из библиотеки trl называется SFTTrainer. Это помогает модели лучше понять ваши требования и дать более точные ответы. Как в любом профессиональном диалоге с языковой моделью, не удивляйтесь, если потребуются уточнения или придется возвращать беседу в нужное русло.
Лидеры в области LLM
Среди российских LLM можно выделить модель Saiga 2 от инженера по машинному обучению Ильи Гусева. Автор позиционирует свою разработку как «российский чат-бот на базе LLaMA 2 и Mistral». Среди отечественных разработок выделяется ruGPT-3.5, лежащая в основе сберовского GigaChat. В опенсорсе доступен лишь претрейн, поэтому её придётся дообучать самостоятельно. Это зависит от типа лицензии, который выбирает разработчик.
Входные данные
В основе этого процесса лежит отдельная reward-модель, которая оценивает качество ответов основной модели. Этот этап помогает превратить просто умную модель в модель‑ассистента. Обучение с подкреплением позволяет не просто выучить «определённое поведение», но максимизирует удовлетворение пользователя от общения с моделью. На практике семплирование с использованием top-p обычно дает более качественные результаты, чем top-k. Так как эта методика работает с кумулятивной вероятностью, она адаптируется к исходному контексту, предоставляя более гибкий подход к отсечению мусорных результатов. Эта статья поможет вам научиться использовать параметры для решения проблемы выдачи неверной информации (галлюцинаций) и однообразия в результатах работы языковых моделей.
Используйте контекстуальные подсказки
Здесь легко настроить рейтинг для выбора наилучшей модели под конкретную задачу, например написание кода. Поэтому при выборе стоит ориентироваться на метрики, наиболее соответствующие задаче, для решения которой мы выбираем LLM. Большинство тестовых арен снабжены удобным интерфейсом, позволяющим сортировать списки доступных моделей в соответствии с интересующими параметрами. На таких сайтах каждая нейросеть оценивается по ряду метрик качества (бенчмарков). При этом стоит понимать, что идеальной во всех смыслах LLM не существует. Модель может демонстрировать выдающиеся результаты по одному показателю, но при этом быть аутсайдером по другим бенчмаркам.
Пока это не так – она ошибается, пусть и достаточно редко. В определенном смысле сама нейросеть — это чистый лист, и все что https://aihealthalliance.org она знает, она узнает в процессе обучения. Но вот что модель знает, чему она научилась, — мы знаем далеко не всегда. Нейросети помогают писать тексты и код, генерируют визуал, анализируют данные и делают переводы с любых языков.
Read More: https://aihealthalliance.org