Notes

Как мы создавали новый LLM-переводчик Яндекса Хабр
Но при этом она явно недообучена под задачу, поэтому у неё возникают большие сложности с полным сохранением смысла без переписывания. В 2023 году LLM впервые поучаствовали в соревновании, и результаты GPT были хуже (но при этом очень хорошие для непереводной модели), чем у encoder-decoder-моделей, созданных для перевода. Среди сравниваемых систем также есть и «референсы» — переводы, сделанные профессиональными специалистами.
Особенно это касается языковых моделей, таких как ChatGPT, которые могут значительно выигрывать от подробных подсказок. Создание эффективных промптов — это искусство, которое требует практики и понимания принципов взаимодействия с нейросетями. Мы рассмотрели основные аспекты, касающиеся создания промптов, включая их важность, основные принципы, пошаговое руководство и распространённые ошибки. Теперь вы обладаете набором инструментов, которые помогут вам извлечь максимальную пользу из AI-технологий. Это может включать предоставление дополнительной информации, объяснение задачи или указание на конкретные детали, которые нужно учитывать при генерации ответа. Важно, чтобы они содержали достаточно контекста для точного понимания запроса нейросетью.
Как я могу улучшить свои подсказки для ChatGPT?
Меня зовут Николай Карпачёв, я руковожу группой базового качества перевода в Яндексе. Кроме того, мы протестировали новую модель на независимом международном бенчмарке DiBiMT, где заняли первое место по качеству англо-русского перевода. Эти вызовы требуют разработки четких этических стандартов и контроля за использованием генеративных моделей. Это может включать как обучение пользователей, так и внедрение ограничений на уровне самих технологий. ИИ-модели https://microsoft.com/en-us/ai должны иметь встроенные механизмы, которые предотвращают злоупотребления и помогают минимизировать риски.
Это процесс исследования и обучения, и чем больше вы практикуетесь, тем лучше вы становитесь. https://auslander.expert/ai-content-riski-resheniya/ По этой причине многие современные алгоритмы впервые успешно заработали именно в задаче перевода. Обучая модели на таких текстах, мы никогда не получим модель, свободную от таких ошибок. Такой подход не только улучшает результат, но и сокращает время на последующую доработку кода. Это может быть информация о целевой аудитории, ключевых словах и основных идеях текста. Мы живем в эпоху, когда искусственный интеллект способен генерировать текст, кодировать, придумывать идеи и даже анализировать данные, рисовать, создавать музыку и видео.
Каковы основные методы создания промтов?
Используя редактирования fluency repair и side-by-side-сравнения разных переводов, мы получили датасет порядка десятков тысяч сэмплов. А что, если использовать general-purpose LLM как перефразировщик, а базовую модель перевода — как генератор начальных гипотез? Тогда в идеале среди перефразировок мы получим точные (или с минимальным искажением) переводы, которые хороши в гладкости и естественности. Самый простой способ — дообучение всех параметров модели (Full Fine-tuning). У такого варианта есть понятные проблемы, связанные с высокими вычислительными затратами на оптимизацию, но с точки зрения математической задачи FF — наиболее мощный инструмент.
Как эволюционировал машинный перевод
В таком случае в качестве обучающих сэмплов берут напрямую оценки и ранжирования людей. В случае Full Fine-tune мы оптимизируем все параметры языковой модели, соответственно, разница между обучением с нуля и использованием LLM pretrain состоит исключительно в начальном приближении. И если мы делаем оптимизацию достаточно агрессивно, то эффект от начальной точки гораздо меньше эффекта датасета. Другими словами, предобученная LLM гораздо лучше умеет строить предложения и знает какие-то факты, которые сложно найти в корпусах перевода.
Например, виртуальные ассистенты для врачей, юристов или преподавателей смогут предлагать заранее обученные сценарии взаимодействия с ИИ, значительно упрощая процесс составления запросов. Промпт-инжиниринг позволяет маркетологам добиваться точности и креативности одновременно. Например, задача «Напиши рекламный текст для нового смартфона» слишком общая. Тон — вдохновляющий, как в кампаниях Apple» дает более четкие указания и формирует правильный настрой для модели. Представьте себе поисковую систему будущего, где вместо набора ключевых слов пользователь может задавать естественные вопросы или даже описывать сложные сценарии. Именно здесь промпт-инжиниринг выходит https://nvidia.com/en-us/research/ на первый план, позволяя достигать точных и полезных результатов.
Homepage: https://microsoft.com/en-us/ai