Notes

Введение Промпт-инжиниринг от Bithoven AI
Наконец, давайте соберём данные асессорской и автоматической разметок пар переводов и техническую реализацию alignment в единый пайплайн дообучения LLM под перевод. А что, если использовать general-purpose LLM как перефразировщик, а базовую модель перевода — как генератор начальных гипотез? Тогда в идеале среди перефразировок мы получим точные (или с минимальным искажением) переводы, которые хороши в гладкости и естественности. Самый простой способ — дообучение всех параметров модели (Full Fine-tuning). У такого варианта есть понятные проблемы, связанные с высокими вычислительными затратами на оптимизацию, но с точки зрения математической задачи FF — наиболее мощный инструмент. Второй классический способ адаптации модели к downstream-задаче — дообучение весов.
Подходы к оптимизации
Этот подход обеспечивает упорядоченность и краткость вывода, что упрощает его обработку и использование. Особенно если речь идёт о важных решениях или требуется фактическая точность. Давайте рассмотрим базовый пример задачи сжатия текста с помощью промптов. Тем не менее, стоит отметить, что современные большие языковые модели все еще испытывают затруднения с выполнением задач рассуждения, поэтому для этого требуются еще более совершенные техники промпт-инженерии.
LLM, работающий по инструкции, отлаженный на базе данных инструкций, созданных человеком, лицензированной для исследовательского и коммерческого использования. MPT-7B - это модель в стиле GPT, первая в серии моделей MosaicML Foundation. В этом примере вы предоставили данные о схеме базы данных и попросили его сгенерировать корректный запрос MySQL. Добавив больше примеров, вы сможете достичь еще более впечатляющих результатов.
Ученые Стэнфорда создали ПОППЕР: ИИ для автоматизации проверки гипотез и ускорения научных открытий в 10 раз.
В следующем разделе мы рассмотрим более сложные концепции и методы промпт-инженерии для повышения результатов при решении данных и более сложных задач. Возможно, одной из наиболее сложных задач для больших языковых моделей (LLM) на сегодняшний день является способность к рассуждению. Рассуждение представляет собой одну из наиболее интересных областей из-за типов сложных сценариев, которые могут возникнуть из таких моделей. Важным условием достижения правильного результата является исходный выбор текстов для первого этапа интеллектуального реферирования и последующего создания промптов. Он должна иметь некий общий «нарратив», содержать общие понятия и смыслы. В противном случае трудно надеяться на получение разумных результатов (Рисунок 3).

А для решения задачи в идеале нужны параллельные фрагменты с распределением длин от предложений до очень длинных текстов. Эллипсисом называют пропуск в тексте элемента предложения, который восстанавливается из контекста. Но не всегда эллиптические конструкции исходного языка текста присутствуют в языке перевода. AUSLANDER EXPERT В таком случае независимый перевод по предложениям приведёт к искажению смысла. Таким образом, можно сделать вывод, что на сегодняшний день LLM хоть и умеют работать «из коробки» в режиме минимального дообучения, но без специфичного тюнинга под перевод пока не обойтись — есть ошибки. Близкие к человеку результаты показывают только лучшие foundation-модели от команд вроде OpenAI или Anthropic.
Используйте перепроверку через надёжные источники, запрашивайте у модели обоснования и не стесняйтесь уточнять детали. Также, вы можете воспользоваться пятью способами улучшения ответов, приведенными ниже. Для решения сложных логических или https://github.com/topics/artificial-intelligence математических задач используется техника chain-of-thought, или цепочка рассуждений.
В общем случае такие промпты могут сочетать в себе инструкции, контекст, входные данные и индикаторы вывода для получения улучшенных результатов. Они достаточно эффективны для решения задач, требующих некоторых форм рассуждения. Один из распространенных примеров, демонстрирующих такие возможности, — добавление фразы "Let's think step by step" («Давайте подумаем шаг за шагом») в исходный промпт15. Оптимизация промтов для LLM, таких как ChatGPT, является ключевым шагом к получению качественных и полезных результатов. Правильная формулировка запросов, использование контекста и ключевых слов значительно повышают точность и релевантность ответов. При применении методов prompt engineering, model tuning и injection techniques вы сможете максимально эффективно использовать возможности LLM.
В предлагаемом авторами подходе для повышения качества интеллектуального реферирования в сфере государственного и муниципального управления производится итерационное использование разных методов. Первоначальный отбор текстов производится https://paperswithcode.com пользователем с опорой на свои знания предметной области. Затем проводится экстрактивное реферирование (сжатие) определенного количества предварительно отобранных текстов по выбранной тематике. Кроме того, ясность запроса позволяет модели лучше понять контекст и сосредоточиться на нужных аспектах, что значительно повышает качество генерации текста. Учитывая это, помимо актуальности вопроса, важно задавать его так, чтобы избежать двусмысленности и обеспечить необходимую структуру, что напрямую влияет на эффективность и результативность взаимодействия с языковыми моделями.
Поэтому в каждом случае стоит проводить эксперименты и оценивать качество на выборке примеров. Лучше решать эту задачу не как саммаризацию информации, а как извлечение конкретных полей инвойса и формирование финального ответа по заданному шаблону. Важные поля инвойса — это наименования продавца и покупателя, сумма, дата оплаты, дата выставления инвойса, описание товара/услуги по инвойсу. Иногда чтобы улучшить качество итогового решения и пользовательского опыта, исходную задачу стоит переформулировать, декомпозировать или вообще сузить до подзадачи. В зависимости от решаемой задачи вы можете столкнуться с тем, что модели разных вендоров (например, OpenAI vs Anthropic vs Google) могут давать существенно разное качество. Улучшением промптов следует заниматься, когда LLM уже показывает нормальные результаты, но доля верных ответов все еще ниже целевого уровня.
Разделение задачи на более мелкие этапы помогает модели предоставлять более ясные и детализированные ответы. 0-shot prompting предполагает предоставление LLM задачи или вопроса без каких-либо примеров. Эта техника эффективна для задач, где достаточно общего понимания модели. Токены представляют собой фрагменты текста, обрабатываемые моделью, и использование меньшего их количества обычно снижает затраты. Для экономии старайтесь делать запросы краткими и ясными, при этом сохраняя достаточно информации для получения точных ответов.
Если вы хотите получить от модели более развернутый и глубокий ответ в определенном формате/стиле, то при помощи одного или нескольких примеров (подсказок) необходимо явно показать, чего вы от нее ждете. Такой метод формулирования запросов называется one/few shot prompting. Приложение использует нейросеть для оптимизации текстовых инструкций к ChatGPT, Stable Diffusion, DALLE и Midjourney. Полученные промпты увеличивают вероятность получения релевантного результата от модели.
Предоставьте простые инструкции по формату и содержанию, которое вы хотите получить. Это может включать в себя указания на то, нужен ли вам список, резюме или краткое объяснение.
Read More: https://github.com/topics/artificial-intelligence