Notes

Тестируем LLM для русского языка: Какие модели справятся с вашими задачами? Хабр
ChatBot Arena - это платформа для сравнения различных чат-ботов и языковых моделей на основе их производительности в выполнении различных задач общения с пользователем. Этот рейтинг предоставляет обзор различных чат-ботов и моделей, а также их результатов в различных тестовых сценариях. HashDork — это блог, посвященный искусственному интеллекту и технологиям будущего, в котором мы делимся идеями и освещаем достижения в области искусственного интеллекта, машинного обучения и глубокого обучения.
Обучение и архитектура
Воспринимайте ответы ИИ как черновик или отправную точку для дальнейшей проверки. В будущем дальнейшие разработки будут сосредоточены на повышении надёжности и уменьшении ошибок, таких как «галлюцинации». На конец сентября 2023 года была лучшей LLM с размером 7 млрд параметров.
Для поиска универсальных законов необходимо разбить концепцию "интеллекта" на несколько ключевых измерений, таких как структуры, знание и логика. Аналогично методам, используемым в астрономии для открытия законов движения планет, в области языковых моделей мы должны собирать данные через множество контролируемых экспериментов. см Этот подход помогает выявить закономерности и взаимосвязи, применимые к различным моделям, вне зависимости от их размеров или гиперпараметров. Таким образом, исследование универсальных законов в языковых моделях может привести к более глубокому пониманию их работы и улучшению их функциональности. Метод Automated Chain-of-Thought (CoT) prompting выделяется как один из перспективных методов, позволяющих структурировать вывод данных моделей таким образом, чтобы сделать его более прозрачным и точным. Создание прозрачных моделей ИИ представляет собой одну из ключевых целей современности.
Оценка на основе задач
Подробнее о подходе RAG можно прочитать на странице доков HuggingFace, недавно на Хабре вышла статья о русскоязычном помощнике, построенном на базе трансформерной модели Saiga (saiga_mistral_7b_lora). С помощью Fine-tuning мы влияем на саму большую языковую модель, так как она дообучается на специфичных для решаемой задачи данных. Исследования в этой области продолжаются, и сообщество разработчиков активно работает над тем, чтобы устройство CoT prompting стало еще более гибким и масштабируемым. Количество публикаций и исследований в этом направлении растет, что значительно способствует ускорению процесса внедрения данной технологии в реальные проекты и продукты.

А ещё он, пожалуй, самый этичный из всех — очень аккуратно подходит к сложным темам. Hugging Face - это платформа, которая предоставляет доступ к различным языковым моделям и библиотекам для работы с ними. На этой платформе пользователи могут оценить производительность различных LLM, получить доступ к их предобученным вариантам и настроить их для конкретных задач.
Мы описываем эти и другие модели в нашем гайде по промтингу с нейросетями в GPTunneL. Нужны креативные идеи или сложные профессиональные темы — GPT-4o ваш выбор. Работаете с русскоязычным контентом — присмотритесь к отечественным решениям. Представьте себе очень начитанного профессора, который пытается говорить простым языком. Он особенно силён в анализе длинных текстов и научных материалов, более честно признаёт свои ошибки и ограничения.
Трансформер, работающий с текстом даёт возможность анализировать текст вне зависимости от его объема. Гибкость и высокая точность — трансформеры подходят для многоязычного контента и сложных структур. Глубокое обучение, как подкатегория машинного обучения, работает с более сложными и плохо структурированными типами данных, такими как текстовая и визуальная информация. Этот подход основан на нейросетях, которые, благодаря многослойной структуре, способны выявлять сложные взаимосвязи между входными характеристиками и целевыми результатами. Существует риск, что модель, обученная с применением CoT prompting, может “заучивать” лишь специфические шаблоны ответов на часто встречающиеся запросы, что снижает её способность к генерализации.
Второй этап обучения модели — Supervised fine-tuning или обучение с учителем. Это специалисты, которые пишут эталонные ответы на разнообразные запросы (промты). В этих моделях вероятность появления определённого слова зависит от предыдущих n слов. Например, в https://artificial-intelligence.blog.gov.uk биграммной модели вероятность появления слова определяется только предыдущим словом.
Saiga-Llama3-8b стала лучшим выбором для задач извлечения данных и анализа документов, что делает её отличным инструментом для автоматизации обработки документов. https://wikimapia.org/external_link?url=https://auslander.expert/ Наша компания давно занимается искусственным интеллектом и стала часто получать подобные запросы от клиентов — создание ИИ-решения с локальной обработкой данных. Мы задались вопросом, какие LLM хороши для таких решений, что мы можем предложить заказчику? На этапе Pretrain модель учится предсказывать следующее слово в предложении. Здесь она вбирает базовую эрудицию и знания о естественном языке, но пока еще умеет понимать запросы и не может на них отвечать.
Read More: https://wikimapia.org/external_link?url=https://auslander.expert/