Notes

Большой обзор больших языковых моделей Хабр
Преимущества CNN перед FFN заключаются в их способности к автоматическому извлечению признаков из данных, что делает их идеальным выбором для обработки изображений. Кроме того, свёрточные нейронные сети имеют более высокую скорость обучения и меньшее количество параметров, что делает их более эффективными в работе с большими объемами данных. Каждая архитектура имеет свои преимущества и недостатки, и выбор оптимальной зависит от конкретной задачи и данных. Векторная модель – алгебраическая модель для представления текстовых документов в виде векторов в пространстве признаков.
Анализ текстовых данных становится все более важным в наше время, когда огромные объемы информации генерируются и обмениваются каждую секунду. От социальных медиа до новостных порталов, от клиентских отзывов до академических статей — текстовые данные содержат бесценные знания и инсайты. Однако извлечение значимой информации из таких объемов текста может быть огромным вызовом.
Например, потери больших блоков текста в переводе (undertranslation) или, наоборот, «придумывание» текста от себя в отрыве от source-предложения (overtranslation). При независимом переводе блоков, в которых содержится лексическая когезия, перевод ключевых слов может получиться неконсистентным. В таком случае связность текста теряется, что также затрудняет восприятие смысла. Когезия — способ связывать между собой предложения внутри текста, а лексическая когезия делает это с помощью повторений или других референтных выражений между словами. Кроме того, из одного и того же датасета документов можно получить значительно больше обучающих сэмплов предложений, чем сэмплов параграфов или бо́льших фрагментов. Если суммарно данных не так много, то обучение на предложениях — единственный вариант.
Выбор подходящей модели
Преимуществом графовых гипотез является более точная передача семантики текстов вследствие наличия близко расположенных терминов, образующих осмысленные словосочетания. Модель представления текстового документа является важной составляющей в процессе его компьютерной обработки. Выбор модели определяет эффективность выделения смыслового содержания и структуры документа. Выбор моделей обусловлен существенным их различием в способности отражения структуры документа. Сравнительный анализ данных моделей позволит оценить эффективность использования информации о связях между терминами в задаче классификации по тональности.
Данная метрика более устойчива к выбросам, поскольку делает распределение целевых и спрогнозированных значений более однородным. С другой стороны, MSLE труднее интерпретировать, а также стоит иметь в виду, что она уделяет больше внимания заниженным прогнозам, поскольку логарифм является несимметричной функцией. Например, продажи мороженого имеют ярко выраженную сезонность, при этом продажи в летние месяцы значительно выше, чем в зимние. В таком случае WAPE покажет более реальную оценку, поскольку будет учитывать ошибку прогноза для каждого месяца относительно общего объёма продаж, что в итоге позволит лучше справляться с прерывистыми продажами. Нетрудно догадаться, что не смотря на одинаковые MAE, в одном случае качество модели будет лучше, чем в другом.
ДСМ-метод реализует синтез трех познавательных процедур – эмпирической индукции, структурной аналогии и абдукции [1]. LLM подходит для более гибкой оценки тонкостей смысла, но требует большего количества ресурсов. К ключевым особенностям GPT-4 относится возможность расширенного видения, известная как GPT-4V, которая позволяет модели интерпретировать и анализировать изображения, предоставляемые пользователями. Top-p семплирование очень похоже на top-k, но для определения границы отсечения токенов в нем вместо отсечения по порядку в рейтинге правдоподобия используется отсечение по непосредственным значениям оценки правдоподобия.
ReAct (Reason + Act): пошаговое взаимодействие LLM с агентами
Текстурные изображения могут быть созданы вручную или импортированы из внешних ресурсов. По мере развития отрасли ориентироваться во множестве доступных моделей, чтобы найти подходящую для конкретных нужд, становится все более важным. Эта инициатива подчеркивает стремление Hugging Face к прозрачности и прогрессу в области ИИ, способствуя созданию совместной среды для инноваций и оценки ИИ. https://auslander.expert/ai-content-riski-resheniya/ Компания также ведет рейтинг Open LLM, который представляет собой платформу для отслеживания, ранжирования и оценки открытых LLM и чат-ботов, включая такие популярные модели, как Falcon LLM и Mistral LLM, а также новые проекты. Такое сочетание открытого исходного кода и традиционных SaaS-предложений позволило Hugging Face стать ключевым игроком в демократизации разработки ИИ.

Как вы видите на рисунке, можно начать с собственного промта https://emnlp.org и двух анонимных LLM (Model A и B). Обе модели дают какой-то ответ, после чего вы решаете, какая справилась лучше. Перевод в количественные значения сравнения выполняется при помощи рейтингов Maximum Likelihood Estimation Elo (MLE-Elo) (они же модель Брэдли-Терри). В этом разделе мы рассмотрим различные фреймворки бенчмаркинга и их возможности. Стоит отметить, что на данный момент не существует какого-либо стандарта наименований; поначалу это может сбивать с толку, так что я буду объяснять подробнее.
В сравнении с метриками выше, более близкое к нулю значение DBI говорит о лучшем качестве кластеризации. Хотя данная метрика и обладает тем же недостатком, что и коэффициент силуэта, она может быть более предпочтительным вариантом из-за более простого вычисления. Эта метрика также лежит в диапазоне [0, 1] и может быть полезна при сравнении различных алгоритмов кластеризации, поскольку не делает никаких предположений об их структуре и, следовательно, может дать более объективную оценку. Следует добавить, что все 3 метрики хорошо интерпретируемые, поскольку лежат в диапазоне [0, 1], где 1 соответствует идеальной кластеризации. Также помимо этого, в scikit-learn имеется возможность получить все три метрики сразу. Она симметрична, не зависит от перестановок меток и их значений, которые теперь определены в диапазоне [-1, 1].
Here's my website: https://emnlp.org