Notes

Осталось 20 дней до "Полного публичного отчета о рабочем прототипе и результатах" для конкурса Democratic Inputs to AI (https://t.me/seeallochnaya/383), уххх, очень жду!

А пока можно почитать мысли Jan Leike, главы команды SuperAlignment в OpenAI, в блогпосте "A proposal for importing society’s values (https://aligned.substack.com/p/a-proposal-for-importing-societys-values)".

Преамбула: сейчас вопросы, которые необходимо решить при обучении ИИ-систем, очень просты. Многие из таких вопросов имеют «ценностный» аспект, то есть разные люди могут не согласиться с ответами друг друга просто потому, что у них разные ценности. Сейчас, условно, мы обсуждаем "Должна ли модель отказываться писать расистские шутки?". Однако в будущем это может быть "Какие лекарства необходимо одобрить?" или "Какие направления научных исследований необходимо прорабатывать в первую очередь?".

Сам Jan отмечает, что описываемый ниже процесс неидеален, и даже не подходит под его же критерии из другого поста (https://aligned.substack.com/p/alignment-solution#%C2%A7an-adequate-process-to-elicit-values).

Так вот, основная идея — в использовании дообучения LLM для реализации делиберативной демократии (https://ru.wikipedia.org/wiki/%D0%94%D0%B5%D0%BB%D0%B8%D0%B1%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D0%B0%D1%8F_%D0%B4%D0%B5%D0%BC%D0%BE%D0%BA%D1%80%D0%B0%D1%82%D0%B8%D1%8F). Такая демократия — это процесс принятия правил и законов, который предполагает публичное обсуждение небольшой группой случайно выбранных членов общества. Люди из этой группы изучают сложные темы (условно, вопросы национальной политики), используют помощь AI, чтобы разобраться в деталях, обсудить всё друг с другом и в конечном итоге прийти к решению. А записывая, как происходит обсуждение и выявление ценностей, мы можем обучить LLM, и затем имитировать дискуссии по новым вопросам о ценностях с помощью модели, заставляя симулировать разные точки зрения.

Зачем нам вообще нужна симуляция? Почему мы не можем просто запустить такие группы по всем вопросам? При принятии важных решений мы всегда должны иметь людей в процессе. Однако этот процесс плохо масштабируем. Нужно разобраться в теме, сформулировать точку зрения, пообщаться с другими людьми, да и количество людей ограничено (и это еще надо забыть про языковые, культурные и политические барьеры).

Вот представьте, если бы в ChatGPT рядом с каждым ответом была кнопка с надписью «Оспорить этот ответ». Если вы нажмёте на неё, то это запустит LLM-симуляцию обсуждения, которая решит, был ли ответ ChatGPT уместным в этом разговоре или нет. Вас перенаправят на другую веб-страницу, где вы сможете прочитать полное обсуждение и его результаты и даже сами принять в нем участие (потому что все мнения сгенерированы AI, и можно в любой момент "пересобрать толпу")!
Если результат не соответствует тому, что на самом деле сказал ChatGPT, у вас есть возможность отправить его на проверку людьми и добавить в процесс обучения ChatGPT. Это позволит любому проверять и оспаривать решения, принимаемые ИИ.

У этого подхода есть много недостатков, самые главные из которых — способ аггрегации ответов (когда люди не могут договориться, и нужно как-то прийти к финальному решению) и техническая возможность достичь того уровня технологий, что мы вообще такие симуляции можем проводить.