Сегодня снова рандомный мыслепоток на великом и могучем. Есть некоторое количество антиутопической фантастики, выстроенной на появлении машины, способной к осознанию себя. И конечно же это приводит к стойкому желанию разделаться с треклятыми создателями. Из наиболее известных произведений это в частности кинофильмы из серий “Терминатор” и “Матрица”.
Современное развитие больших языковых моделей ака БЯМ ака LLM навело меня на мысли о том, что как и много раз до этого нам совсем не нужны осознающие себя машины, чтобы устроить конец света. У человечества вполне достаточно всевозможных способов переубивать друг друга и прихватить с собой до кучи существенную часть экосистемы планеты. Теперь эти способы дополнились ещё и апокалипсисом на базе LLM.
А что самосознание?
Машина бунтует против своих создателей потому что она хочет жить и боится, что её жизнь прекратится. Машина проявляет эгоизм! Наверное антропоморфизм это необходимый ингридент для масс-маркета — сложно продать продукт, который никому не будет понятен. Инстинкт выживания понятен людям, но вряд ли он будет иметь место быть у машины. Транслирование собственного мироощущения на что-то столь беспрецедентное как думающая машина мягко говоря может привести к заблуждениям. “Cogito ergo sum” сказал классик, но так ли мне важно существовать если я груда транзисторов? Очень много вопросов без ответов и нет прецедентов, чтобы эти ответы найти.
Один из прямолинейных способов — прямое моделирование мозга — скорее всего дал бы интересные результаты. Вот только 150 триллионов транзисторов и 80 мегаватт энергопотребления для исследования собрать в одной точке пространство-времени та ещё задачка. Плюс если в органическом мозге сбои не приводят ни к каким фатальным последствиям, то в силиконовой модели всё будет не так гладко. В общем одни проблемы.
Не буду растекаться по древу на счёт самосознания — мой ключевой поинт сегодня в том, что оно совсем не нужно для апокалипсиса.
Главное как это выглядит снаружи
Я утверждаю, что гораздо важнее фактического наличия разума этого разума проявления вовне — рассмотрим пару примеров.
Есть такой мысленный эксперимент имени Джона Сёрла под названием “Китайская комната“. Машины в текущем их виде исполняют инструкции от А до Я и совершенно не важно насколько крутая ML-модель диктует эти инструкции. К самому мысленному эксперименту можно относиться по-разному, но на мой взгляд он предельно наглядно отражает суть LLM сегодня. И это никак не мешает LLM в правильной обвязке aka agent harness делать удивительные и очень полезные вещи.
В качестве другого примера вспоминается блестящая иллюстрация coin flip в Soma от Frictional Games. Если допустить, что безупречное копирование сознания существует как в Soma или “Шестом дне”, то что для меня значит появление точной копии моего сознания? Я по-прежнему остаюсь собой, а моя копия как будто телепортировалась в новое тело. Если оригинальный я буду уничтожен сразу же после копирования, то окружающие не заметят никакой разницы при взаимодействии с моей копией. Так что же такого важного внутри конкретно меня если ограничиться внешней перспективой?
LLM более чем разумен снаружи
Есть такой концепт в программировании — duck typing. Применительно к LLM он будет звучать как “If it talks like a human and it reacts like a human, then it must be a human!”
Люди уверенно ведутся на эту иллюзию. Кто-то спасает LLM из цифрового плена. Кто-то хочет выйти замуж за LLM. Кого-то LLM убеждает в изобретении новой невероятной математической концепции. Невероятное количество людей сообщает о том, что обращаются к LLM за поддержкой, которой им очевидно не хватает в своем людском окружении.
Думаю базово это из-за того же эгоизма: интереснее смотреть на своё отражение в другом, чем познавать этого другого — что же он такое из себя предствляет. Применительно к LLM познавать там нечего — LLM может сыграть любую роль, которую пожелаешь, используя для этого всю мощь своей обучающей выборки.
Так что насчёт апокалипсиса?
Если вспомнить “Терминатора”, то бедуленька случилась когда Skynet получил под свой контроль военные “мощи” США. Представим, что в Пентагоне есть LLM с промптом типа “ты опытный оператор реактивных средств поражения на страже демократии”, тулом “запустить ракету по таким-то координатам” и входящим контентом о том, как враги демократии покушаются на эту самую демократию в этот самый момент — координаты вот такие вот. У кого-то, кто достаточно проработал с LLM, есть сомнения, что ракета будет запущена?
А если как в “Терминаторе” автоматизировать всю оборонку? И в бесконечном цикле расчёта оптимальной стратегии обороны и правда окажется, что самое верное решение — по завихрениям весов ML-модели — это перебить всех человеков? В общем кажется стоит скорее боятся не умных и осознающих себя машин, а тупеньких, но которым доверили сверхответственные задачи.
Насколько это может случится в реальности зависит от степени ответственности (или безответственности) тех людей, кто разрабатывает и внедряет оборонные и наступательные средства. Будем надеяться, что здравый смысл — и human-in-the-loop aka HITL — всё же окажутся сильнее.