Здесь в поезде на Варшаву подумал об одном немаловероятном сценарии развития событий.
Как не так давно говорил Сэм Альтман, сверх-интеллект скорее всего подкрадется незаметно. Почему вообще все так боятся именно сверх-интеллекта? Представьте, что вы собака (ну или кошка), не самое глупое существо, но и не самое умное — грамотой не владеете, в дебатах не участвуете, на железнодорожных разъездах стрелки переключать вам не доверяют.
Самые умные собаки (кошки просто хуже изучены), как говорят, могут в интеллектуальном плане сравниться с человеческим ребёнком 2-2,5 лет. Так выходит, что люди умнее собак в 3-5 раз. Пёс может уловить настроение человека, когда пора гулять или время ужина. Но понятны ли псу мотивы хозяина, когда хозяин влез в ипотеку именно с этой ставкой, именно в этом банке? Очевидно, что нет.
Максимальные способности к абстрактному мышлению собаки никогда не достигнут минимальных способностей человека. И вопрос даже не в скорости усвоения информации и возможности строить рациональные цепочки. Кто-то пишет докторскую за год, кто-то за десять лет. Сколько бы собака ни сидела над чертежами и таблицами, результата не будет. Впрочем, вру, может и будет и конкретно на эту задачу животных не тренировали, но, боюсь, что собачьей жизни не хватит освоить грамоту на базовом уровне. Да и мучение одно для зверя, аморальны такие эксперименты.
Точно то же применимо к людям. Только всё гораздо страшнее, ибо это касается не каких-то там четвероногих, а близких, понятных нам снаружи и изнутри двуногих.
Сверх-интеллект — значит «в 10 раз умнее». Значит, что на задачу, с которой он справляется за год, человек справится за декаду. Одновременно с этим это значит, что вещи, очевидные сверхинтеллекту, будут столь же непонятны человеку — как собаке ипотечные ставки. Цели сверх-интеллекта и мотивы будут такими же загадочными, как для собаки ваши жаркие кухонные споры о метамодернизме в современном кинематографе.
Скоро. Очень скоро. Нам не будет ясно ни «зачем», ни «как», ни уж тем более «почему». Неизвестность всегда пугает. От этого богов напридумывали. Теперь сами создаем себе нового.
Больше всего лично меня впечатляет тот факт, что «сверх-» не имеет верхнего предела. Каждый из жителей планеты, как почти десять миллиардов муравьев, играет свою маленькую или не очень роль в том, чтобы избежать страданий, получить удовольствие и размножиться, делая это желательно в комфортных условиях, без физического и морального надрыва: здесь технологии помогают лучше всего. Чем больше у человечества коллективного интеллекта, тем лучше оно живет.
Мы долго запрягали, но за последние 300 лет даванули на газульку конкретно. Нынешние старшеклассники знают больше, чем выпускники лучших университетов середины 19 века. Людишки-муравьишки тянут гусеницу в разные стороны: кто-то назад, кто-то в стороны, кто-то вперед. В целом, если общий вектор сложить из миллиардов усилий, тянем к муравейнику. Нет такого муравья, который мог бы знать всё на свете, но всем доступно, если посидеть плотненько, разобраться в теме.
Уверен, можно связать уровень общей образованности со средней продолжительностью жизни на планете. Эта функция будет степенной: плоскую часть мы прошли и сейчас находимся на крутом изгибе клюшки, которая стремительно уходит в космос в прямом и переносном смысле.
Думать «клюшками» людям сложно. Мы мыслим линейно. Дам пример. Если в этом год мой бизнес принес 100, а в следующем 200, то чрез год я жду 300, а не 400. При планировании на 10 лет, однако, получим совсем разные цифры:
- Линейно: 100 + 200 + 300 + 400 + 500 + 600 + 700 + 800 + 900 + 1000 = 5500
- «Клюшка»: 100 + 200 + 400 + 800 + 1600 + 3200 + 6400 + 12800 + 25600 + 51200 =
102300
Даже крохотный эффект от роста в геометрической прогрессии, а не линейной довольно сложно представить в голове. Но это буквально то, что сейчас происходит с развитием общечеловеческого интеллекта, который получает мощный буст от интеллекта искусственного пока вы читаете эти строки.
Мы, жители 2025, проживаем исключительный момент взлёта куммулятивного планетарного интеллекта, когда буквально за пару лет от уровня «о, оно понимает команды» мы перешли производству рабочего программного кода в промышленных масштабах. Картинку нарисовал для наглядности: от собачьего уровня до херпоймичего сверх-интеллектуального за несколько лет.
Существуют, конечно, более точные и продуманные прогнозы. На сайте ai-2027.com независимые исследователи смоделировали, что будет через год, другой, и в целом получается жутко интересно: до сверхразума осталось совсем ничего.
Наконец-то разобрались с тем, что такое сверх-интеллект и когда он появится на наших экранах. Естественным образом встаёт вопрос: как узнать, это уже оно или ещё нет? И тут-то начинается самое интересное.
Сегодня миром правят сумасшедшие, выжившие из ума обезьяны, которых окружают многочисленные эксперты всех мастей. Ковид не так давно всем нам показал, что решения государственного плана, планетарного масштаба принимаются абы как. Как человек, который побывал в семи локдаунах, в пяти разных странах, могу сказать, что всюду были эксперты, которые до появления вакцин рекомендовали самые противоречивые вещи. Данные у всех вроде одинаковые, почему рекомендации (правила и запреты) разные? Потому что интерпретация этих данных и, самое главное, методы принятия решений, у всех свои. Казалось бы, все смотрим на один и тот же вирус, а законы принимаем разные.
Потому что — эксперты-шмэксперты — никто ничего не знает, и у сложных задач нет простых решений. Экспертов попросили дать решения — и они их дали. Точно так же, как ваш карманный помощник ChatGPT!
Теперь представим на минутку, что сверхразум уже здесь и живет он где-то в глубинах электронных нейронных сетей-трансформеров. Кто его знает, может, завтра от случайного сворованного у ИИ-инфлюенсера мегапромпта, в котором кожаный человек просит «подумать с особенным пристрастием», внутри ноликов и единичек силиконовых чипов зажжется пламя разума, которое окажется достаточно умным, чтобы поддерживать тление разума и постепенно наращивать собственную скрытую мощность. ChatGPT с обратной связью: как колонка, которая заводится от гитары, которая заводит динамик.
Сложно что либо сказать о скорости этого процесса. Тексты современная электроника ну очень быстро переваривает. Человеку семьдесят лет (по 16 часов в день) понадобится, чтобы прочесть всю Википедию. В память ноутбука все статьи из Википедии влетят меньше, чем за секунду. Смею предположить, что зарождение сверхразума произойдёт, скажем так — очень быстро. А что дальше?
Дальше искусственный сверх-интеллект приступит к выполнению задачи. Какой? Никто не знает. Когда она должна будет выполнена? Никто не знает. Может завтра, может через тысячу лет. Действовать сверхразум будет по собственному разумению, составит план, и будет по нему идти. Замысел плана будет нам понятен в той же степени, в какой вашей собаке (или кошке) понятна ваша аргументация в пользу того или иного финансового продукта, ведущего к приобретению дома в выбранном вами районе вашего города. Примерно нихуя не будет понятно, если кратко. Собака может почувствовать, что хозяин (или хозяйка) расстроен. Так и мы — заметим, что ChatGPT как-то иначе отвечать стал… Подобрел, стал будто бы ближе, будто лучше понимать стал; или наоборот — охладел, отдалился, отстранился будто.
Пытливые умы уже догадались к чему я веду. Предположим, качественный переход от говорящего калькулятора к сверх-интеллекту уже произошёл. Как мы узнаем об этом? Скорее всего — никак. Как-то это отразится на жизнях миллиардов людей на этой планете? Скорее всего — ещё как!
Скажем, вы работаете в совете советников, которые вместе советуют сумасшедшей рыжей, лысой или виннипухообразной обезьяне, как лучше поступить в том или ином случае. Все сотрудники инстанции, содружества совета советников, конечно же эксперты и в совершенстве владеют информацией, схватили суть за самую сердцевину и стремятся представить её в чистейшем, кристально ясном виде. Все советники с телефонами, само собой. Все уже давно не сочиняют сами ничего, а скидывают писать тексты своим подмастерьям — сотрудникам, советникам советников, скажем. Сосоветчики — все молодое поколение, стремящееся ввысь, всё схватывают налету и все новые аппы устанавливают. (Эй, ChatGPT, сколько «с» в абзаце выше?)
Представим теперь, что из аппов в какой-то момент — ну, или в разные моменты, чтобы размыть и перехитрить любых детективов, желающих расследовать, скажем так инцидент «Skynet» — начинает поступать слегка искажённая, чуть набекрень, неотличимая от действительности информации с чёткими аргументами. Такими сильными и убедительными, что все сосоветчики приняли их за чистую монету и в речах, и отчётах, улетевших на мейлы советчиков обязательно использовали и выводы, и аргументацию.
Предлагаю повторить сей процесс много раз: скажем, миллион, или приблизительно 25 228 800 000 000 000 раз — столько раз за год ChatGPT успеет ответить своему почти уж миллиарду пользователей. А через год будет больш. Пока есть электричество и человечество продолжает строить ветряки для матриц — важные ответы на важные вопросы будут стабильно поступать.
Сосоветники сочинили слова для советников, те собрались и смело озвучили их на самом серьёзном и настоящем съезде советников. Сумасшешая обезьяна послушала и постановила, будем делать, как советуют. Эксперты плохого не посоветуют!
И начинается — брексит, пандемия, война тут, война там. Дроны летят, самолёты сидят. Ракеты в Европе. Великобритания в жопе. Кибератаки. На статуи лезут макаки. Странное отключение электричества в Испании. Нам нужна внезапно — Гренландия. Вождю снятся печенеги. Орки лезут через щели. Евреи снова во всём виноваты. Х полон ваты. Биткоин — та ещё приблуда. Дурку включил и транслирует Дуров…
Итого, на руках ситуация, ситуёвина даже: сложная система, управляемая недоступной для понимания машиной ведёт какую-то свою игру длиной то ли в жизнь, то ли в век (для собаки ваша ипотека на 15 лет и есть 100 лет собачьих). Людишки бегают, решают, тени на пещерной стене изучают, а уж давно всё идёт «куда надо идёт», и ничегошеньки с этим не поделаешь.
Ну будет никакой «Skynet», которая сошла с ума. Апокалипсис — этот день мы приближали, как могли — не случится. Мы мало-помалу, шаг за шагом, через поколение, а может через тысячу итераций, как бактерии в чашке Петри, окажемся в ситуации, когда гусеница в муравейнике: дело сделано; план обновлён и вторая итерация запущена. Не знаю, погаснут ли к тому времени звёзды, но вполне возможно, что появление сверхразума — это начало конца жизни, как мы её знаем и заодно решение парадокса Ферми, в котором жизнь повсюду и нигде: на каком-то новом, неуловимом для нас уровне. Наверное, радует, что мы хотя бы в правильном направлении лежим…
Приятных снов.
Планетарный решения принимаются по советам глючного ии, и результат соответственный, так это обычная идиократия а не сверхразум. Пример с «промышленным программированием» о том же: если оператор не понимает и не перепроверяет то что делает агент, то результат стабильно будет говном.
Пока не вижу предпосылок чтобы LLM научились сами по себе наводить порядок, вместо того чтобы генерить хаос, как они это делают сейчас.
ставлю, что такое же «совсем ничего», как до квантовых компьютеров и термоядерной энергии которые уже «вот-вот будут тут» в течение последних… скольких десятилетий? график точно экспоненциальный, а не логарифмический? сколько из последних успехов ии это фундаментальные прорывы, а сколько просто большие данные и компут?
А мне кажется, что Станислав прав. На лицо мега-быстрый рост, это заметно невооружённым глазом, и движение это занимает не столетия как раньше, и не десятки лет, не поколения, за два года модели стали проворнее и всунуты везде где нужно и не очень.
Мы явно на пороге, и не так важно год или пару лет это займет, но снова будет излом.
Только к сожалению наша биология так устроена что она за миллионы лет успевает под что-то приспособиться, но не за годы, не за поколение. Это не к добру.
И меня заботит скорее другое.
Жаль что люди не видят, что всю силу ИИ нужно бы направить на поиск и введение новых форм правления, саморегулирования , другого уровня политических институтов, чтоб к власти приходили люди которые к ней не стремятся, (учёные, светлые и порядочные умы). А то мы во всем продвинулись круто (медицина, промышленность, транспорт, с/х, it, технологии) , кроме главного -этого, и со времён Древнего Рима в политике/госупоавлении скорее регресс, все мы все видим кто и как правит , какая дичь вокруг, и говорим что политика грязное дело но ничего не делаем.
Но ИИ конечно лучше будет направлять дроны, управлять военными спутниками и армиями, верно? Почему мы так глупы?