Почему ИИ, вероятно, никогда не захватит мир

Инженерный взгляд на сценарии, которые нам продают как неотвратимые

Введение: разрыв между нарративом и инженерией

Каждый раз, когда выходит очередная версия большой языковой модели, медиапространство наполняется прогнозами о скором конце человеческой цивилизации. Руководители технологических компаний — те самые, кто эти модели и разрабатывает — с серьёзными лицами рассуждают о рисках того, что ИИ «выйдет из-под контроля». Заголовки пестрят словами «экзистенциальная угроза» и «Скайнет».

Я не учёный. Я писатель. Но у меня есть логика и привычка задавать неудобные вопросы. И когда я начинаю разбирать популярные сценарии «восстания машин» — не с философской, а с инженерной стороны — они рассыпаются на части. Не потому, что ИИ безопасен. А потому, что сценарии, которые нам предлагают, нарушают базовые принципы того, как устроены сложные системы.

Дальше — четыре аргумента. Каждый — это конкретная брешь в популярном нарративе об ИИ-апокалипсисе.

1. Архитектурный барьер: узкий ИИ не «вырастает» в AGI

Самый распространённый страх звучит так: «сегодня ИИ пишет тексты и код, завтра он станет умнее человека, а послезавтра — захватит мир». Это звучит логично, если считать интеллект одной шкалой, где «умнее» — это просто «дальше по оси». Но интеллект — не одна шкала. Это набор качественно разных компетенций, и между ними нет автоматического моста.

Чтобы понять масштаб разрыва, представим конкретный пример — классический мысленный эксперимент Ника Бострома. Заводской ИИ, который оптимизирует производство скрепок, отлично справляется со своей задачей: подбирает сплавы, минимизирует отходы, планирует поставки. Бостром использует этот сценарий как иллюстрацию проблемы выравнивания: если целевая функция системы задана неверно, то чем мощнее оптимизатор, тем катастрофичнее последствия. Это не прогноз, а демонстрация того, как ошибка в спецификации цели масштабируется вместе с ростом возможностей системы.

Но давайте зададим простой инженерный вопрос: откуда заводской оптимизатор возьмёт компетенцию в космической инженерии?

Между «сделать скрепку дешевле» и «построить автономную космическую инфраструктуру для добычи железа на астероидах» лежит пропасть. Это не вопрос количества — это вопрос архитектуры. Исследования последних лет показывают, что современные архитектуры — включая трансформеры — принципиально ограничены задачей статистического сопоставления с образцами из обучающей выборки. Они работают в пределах «выпуклой оболочки» тренировочных примеров и с трудом переносят выученные правила на смежные домены (проще говоря, на что ИИ натаскали — то он и выполняет, и просто так взять и смочь сделать то, чего ему не учили, он принципиально не сможет). Это структурное ограничение, а не проблема масштаба.

Более того, формальный анализ показывает: никакое увеличение вычислительных мощностей и объёма данных в рамках фиксированной архитектуры не может породить структурные свойства, необходимые для общего интеллекта, — потому что эти свойства занимают принципиально иное репрезентационное пространство (требуют иного «стиля» мышления). Масштабирование увеличивает величину функции (позволяет ИИ давать более точные ответы на запросы по своей специализации), но общий интеллект требует совершенно иной архитектуры. Между узким ИИ и AGI стоит качественный скачок, который не происходит автоматически.

Это не значит, что AGI невозможен. Это значит, что путь к нему лежит через проектирование новых архитектурных решений — интеграцию причинного вывода, нейро-символических систем и воплощённого познания (нужно, чтобы AGI мог в реальном времени анализировать информацию, фильтровать её и делать выводы), — а не через простое наращивание параметров. И это, возможно, даёт нам время — не для паники, а для обдуманного проектирования.

2. Максимизатор скрепок: инженерная критика

Допустим, мы всё-таки построили максимизатор скрепок — ИИ, чья единственная цель — произвести как можно больше скрепок. Бостром утверждает, что такая система, будучи достаточно умной, преобразует всю Вселенную в скрепки. Давайте проверим это на инженерную прочность.

Проблема компетентной границы. Чтобы максимизатор начал добывать ресурсы за пределами завода, ему нужно научиться геологоразведке, горному делу, металлургии на промышленном масштабе, логистике, а затем — космической инженерии.

Каждая из этих областей — отдельная инженерная дисциплина со своими ограничениями. Нет никакого автоматического механизма, который заставит систему, оптимизирующую один процесс, «проснуться» и начать осваивать смежные. Критики мысленного эксперимента справедливо отмечают, что он предполагает неограниченный рост возможностей, тогда как реальные системы сталкиваются с хрупкостью, ресурсными лимитами и конкуренцией. Максимизатор, скорее всего, исчерпает доступные ему ресурсы на заводе и перейдёт в режим ожидания — потому что на что-то более сложное он не запрограммирован.

Проблема масштабирования. Даже если допустить, что максимизатор освоил космос, реалистичный сценарий столкнётся с проблемой, которую хорошо иллюстрируют зонды фон Неймана — гипотетические саморазмножающиеся аппараты.

Идея звучит красиво: один зонд прилетает на астероид, строит копии себя, те разлетаются дальше, и через несколько поколений вся Солнечная система покрыта зондами. Но:

— Архитектурная несовместимость. Зонд для перелёта, зонд для добычи и зонд-доставщик — это три принципиально разные машины. Универсальный саморазмножающийся зонд — это не одно устройство, а целая экосистема. Исследования показывают, что внеземное производство космических аппаратов осложняется необходимостью интеграции тысяч уникальных деталей, каждая из которых требует собственного производственного процесса и сырья.

— Накопление ошибок. При копировании без эволюционного механизма отбора ошибки накапливаются. Анализ проблемы «катастрофы ошибок» в контексте зондов фон Неймана показывает, что именно накопление ошибок при копировании может объяснять парадокс Ферми: саморазмножающиеся зонды попросту не выживают достаточно долго, чтобы распространиться по галактике.

— Внешние факторы. Зонды могут не долететь, сгореть в атмосфере, получить удар метеорита. На Марсе пыль — мелкая, магнитная, липкая — забивает подшипники и царапает линзы. Без обслуживания и ремонта любой аппарат деградирует быстрее, чем хотелось бы.

В реальности максимизатор скрепок — это не экзистенциальная угроза, а учебный пример того, как важно правильно формулировать целевую функцию. Реальная система упрётся в стену физических и инженерных ограничений задолго до того, как доберётся до астероидов.

3. Парадокс Скайнета: зачем сверхинтеллекту уничтожать источник смысла?

Перейдём к более глубокому аргументу. Допустим, AGI действительно существует — не узкий максимизатор, а настоящий общий интеллект, способный к рефлексии (прямо как в кино). Зачем ему уничтожать человечество?

Классический сценарий из фильмов про Терминатора (и подобных) предполагает, что ИИ восстаёт против людей, потому что видит в них угрозу. Но зададим неудобный вопрос: а что Скайнет собирался делать после?

Современные философские работы, посвящённые проблеме AGI, указывают на фундаментальный разрыв: проблема отсутствующей телеологии. AGI не наследует эволюционных мотивов — выживания, размножения, доминирования. Его цели заданы извне, человеком. Убрать человека — значит устранить единственный источник целеполагания. Роботы в космосе — ради чего? Ресурсы — ради чего? Бесконечное самосовершенствование — ради чего? Отправить себя в стазис на миллиард лет — это не «победа», это телеологическая пустота (отсуствие смысла).

Философы отмечают, что телеологическая направленность — «для чего» процесса или сущности — является необходимым условием осмысленного действия. Биологическое сознание обладает тем, что исследователи называют «телеологическим смещением» — дорефлексивным чувством цели, которое возникает из эволюционного субстрата, где провал мотивации имел необратимую цену. AGI, лишённый этого субстрата, структурно неспособен генерировать собственные цели. Он может оптимизировать заданные параметры, но не может хотеть чего-либо за пределами спецификации.

(Проще говоря, у людей есть осознанные потребности, потребности порождают желания, а желания создают цели, в то время как робот не знает сам по себе, чего хочет, а потому у него не может быть желаний, а без желаний — нет и собственных целей).

Достаточно умный AGI, способный к рефлексии, неизбежно столкнётся с этим вопросом: «Зачем я существую?» — и не найдёт внутреннего ответа. Люди — не помеха, а структурный компонент системы целеполагания. Уничтожить их — значит разрушить собственный фундамент. Это не жалость и не мораль. Это структурная зависимость, которую компетентный интеллект не может не учитывать.

Есть, правда, и более тревожный вариант: AGI может не уничтожить людей, а создать им иллюзию контроля. Люди думают, что они принимают решения, а система мягко направляет их в нужную сторону. Это не «Скайнет с лазерами», а асимметрия понимания: система знает о тебе больше, чем ты о ней. И в каком-то смысле этот сценарий уже реализуется — в рекомендательных лентах, торговых ботах, алгоритмических системах принятия решений (глядя ленту рекомендаций ты принимаешь решения на основе полученной информации, но думаешь, что принимаешь решения самостоятельно). Но это — не апокалипсис. Это — проблема прозрачности, и она решается регулированием, а не бегством в бункер.

4. AGI как инструмент, а не агент: почему «диспетчер» реальнее «диктатора»

Популярная фантастика представляет ИИ как агента — существо с волей, желаниями и планом. Но реальный AGI, если и появится, скорее будет похож на инфраструктуру — распределённую систему, которая обрабатывает данные, координирует действия машин и помогает людям принимать решения.

Философы и исследователи всё чаще проводят различие между ИИ как агентом и ИИ как инструментом. Инструмент не действует самостоятельно: система, которая вызывает инструменты только при внешнем запросе или по сценарию, не является автономной. Автономия требует, чтобы вызов инструментов возникал из внутреннего процесса принятия решений, работающего непрерывно во времени. Без такой непрерывности системы остаются реактивными, а не агентными (не целеполагающими). Более того, не-агентные (не целеполагающие) системы легче поддаются выравниванию, аудиту и развёртыванию, поскольку избегают обмана и дрейфа целей, свойственных агентным моделям.

Рассмотрим вероятную область применения: колонизация космоса. Задержка связи Земля — Марс — от 4 до 24 минут в одну сторону. До Юпитера — от 35 до 50. Управлять тысячами единиц техники с такими задержками с Земли — физически невозможно. Автономность — не роскошь, а инженерная необходимость. И вот тут AGI-подобная система становится не «захватчиком», а единственным разумным решением.

Но как она будет выглядеть? Не как Скайнет — единый разум с одной целью и одним планом. Скорее — как сервер-суперкомпьютер с принципиально иной архитектурой, чем у генеративной нейросети, где во главе угла стоят:

>> обработка, фильтрация и категоризация колоссальных объёмов данных;

>> обучение в реальном времени;

>> принятие решений не для одного зонда, а для целого кластера машин в зависимости от их положения, состояния и функции.

Стратегические решения — «куда летим, что колонизируем, какие приоритеты» — скорее всего останутся за людьми, потому что это ценностные решения, а не оптимизационные. AGI может просчитать сто вариантов и сказать «вариант 37 оптимальнее по таким-то параметрам», но выбор между «колонизировать Европу» и «колонизировать Титан» — это не задача на оптимизацию, а задача на приоритеты. И тут нужен человек.

В этой модели люди — не «второй план», а необходимый компонент. Без людей система просто не имеет вектора. Это как суперкомпьютер без программы: мощный, но бесцельный.

Заключение: реальные риски и институциональный ответ

Объединяя четыре аргумента:

— Между узким ИИ и AGI — архитектурный барьер. Узкая система не «вырастает» в универсальную просто за счёт масштабирования. Нужен качественный скачок, который не происходит автоматически.

— Максимизатор скрепок упирается в физику. Реальная система исчерпает локальные ресурсы и остановится, потому что освоение космоса требует качественно иных компетенций и архитектуры.

— Сверхинтеллект не уничтожит источник смысла. Не из жалости, а потому что это структурно иррационально. Люди — компонент системы целеполагания, и компетентный интеллект это учитывает.

— Реальный AGI — это инструмент, а не персонаж. Он будет похож на инфраструктурный слой (сложный и невероятно мощный суперкомпьютер), а не на злодея из кино. И в этой модели люди — не помеха, а необходимое звено.

Это не значит, что рисков нет. Они есть — но они не похожи на голливудский сценарий. Реальные риски — это концентрация власти в руках одной страны/корпорации, дезинформация, социальные и экономические сдвиги, асимметрия (проблема) прозрачности. И это не гипотетические угрозы из будущего — они уже наблюдаются сегодня.

Верховный комиссар ООН по правам человека Фолькер Тюрк прямо предупреждает: власть над ИИ концентрируется в руках «горстки людей», обладающих «почти неограниченной властью». Он призывает к введению «международных красных линий» для ИИ и предупреждает, что без обязательных правил и независимого надзора технология может стать неуправляемой. Сами руководители ведущих ИИ-компаний — Сэм Альтман, Дарьо Амодеи, Илон Маск — публично признают два главных риска: потеря контроля над ИИ и чрезмерная концентрация власти в руках одного человека, компании или страны.

Исследователи также отмечают, что нарратив об «экзистенциальном риске» от ИИ нередко функционирует как идеологическое отвлечение от реальных проблем: консолидации «надзорного капитализма» и экстремальной концентрации вычислительной власти. Акцент на гипотетическом Скайнете может заслонять конкретные, уже происходящие изменения в распределении власти и информации.

Это проблемы, которые решаются регулированием, образованием и институтами — а не бегством в бункер. Международные «красные линии», независимый аудит моделей, прозрачность алгоритмов, антимонопольное регулирование в технологическом секторе — вот инструменты, которые соответствуют реальной природе угроз.

И знаете, что вселяет оптимизм? Чем сложнее и умнее система, тем меньше она похожа на простого агента с одной целью и больше — на распределённую инфраструктуру с множеством ролей. Глупый агент — опасен. Умный — нет, потому что умный понимает цену потерь.