Ничья армия . Автономное вооружение и будущее войны

Кто кого: роботы Азимова vs Скайнет из «Терминатора»?

Книга «Ничья армия: автономное вооружение и будущее войны» — это не просто наблюдение за возрастающей независимостью машин от людей. Это руководство к действию. Машины не могут стать автономными и выбросить человека из процесса принятия решений, если только мы сами им этого не позволим. Автономию как «когнитивный механизм, приводящий роботов в действие» человек проектирует по своему образу и подобию. Без автономии роботы — это «просто оболочка, ожидающая, пока люди наполнят ее смыслом». Так почему же тогда мы так боимся будущего, которое разворачивается на наших глазах?

Эксперты по робототехнике и искусственному интеллекту (ИИ) и представители неправительственных организаций призывают запретить автономное наступательное оружие в рамках кампании «Остановим роботов-убийц». Среди выступающих такие видные деятели, как Илон Маск, Стив Возняк, Стивен Хокинг. У них нет единого мнения о том, что такое автономия, где она точно будет применяться, а где нет. Однако их объединяет общий пессимизм относительно будущего.

Идут дискуссии, кипят страсти: одни футурологи предсказывают глобальную гонку ИИ-вооружений, другие желают избежать мрачного сценария из фильма «Терминатор», где система общего искусственного интеллекта «Скайнет» обрела самосознание и решила, что если люди хотят ее уничтожить, то человечество можно спасти лишь через уничтожение всех людей.

Пол Шарр, привлеченный политический аналитик Пентагона, который с 2008 года участвовал во множестве экспертных форумов на тему смертоносной автономии, предлагает нам взглянуть на происходящее более трезво. Он разбивает определение «автономии» на несколько элементов и подкрепляет повествование множеством примеров. Автор опрашивает специалистов из самых различных сфер, чтобы понять, где автономия уже идет полным ходом и как люди к ней относятся. Он также рассматривает некоторые аспекты ИИ, которые могут применяться или уже применяются для автономизации машин. Наконец, Полл Шарр дополняет основные законы робототехники своими рекомендациями, предлагает сценарии развития, чтобы будущее, полное технологий и машинной автономии, все равно оставалось нашим будущим.

Предписания для роботов, взаимодействующих с людьми. Разработаны научным фантастом Айзеком Азимовым. Вкратце звучат как: 1. Не навреди человеку. 2. Подчиняйся, но не навреди человеку. 3. Защищай себя, но не навреди и подчиняйся человеку.

От картечи до ВТО, от робота-пылесоса до израильской «Гарпии»

История автономного оружия началась в 1861 году во время Гражданской войны в США, когда сердобольный врач Ричард Гатлинг создал так называемую картечницу Гатлинга, предшественницу работавшего от отдачи пулемета. Она делала более трехсот выстрелов в минуту, а для ее обслуживания требовалось всего четыре человека. По мнению Гатлинга, таким образом можно было значительно уменьшить количество солдатских смертей. Он ошибся, и скоро опыт его изобретения стал основой для создания еще более смертоносного оружия.

Вторая мировая война, в которой ковровые бомбардировки привели к колоссальному сопутствующему урону, доказала, что мощного оружия недостаточно, — нужно высокоточное оружие (ВТО). Однако при его использовании грань между автоматическим и автономным оружием окончательно размывается. Некоторые ВТО управляются через беспроводную связь, некоторым оператор лишь обозначает цель (хотя всегда может ее поменять или прервать операцию вообще). В редких случаях запущенное ВТО уже не остановить вовремя, так как эти типы оружия используют радары, GPS и так далее для самостоятельного нахождения цели после запуска. Тем не менее это все еще машины, программируемые человеком. Тогда что же такое полная автономия и автономное вооружение?

Автономия: три измерения

Одно из определений автономии, предложенное Полом Шарром, звучит как «способность машины выполнять задачу или функцию самостоятельно». Но в таком случае робот-пылесос, который вы запускаете в доме, когда уходите, тоже делает автономную работу?

Автор выделяет три измерения автономии.

• Первое измерение определяется типом задачи в зависимости от важности, сложности и рисков, связанных с ее использованием.

Холодильник отвечает за хранение продуктов, тогда как Скайнету поручают более важную задачу, связанную с контролем ядерного вооружения.

Подушка безопасности выполняет несложную задачу: надуться при аварии. В то же время самолет, терпящий крушение, в последние минуты перед столкновением переходит в автономный режим, чтобы попытаться выровнять судно, если пилот почему-то не в состоянии выполнить эту задачу.

Если мы передаем управление машине, то нужно быть готовыми к последствиям, даже таким невероятным, как непреднамеренное срабатывание Машины Судного дня в фильме Кубрика.

В «Доктор Стрейнджлав, или Как я перестал бояться и полюбил бомбу» СССР не успевает объявить о создании этого оружия, главная цель которого — устрашить, и, когда американский самолет из-за неполадки бомбит военную базу СССР, механизм уничтожения всей жизни на Земле срабатывает самостоятельно.

• Второе измерение зависит от совершенства механизма принятия решений (автоматического, автоматизированного, автономного).

Действия обычного термостата были заданы заранее. Они предсказуемы для любого. Иными словами, он действует автоматически.

Однако при использовании термостата, регулирующего комфортную температуру комнаты, механизм принятия решений сложнее. Теперь машина принимает несколько решений, исходя из набора факторов. Без детального изучения или инструкции вам не понять принципов работы термостата. Машина автоматизирована.

Если нас попросят предугадать действия самоуправляемого автомобиля, то мы, вероятно, не сможем этого сделать. Только немногие эксперты понимают, как работает эта машина. Ее действия автономны: цель задана человеком, однако способ ее достижения выбирает сам автомобиль.