О неоднозначной роли алгоритмов, которые все сильнее распространяются в современном мире — о возможностях, которые они перед нами открывают, и об опасностях, которые таят.
Человечество многим обязано алгоритмам: например, они лежат в основе социальных сетей, поисковых систем, спутниковой навигации, музыкальных и кинематографических рекомендаций и многого другого. Современная инфраструктура уже не может обойтись без алгоритмов. Транспортная система, юриспруденция, медицина, кинематограф, полицейские участки используют все больше алгоритмов в своей работе, не замечая, как они постепенно, день за днем меняют не только нашу жизнь, но и представление о человеке, о том, каким он должен быть.
Книга рассказывает об алгоритмах, которые используются чаще всего. Они, безусловно, облегчают жизнь, но так ли они безопасны и безопасны ли вообще? Лишь малая часть экспертов задумывается о глубине и силе их влияния, изучает то, что остается за кадром и не привлекает внимания.
Полиция использует алгоритмы, принимая решение об аресте. Врачи применяют алгоритмы при постановке диагноза. Судьи выносят приговоры, полагаясь на алгоритмы. Помимо удобства, такое положение вещей поднимает много моральных вопросов, которые требуют ответа.
Это не значит, что следует вовсе отказаться от работы с алгоритмами. Сами по себе они не хороши и не плохи, все дело в том, как их использовать. Так, когда-то с помощью GPS собирались запускать и нацеливать ядерные ракеты, сегодня он используется в мирных целях, в основном таксистами и службами доставки еды. Между человеком и машиной существует прочная связь, и нужно понимать, как она работает.
Книга Ханны Фрай не только и не столько о машинах, сколько о людях. Что мы планируем изменить с помощью технологий? Алгоритмы задуманы для облегчения жизни, они усиливают наши способности и решают проблемы, создавая при этом новые.
Идея 1. Подход к алгоритмам должен быть объективным
Одна из проблем с алгоритмами, по мнению Фрай, лежит в том, что люди склонны видеть их в черно-белом свете — либо как непогрешимую силу, либо как нечто крайне ненадежное и в лучшем случае бесполезное. Но если мы хотим правильно использовать алгоритмы в высокотехнологичную эпоху, нужно научиться быть объективными. Нужно учиться на ошибках и признавать собственные недостатки, но при этом не приписывать алгоритмам абсолютную мудрость и непогрешимость. Взаимодействуя с ними, многие люди совершают ошибки. Этого не избежал и Гарри Каспаров во время шахматного матча с Deep Blue. Каспаров был сильнейшим гроссмейстером, уверенно побеждавшим соперников.
Он пользовался одним психологическим трюком: когда исход поединка казался ясным, он начинал покручивать часы на запястье и поглядывать на них, как бы говоря, что исход предрешен в его пользу и они только зря тратят время. На человека этот трюк действовал, на машину — нет.
Инженеры IBM разработали Deep Blue так, чтобы во время игры машина демонстрировала поведение, похожее на человеческое. Она медлила с объявлением хода, как будто ей приходилось подсчитывать все новые варианты под натиском противника. Каспаров решил, что он втянул машину в такую ситуацию, что само огромное количество вариантов окончательно ее запутает и она не сможет принять верное решение. Но не таков был Deep Blue: он моментально просчитывал верные ходы, а промедление было запрограммировано, чтобы сбить Каспарова с толку, чтобы он начал воспринимать машину как человека. И поскольку первую игру Каспаров выиграл, это лишь подкрепило его уверенность в слабости противника. Дав ему хорошенько расслабиться, Deep Blue во второй игре обошел все расставленные ловушки и уверенно выиграл. С этой минуты Каспаров утратил уверенность в себе, не боролся за ничьи в нескольких партиях, и в итоге машина победила. Ошибка Каспарова была в том, что сначала он недооценил возможности алгоритма, а затем переоценил их. Он так сосредоточился на том, на что способен Deep Blue, что забыл о собственных возможностях и не воспользовался ими в полной мере. Это было вполне по-человечески.
Где границы контроля человека над машиной? Должен ли он во всем полагаться на машины или все-таки оставить за собой право окончательного решения? Слепая вера в могущество алгоритма может привести к трагедии, как показывает история английского автомобилиста Роберта Джонса. Заметив, что у него кончается бензин, Джонс дал задание GPS-навигатору отправить его на заправку самым коротким путем. Навигатор BMW, одной из самых надежных машин, уверенно показывал дорогу, пока Джонс, взбираясь вверх по горам, следуя его указаниям, не врезался в деревянный забор, едва удержавший его от падения в пропасть. Машину удалось эвакуировать с помощью спецтехники, а Джонса отдали под суд за неосторожное вождение, но он лишь в точности следовал инструкции, полностью положившись на нее, хотя все вокруг говорило об отсутствии проезжей дороги. Он счел алгоритм умнее, чем он был, повторив ошибку Каспарова.
Не так поступил российский военный офицер Станислав Петров, мониторивший систему ядерной безопасности СССР во времена холодной войны, следя за тем, чтобы американские ракеты не вторглись в воздушное пространство. Он должен был немедленно сообщить о малейших признаках атаки вышестоящему начальству. Однажды на мониторе Петров с ужасом заметил, что на Россию летят 5 ракет. Он был готов сообщить об этом, но что-то удержало его. Слишком мало ракет было выпущено, это было странно. Он выждал 23 минуты, ничего не произошло, ракеты не упали. Это был сбой алгоритма. Слишком многое было поставлено на карту, чтобы Петров мог слепо довериться машине. Поступи он по-другому, могла бы случиться настоящая ядерная война.
Как бы ни был совершенен алгоритм, но окончательное решение должен принимать человек.
Идея 2. Работа алгоритмов с данными может иметь непредсказуемые последствия
Любому алгоритму для работы необходимы данные. Так, в Facebook люди предоставляют данные в обмен на свободное общение с друзьями и семьей, возможность найти единомышленников или поделиться событиями своей жизни. Но не все понимают, что это имеет долгосрочные последствия. Кто знает, кто и как воспользуется этими данными через несколько лет?
