Неуязвимость

Системы — это то, с чем современный человек сталкивается повсюду. Все, что нас окружает, можно рассматривать как системы. Это ваш дом, ваша работа, ваш путь до нее, даже приготовление ужина и уборку квартиры можно рассматривать как системы. Это ваш полет в самолете и прием у стоматолога. В целом, хорошо отлаженные системы делают нашу жизнь более комфортной, упрощают наши действия, сохраняют энергию. Однако периодически они нас подводят — курьерская служба теряет ваш заказ, ваш рейс отменяется, вы не укладываетесь в сроки выполнения проекта, а в духовке дымится то, что должно было стать праздничным ужином. Иногда случаются и настоящие катастрофы. Первая реакция после трагедии — найти виноватого, понять причины произошедшего. Но очень часто к трагедии приводит цепь совсем небольших сбоев, а люди играют в этом процессе случайную роль — небольшая ошибка, не вовремя замеченная неисправность могут привести к катастрофе с многочисленными жертвами. Другая проблема — сложные и непрозрачные системы дают широкий простор для противоправных действий — хакеров, манипуляторов, преступников.

Авторы книги «Неуязвимость», специалисты по управлению рисками Крис Клирфилд и Андраш Тилчик, занимались исследованием самых разных систем и пришли к ряду выводов о том, как сделать их более безопасными. Они изучали трагические случаи, брали интервью у специалистов, работающих с самыми сложными системами. Разные системы хоть и отличаются друг от друга, но работают по одним принципам, у них есть общие черты. И если мы поймем их, а также то, что делает их уязвимыми, то сможем предотвратить нежелательные последствия, начиная от подгоревшего ужина и сорванных сроков рабочих проектов и заканчивая масштабными катастрофами. Это особенно важно сейчас, когда мы собираемся усложнять наши системы — делать умные дома, пересаживаться на электрокары, когда мы полностью полагаемся на технологии, которые толком не понимаем и которые с каждым годом становятся все сложнее.

Идея 1. Непонимание людьми и компаниями сложности систем приводит к трагедиям и открывает широкий простор для злоупотреблений и мошенничества

Всем нравится комфорт, удобство, красивые вещи, способность быстро передвигаться по миру, использовать самые современные технологии. Но развитие технологий влечет за собой и усложнение окружающих нас систем -они становятся более запутанными и менее понятными. У усложнения систем есть несколько важных негативных последствий.

Первый — малейшие ошибки приводят к самым непредвиденным и масштабным последствиям. Мы все больше полагаемся на алгоритмы и автоматизацию и нам становится труднее заметить ошибки системы. А в сложных системах, где многие процессы протекают невидимо для человека, даже незначительный сбой может привести к абсолютно непредсказуемым и масштабным последствиям. Типичный пример — авария на АЭС Three Mile Island в США в штате Пенсильвания в 1979 году, которая стала самой серьезной катастрофой в атомной отрасли за всю историю Америки — из-за сбоя системы произошла утечка радиации, а жители начали массово покидать населенные пункты вокруг АЭС. Почему произошла авария? Все началось с незначительной ошибки при ремонте системы водоснабжения станции, из-за чего отключились насосы, закачивающие нагретую в реакторе воду в парогенератор. Нарушилась система охлаждения, из-за этого реакторы стали перегреваться. Затем произошел еще один сбой — не закрылся компенсаторный клапан, который должен был сработать в ответ на сигнал тревоги, из-за чего вода, которая могла охладить генераторы, вытекала. Сотрудники станции видели сигнал на приборной панели и думали, что клапан закрыт, как и должно было быть. Поэтому они не смогли быстро среагировать на проблему. Причиной катастрофы стало не что-то экстраординарное и даже не стихийное бедствие, а цепь незначительных ошибок — кто-то недосмотрел, что-то не сработало, сотрудники не сразу поняли причины сбоя. Но результат оказался катастрофическим для жителей близлежащих городов и сотрудников станции. Когда происходит катастрофа в сложной системе, часто в ней нет ничьей персональной вины. К катастрофе приводит сочетание случайных факторов и небольших ошибок.

Часто мы виним человеческую безалаберность, но разве не все люди склонны к ошибкам, разве не все мы ошибаемся время от времени и делаем что-то невнимательно? Если система полагается только на безошибочность действий человека, то ее определенно ждут проблемы. Более того, к ней может привести даже не ошибка, а просто роковое стечение обстоятельств. Так, трагедией обернулся рейс ValuJet 592 из Майами, упавший в национальном парке Эверглейд в штате Флорида с более чем 100 пассажирами на борту. По роковому стечению обстоятельств на борт попали кислородные генераторы. Они безопасны в перевозке, если в них не остается кислорода, но на борт попали просроченные генераторы, в которых еще оставался кислород и на которых не было защитных колпачков, что и стало причиной возгорания. Механики, готовившие к погрузке генераторы, не знали, что такие генераторы нельзя перевозить, но они и не должны были в этом разбираться. К катастрофе привела запутанность сложной системы, где оказалось слишком много взаимодействующих элементов.

Необязательно катастрофа должна быть катастрофой в привычном смысле этого слова. Это может быть провал бизнес-начинания или рекламной кампании, вызванный такими сложными и непредсказуемыми системами как социальные сети.

Еще одно последствие усложнения систем — большой простор для противоправных и злонамеренных действий — хакерства, финансовых махинаций, которые становятся возможными из-за непрозрачности систем, фальсификаций. Что, если хакерство выйдет за пределы банкоматов, систем безопасности учреждений и финансовых операций и распространится на интернет вещей, автомобили, медицинскую технику? Кто-то может взломать ваш сердечный стимулятор или автомобиль, и страшно представить, каковы будут возможные последствия. Чем сложнее система, тем вероятнее сбой в системе ее безопасности, тем больший простор появляется у людей с дурными намерениями, которые способны эксплуатировать сложность, хрупкость и несовершенство наших систем.

И третье последствие усложнения систем — даже без усилий злонамеренных лиц они могут спровоцировать несправедливость. Пример — внедрение новой электронной системы Horizon британской почтовой службой. Из-за сбоев в этой системе многих невинных людей обвинили в мошенничестве.