Оружие математического поражения . как технология Big Data усугубляет неравенство и угрожает демократии

англ. Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy · 2016
Краткое содержание книги
Читается за 20 минут, оригинал — 9 ч

Начало активного развития экономики Big Data пришлось на 2008—2010 гг., когда математики и специалисты в области статистики погрузились в изучение жизни человека: его желаний, интересов, физических возможностей и психологических особенностей. Их главной целью стало научиться оценивать, предугадывать и влиять на действия homo sapiens в работе, обучении, сексе, контролировать лояльность людей к идеям.

Но «что-то пошло не так», и Big Data стали превращаться в оружие математического поражения. Один из главных просчетов специалистов в том, считает автор, что созданные математическим путем приложения слишком часто базируются на ошибочных алгоритмах поведения человека. Вынесенные самообучающейся программой вердикты не анализируются и не обсуждаются в обществе. Кроме того, сегодня очевидно, что ущемляются права обычных людей. Если несправедливость выводов алгоритма по отношению к себе заметит обеспеченный человек, то он сможет добраться до причин и восстановить справедливость. Кто небогат, либо не заметит ошибку машины, либо не будет располагать ресурсами для ее исправления.

Так, соискателю могут отказать в работе из-за выводов Big Data о его слишком низком кредитном рейтинге или криминальном прошлом. Иногда это происходит из-за сбоя программы, по ошибке. Но жертва почти гарантированно не узнает, что в действительности послужило причиной неудачи. Несправедливость проявляется в разных сферах жизни: алгоритм склоняет людей к получению необоснованно дорогого образования, переплате за страховки, дорогим кредитам и т. д. В итоге бедные становятся еще беднее.

Богатым же алгоритм помогает ставиться еще богаче и влиятельнее. Они имеют доступ к данным исследований поисковых систем и социальных сетей, могут пользоваться их инструментами влияния на пользователей. Недавние скандалы, связанные с участием Facebook в сборе и незаконном распространении персональных данных, — только вершина айсберга. Есть все основания полагать, что Google и Facebook заходят намного дальше, лоббируя интересы партий и конкретных кандидатов.

Сложившуюся ситуацию необходимо менять. И не только из-за растущей несправедливости и разрыва между бедными и богатыми. Просчеты в алгоритмах Big Data могут превратиться в настоящую катастрофу в обозримом будущем, когда вся информация из интернета будет стекаться в недра AI — искусственного интеллекта. Невозможно спрогнозировать, что мы получим на выходе.

Поэтому всем, кто имеет отношение к Big Data, необходимо ответственнее подходить к разработке новых алгоритмов. Уже работающие модели должны быть проанализированы и исправлены совместными усилиями ученых и общественности. Но самое главное — человечество должно изменить само определение успешности возможностей Big Data. Вместо служения прибыли они должны научиться служить людям.

Ознакомившись с саммари, вы поймете опасность текущих трендов в развитии Big Data. Научитесь избегать ошибок в процессе трудоустройства и отличать социальную рекламу в соцсети от проводимых над вами опытов. Узнаете, кто и как вас склоняет к голосованию за того или иного кандидата. Разберетесь в том, какие шаги необходимы для исправления ситуации.

1. Оружие матпоражения номер 1: бесконтрольное влияние

1.1. Алгоритмы Big Data используются сегодня во множестве сфер, оказывая самое непосредственное воздействие на жизнь человека. Наименее успешны матмодели в тех областях, которые связаны с моделированием поведения человека в глобальных масштабах. Не располагая необходимым объемом достоверных данных, специалисты заполняют пробелы другой, близкой и не очень, информацией на собственное усмотрение.

Это приводит к искажению конечного результата, и в итоге негативно сказывается на судьбах людей. Если раньше человеку с плохим кредитным рейтингом просто отказали бы в очередном кредите, то сегодня это показатель его общего грехопадения: Big Data используют данные о финсостоянии как промежуточные для применения в сфере трудоустройства и даже при поиске партнера для жизни. То же касается людей, однажды совершивших правонарушение. Таким образом Big Data превращаются в оружие математического поражения.

Поведение человека в той или иной ситуации зависит от очень большого количества факторов и обстоятельств. Никакой маталгоритм на сегодняшний день не способен их полноценно охватить, и маловероятно, что сможет в будущем. Ему бы пришлось справляться с часто меняющимися у людей вкусами и пристрастиями, с которыми порой неспособен справиться сам человек. Можно запрограммировать постоянные величины, но нельзя учесть постоянные изменения, утверждает автор.

Любые просчеты на начальном этапе создания алгоритма ведут к более глобальным с каждым новым витком участия Big Data в жизни людей. Этому способствует закрытость системы. Без дополнительных усилий она не раскроет причин, почему человеку отказали в работе или подняли стоимость страховки. На выяснение сути и восстановление справедливости необходимо тратить время, силы и средства, которые в нужной мере есть не у всех.

В 2015 г. Google распознал на фото группу молодых афроамериканцев как стадо горил. Случай получил широкую огласку, что вынудило компанию извиниться и исправить ошибку. Возникшая ситуация стала наглядной демонстрацией несовершенства Big Data. Если в одном городе в один день родилось несколько человек, которых назвали одним и тем же именем, то однажды система вполне может приписать одному просчеты другого со всеми вытекающими последствиями.

Человек должен иметь достаточный уровень образования и информированности, чтобы предположить, что вероятная причина его неудач лежит в плоскости Big Data — оружия матпоражения. Таким образом, система в ее нынешнем виде на стороне образованных и финансово обеспеченных граждан.

Продолжение — на Smart Reading
Зарегистрируйтесь на Smart Reading и получите доступ к этому и ещё 800 пересказам нонфикшен-книг. Все пересказы озвучены, их можно скачать и слушать фоном. Фрагмент озвучки:
Первые 7 дней доступа — бесплатно.

Понравился ли пересказ?

Ваши оценки помогают понять, какие пересказы написаны хорошо, а какие надо улучшить. Пожалуйста, оцените пересказ: