Читать книгу политолога Филипа Тетлока и Дэна Гарднера о прогнозировании необходимо по ряду причин.
Первая: если вы любите спорить на политические темы и заключать пари на то, кто выиграет на предстоящих выборах-референдумах. Удалось ли вам расширить свою коллекцию вин на одну-две бутылки на Brexit?
Вторая: если по долгу службы вы вынуждены платить деньги и слушать современных предсказателей, то есть экспертов-аналитиков. Или читать производимую ими продукцию. Книга поможет разобраться, кто компетентен и чьим расчетам можно верить.
Третья: если вы — аналитик, вынужденный на работе превращаться в гадающую на кофейной гуще цыганку, то книга просто обязательна к прочтению. Редкий случай, когда можно разобрать по косточкам собственный процесс мышления.
Книга легко читается, состоит из коротких главок с массой примеров, когда прогнозы сбывались или, напротив, были провальны. В основе лежит второе масштабное исследование качества прогнозирования — «Трезвый расчет» (в нем приняло участие несколько тысяч человек).
Уникальность исследования состоит в том, что исследователи могли корректировать условия, в которых находились прогнозисты, наблюдать за одной группой «в особых условиях» и одновременно сравнивать ее с «контрольной». Это позволило объективнее выявлять и анализировать факторы, которые влияли на качество прогнозов — мировоззрение, умение учится на ошибках, работа в команде, знание высшей математики и т. п.
Исследование носило также прикладной характер, поскольку его заказывало Агентство передовых исследований в сфере разведки (IARPA) США, стремясь повысить эффективность работы после провальной оценки наличия химического оружия в Ираке.
Для экономически впечатлительных: проект «Трезвый расчет» перешел на стадию монетизации. Можно пройти курсы, освоить мастерство или заказать прогноз.
Да, и сразу следует оговориться: предсказывать исход какого-либо события более чем за год с высокой степенью вероятности невозможно — тут точно к цыганке. Научный факт.
1. Оптимистичный скептик
1.1. Вторая попытка
«Суперпрогнозирование» описывает второе крупное исследование Филипа Тетлока — «Трезвый расчет» (Good Judgement Project, 2011–2014). Оно стало частью исследования о прогнозировании, профинансированного Агентством передовых исследований в сфере разведки (IARPA). Целью было повысить качество работы спецслужб. В «Трезвом расчете» мог поучаствовать любой (в итоге около 20 тыс. чел., в первый год проекта — 2,8 тыс. чел.). Участники отвечали на такие вопросы, как: наберет ли силу протестное движение в РФ, начнется ли война на Корейском полуострове и т. п. Вопросы имели горизонт не более года.
В результате удалось выявить суперпредсказателей (2% участников). Суперпредсказатели отвечали лучше, чем контрольная группа, на 78%, лучше, чем исследователи из институтов (Мичиганский университет, MIT и др.) на 30–70%, а также лучше, чем профессиональные аналитики, имеющие доступ к материалам с грифом «секретно».
В первом же исследовании Тетлока принимали участие только профессиональные эксперты (1984–2004). Оно показало, что качество предсказаний примерно равно вероятности попадания шимпанзе в яблочко при игре в дартс.
1.2. Оптимист, скептик и реальность
Можно ли дать точный прогноз? И да, и нет. Триггерами политических событий порой выступают ситуации, которые невозможно предсказать, — так думает скептик. Например, Арабскую весну запустило самосожжение торговца фруктами в Тунисе.
В то же время погоду на несколько дней вперед ученые научились предсказывать. Да и мы изо дня в день неплохо угадываем загруженность дорог. Под этим мог бы подписаться оптимист. Реальность же лежит где-то между.
1.3. Подотчетность
Фитнес-браслет заставляет двигаться, поскольку наглядно показывает — когда лежишь на диване, километры сами себя не проходят. Также и метеорологи сталкиваются с проверкой своих прогнозов ежедневно. Экономические и политически аналитики обычно лишены быстрой обратной связи (кроме того, прогнозы иногда служат иным целям, например, запугать или привести к изменению политики).
Подотчетность — ключ к повышению качества прогнозирования — показал проект «Трезвый расчет».
2. Иллюзия знания
2.1. Докторам видней
В 1956 г. Арчи Кокрейн пришел в себя после операции, чтобы узнать, что у него обнаружили раковую опухоль на нескольких органах, опухоль вырезали, жить ему осталось считанные месяцы. Но врачи ошиблись: Арчи Кокрейн прожил до 1988 г., рака у него не оказалось — хирург провел операцию, не дожидаясь результатов биопсии, и вырезал доброкачественную опухоль.
Сегодня эта история смахивает на анекдот, но на протяжении тысячелетий медицина была искусством, а не наукой. Исследования по эффективности применяемых методов не проводились (если человек выжил после пускания крови — значит, лечение помогло, если умер — лечение ни при чем). Сегодня рандомизированные контрольные испытания — стандарт.
2.2. Интуиция и расчет
Да, на операционный стол Кокрейн лег без ожидания результатов анализов, хотя уже в тот момент был убежденным приверженцем доказательной медицины. Как так?
У человека две системы принятия решений. Первая не задумываясь выдает ответ, второй требуется время. В части дел, если у нас есть мегатонны опыта «действие — обратная связь», то эффективные решения могут быть приняты первой системой (например, опытная медсестра видит, что ребенок заболевает).
Подробнее в книге Д. Канемана «Думай медленно… Решай быстро». Или читайте наше саммари.
Но в области политики и экономики эффективна только вторая система, поскольку быстрая обратная связь отсутствует (вспомним совершенные Брейвиком в Норвегии теракты в 2011 г. и те ошибочные интерпретации, которые циркулировали в СМИ в первые часы).
Сложность состоит в том, что человек ленится задумываться и включать вторую систему. Также человек без проблем приводит аргументы в пользу любой абсурдной, но выдвинутой его собственной системой номер один идеи. И она начинает казаться уже не столь абсурдной.
Сегодняшнее прогнозирование во многом смахивает на медицину XIX в., которая базировалась на первой системе. Методология проекта «Трезвый расчет» исправляет это.
Первые 7 дней доступа — бесплатно.