Эвристики и когнитивные искажения в корпоративном форсайте

Этот текст — парафраз базовой статьи Д. Канемана и А. Тверски “Judgment under Uncertainty: Heuristics and Biases” [1] в контексте корпоративного форсайта.

***

Наблюдение автора: общая причина ошибочных оценок и неверных решений в ситуациях неопределенности (в частности, а размышлениях о будущем) — применение интуиции при суждениях. Это утверждают и Канеман с Тверски в своей фундаментальной работе.

Интуитивное мышление прививается людям (и разрабатывается ими самими на основе наблюдений и мышления) в детстве и, скорее всего, не меняется сильно впоследствии. Однако, с математической точки зрения эта интуиция зачастую не верна (пусть и внутренне последовательна), что и приводит к ошибкам. Вероятно, ситуация такова потому, что в повседневной жизни ребёнок не сталкивается с проблемами статистики, а если и сталкивается, вряд ли получает объяснения. В итоге, уже взрослый человек не приучен мыслить статистически в повседневной жизни, замечать собственные и чужие ошибки мышления, выводить из этого какие-то заключения.

Этим объясняется и то, что даже люди изучающие статистику совершают подобные ошибки (в более сложных случаях со множеством переменных и вероятностей), многие из которых являются нарушениями базовых принципов теории вероятности и статистики. Их знания в этих областях, пусть даже и глубокие, получены позже в жизни, и уже не становятся частью интуиции.

Можно предположить, что если бы человек с детства учился статистике (скорее даже статистическому мышлению), не столько “по учебнику”, сколько более естественно и наглядно (как, например, происходит обучение родному языку), его интуиция была бы совершенно отличной от нашей, и описанных ниже ошибок у него не возникало бы.

Таким образом, любое решение задачи, полученное путём применения эвристики, сводящей решение задачи к интуиции, будет обладать погрешностью, обусловленной расхождением интуиции с математикой.

***

1. Эвристика репрезентативности (Heuristics of Representativeness)

(Событие/объект) А с высокой вероятностью происходит из (процесса/класса) B (принадлежит ему), если А качественно похоже на B (А репрезентативно B), и с низкой, если не похоже. 

То есть, репрезентативность — это прогноз исхода (события) только на основании соответствия (похожести) этого исхода входным данным.  

Примеры: методы, требующие создания выборки из некоторой группы и оценки вероятностей или других значений для всей группы посредством этой выборки (или же подтверждение неких известных для всей группы значений путём нахождения их в выборке).

Когнитивные искажения эвристики репрезентативности в форсайте:

1.1 Нечувствительность к предшествующей вероятности результата

Описание: Игнорирование базовых (предшествующих) вероятностей результатов и входных данных, так как они (базовые вероятности) не влияют на репрезентативность входных данных результату. Игнорирование ранее собранных данных/данных a priori и их влияния на вероятности событий.

Причина: Все факторы, неочевидные и не влияющие на репрезентативность, скорее всего учтены не будут.

Способы борьбы: Учитывать/находить базовые характеристики (в частности, вероятности) входных данных, которые методы форсайта могут не давать, а также a priori и a posteriori вероятности прогнозируемых результатов (без и с учётом предшествующих вероятностей)

Пример в корпоративном форсайте: Когда результаты одного метода форсайта используются как входные данные для другого метода (holistic foresight process) [2].

1.2 Нечувствительность к размеру выборки

Описание: Общие значения для всей популяции (как то: среднее, дисперсия) применяется без изменения и к выборкам любого размера из этой популяции. На самом деле, среднее значение всех событий и вероятность каждого события в выборке (количество событий этого типа по отношению ко всей выборке) тем ближе к соответствующим значениям для всей популяции, чем больше эта выборка. В маленьких выборках разброс между значениями больше (и среднее значение сильно отличается от такового для всей популяции) из-за того, что аномальные показатели (события) не нивелируются в достаточной степени всеми остальными событиями, как это происходит в бóльших выборках. Также, аномальные значения составляют больший процент от всех значений выборки в маленьких выборках.

Причина: То, что аномальные значения нивелируются меньше в меньших выборках забывается/не учитывается, возможно из-за контринтуитивности, или из-за “веры” в правильность и всеобщность некоторых статистических данных (например, от авторитетных источников). Ошибка происходит, когда среднее значение для всей популяции или большей её части изначально известно, то есть, ошибка 1.2 — частный случай ошибки 1.3.

Способы борьбы: Максимально увеличить размер каждой выборки и/или создавать несколько выборок (чем больше, тем лучше), дополнительно анализировать репрезентативность выборок всей (рассматриваемой) популяции, вероятность присутствия аномальных значений. 

Пример в корпоративном форсайте: Перевод фактора сценарного планирования из категории “неопределенный” (U) в категорию “определенный (С) или “риск” (R) на основе слишком малого числа наблюдений в прошлом [3].

1.3 Ошибочные концепции шанса

Описание: Ожидание того, что общая характеристика (например среднее значение, дисперсия) события/процесса такова и для любой его части (то есть, уверенность в том, что каждая часть события так же репрезентативна входных данных, как и всё событие). То есть, вера в “закон малых чисел”. Это искажение — общий случай ошибки 1.2.

Доп. пример: Уверенность в том, что, при подбрасывании монеты, последовательность О-О-О-О-Р-Р менее вероятна чем О-Р-О-Р-О-Р (на самом деле они равновероятны), так как последняя лучше демонстрирует общее распределение орлов и решек (1:1) при бесконечном количестве бросков. 

Причина: Контринтуитивность зависимости характеристики выборки от её размера. Возможно, “привязка” к общим для целой группы (популяции) значениям (среднего, вероятностей, дисперсии), если они известны заранее.

Способы борьбы: Те же, что для 1.2, а также — никак не истолковывать/анализировать данные, полученные из малого числа выборок и/или маленьких выборок, или выборок слабо репрезентативных для всей популяции.

Пример в корпоративном форсайте: См. 1.2.

1.4 Нечувствительность к надежности прогноза

Описание: Прогноз вероятности события, основывающийся на скудных и/или ненадёжных данных, которые при этом “кажутся благоприятными (правдоподобными)” (то есть, данные репрезентативны представлениям о благоприятности/надёжности). Иными словами, игнорирование предсказуемости* оцениваемых событий.

*Предсказуемость (прогнозируемость) — возможность строго (точно) оценить вероятности неких событий основываясь на данных, описывающих (определяющих) эти события. Если данные скудны и/или ненадёжны, прогнозы вероятностей должны быть примерно равными для каждого из событий. 

Дополнительные примеры: 

1) Прогноз положения преподавателя в будущем на основании качества одного его занятия в настоящем/прошлом. Даже если это занятие не является особенно качественным, невозможно с высокой точностью оценить положение преподавателя (особенно в далёком будущем), однако из-за данной ошибки мышления оценка качества занятия переносится и на оценку успеха учителя.

2) Прогноз успешности компании лишь на основе её позитивного описания, даже если данные конкретно о её прибыли и других объективных характеристиках отсутствуют (малая/нулевая предсказуемость).  

Причина: Скудность и ненадёжность данных не всегда очевидна и не влияет на их репрезентативность, следовательно игнорируется (возможно). 

Способы борьбы: Не оценивать будущие значения некоего параметра, если данные о его нынешнем и прошлом состоянии скудны и/или ненадёжны (малая предсказуемость параметра). Особенно не оценивать неизвестный (малоизвестный) параметр на общей благовидности/правдоподобности/благоприятности других параметров, с ним напрямую не связанных. 

Пример в корпоративном форсайте: Критерий “правдоподобия” (plausibility) при оценке сценариев (возможных будущих) [4].

1.5 Иллюзия валидности

Описание: Уверенность в прогнозе при (удачном) совпадении предсказанного исхода (результата) и входных данных (удачная репрезентативность). Наблюдается при внутренней согласованности (похожести друг на друга) данных, что на деле лишь снижает точность прогноза — если есть несколько в равной степени “валидных”, но различных (не взаимосвязанных) входных данных, прогноз, на них основанный, будет точнее, чем если валидных данных много, но все они одинаковы/подобны.

Доп. пример: Большая уверенность при прогнозе средней оценки успеваемости студента (за всё обучение) если его табель за первый год состоит только из четвёрок, чем если он состоит из троек и пятёрок (в примерно равной степени). Оба прогноза, на деле, должны быть одинаковыми (4 в среднем) и иметь одинаковую вероятность, но в первом случае “удачным” образом входные данные согласованы и репрезентативны (подобны) предсказанному среднему значению. Пример невалидных данных — шестёрки или больше в табели успеваемости.

Причина: Если входные данные репрезентативны исхода события (например среднее значение многих одинаковых чисел — это же число), уверенность в прогнозе этого события будет выше, чем если бы входные данные сильно разнились между собой и не были напрямую репрезентативную исходу. Иными словами, предпочтение самой непосредственной репрезентативности.

Способы борьбы: При наличии входных данных, взаимосвязанных или нет, оценивать их валидность, а не подобие друг другу, делать прогнозы исходя только из валидных данных.

Пример в корпоративном форсайте: При прогнозировании трендов по методу анализа литературы возможна большая уверенность в прогнозе, если все источники утверждают схожее (и напрямую репрезентативные прогнозу), чем если источники утверждают различное, но не взаимопротиворечивое (т.е. одинаково валидное).

1.6 Неправильные представления о регрессии

Описание: Случайные отклонения от среднего значения (после которых значения снова возвращаются к среднему), произошедшие вслед за некоторым событием (но не вследствии него!), истолковываются как напрямую зависящие от этого события.

Причина: Попытка обосновать внезапное отклонение от среднего значения при непонимании/незнании принципа регрессии. Также от того, что нет возможности наблюдать за колебаниями среднего значения достаточно долго, чтобы заключить, что это действительно лишь колебания, а не намечающийся тренд.

Способы борьбы: Знать среднее значение наблюдаемой переменной, наблюдать за изменениями её значения достаточно долгое время. Если второе не представляется возможным (и даже если представляется), хотя бы проводить некий опыт, с целью установить, действительно ли существует причинно-следственная связь между действием и кажущимся его результатом, или же нет.

Примеры в корпоративном форсайте: 

1) Неучитывание регресса к среднему при анализе, экстраполяции трендов и слабых сигналов. 

2) Иллюзорная причинность (истолкование случайного отклонения от среднего в прошлом как результат некоего действия) при:

2a) применении метода Via positiva. Неверная экстраполяция прошлого в будущее (настоящее).

2b) применение принципа Via negativa. Неверная экстраполяция настоящего в будущее («мы выиграем в будущих катастрофах, избегая действовать так-то и так-то», если действительной взаимосвязи действий с последствиями (отклонениями от среднего) нет).

2. Эвристика доступности (Heuristics of Availability)

Вероятность событий, которые лучше вспоминаются, кажется большей чем вероятность тех, что вспоминаются хуже. В свою очередь, события/процессы/объекты вспоминаются тем лучше, чем больше группа, к которой они принадлежат, и наоборот (также влияет на запоминаемость “яркость” события, зачастую субъективная).

Примеры: задачи Ферми, Wild cards, прогноз гения, нечёткие когнитивные карты. В общем, любые методы, основанные скорее на воображении и опыте, нежели на данных, а также данные, полученные от участников опросов, гражданских панелей, интервью.

Когнитивные искажения эвристики доступности в форсайте:

2.1 Искажения, обусловленные степенью восстанавливаемости событий в памяти

Описание: Размеры классов одинакового размера кажутся разными, если восстанавливаемость классов в памяти не одинакова для них всех. Иначе говоря, прогноз вероятности одного события из нескольких будет тем больше, чем лучше в памяти всплывают случаи подобного события из прошлого (даже если вероятности всех оцениваемых событий в действительности одинаковы).

Причина: Если примеры события (класса) из прошлого хуже вспоминаются, делается ложное заключение о том, что это событие в действительности редко происходило (“чего я не помню, того не было”), следовательно его вероятность мала, и наоборот (“что я хорошо помню, то точно происходило часто”, хотя событие может быть даже однократным, но очень ярким).

Способы борьбы: Не полагаться на память при прогнозировании/оценке, только на данные и строгие методы их анализа/толкования.

Пример в корпоративном форсайте: Дисфункция гиперкреативности в сценарном планировании, по которой неопытные участники форсайта, для которых он является когнитивным вызовом, могут стремиться формулировать идеи, основываясь на их яркости в собственном опыте [5].

2.2 Искажения, основанные на эффективности направления поиска

Описание: События/тренды, для которых проще найти примеры (доступность контекстов, в которых они проявляются, больше), оцениваются как более вероятные/более большие.

Причина: Можно сказать, что разум по природе своей ленив при решении задач, и будет отдавать предпочтение тем решениям, что проще достигаются (требуют использования меньшей энергии).

Способы борьбы: Использовать компьютер для поиска примеров/контекстов и оценки масштаба событий/трендов (?)

Пример: Если по некоторой теме проще найти патенты и литературу, так как она больше развита/популярна или более доступна, вероятность основать прогнозы на этой теме будет выше, даже если она в действительности не играет такую значимую роль в разворачивающихся трендах, как более узкие и менее доступные темы.

2.3 Искажения, обусловленные способностью к представлению образов

Описание: При оценке масштаба событий/трендов (вероятности), элементы которых в памяти не хранятся, а создаются согласно некоторым правилам, те события/тренды, создавать элементы которых проще, будут оцениваться как более масштабные (вероятные).

Причина: Та же причина, что и 2.2.

Способы борьбы: Использовать компьютер (?)

Пример в корпоративном форсайте: Недоверие к методу грубых вычислений Ферми в ситуациях отсутствия доступной информации иногда приводит к предпочтению вариантов, подкреплённых убедительными для исследователя и легкодоступными “объективными” данными.

2.4 Иллюзорная взаимосвязь (корреляция)

Описание: При оценки вероятности (частоты) того, что несколько событий произойдут одновременно (т.е. существует корреляция), события, ассоциация между которыми сильна, будут оценены как часто происходящие одновременно (и наоборот), даже если в действительности корреляции между ними нет или же она отрицательна.

Дополнительный пример: Кажущаяся корреляция между манией преследования и формой глаз на рисунках, нарисованных людьми, страдающими этой манией, из-за ассоциации мании преследования с глазами.  

Причина: ???

Способы борьбы: Чисто математически считать случаи, когда несколько признаков с сильной ассоциацией действительно коррелируют (если такие случаи вообще будут), если корреляция между ними фактически отсутствует или негативна. Когда же события могут с некоторой частотой появляться вместе (по случайности), проводить какие-либо опыты для подтверждения или опровержения корреляции (?)

Пример в корпоративном форсайте: При составлении timeline сценариев временнАя взаимосвязь между трендами и событиями может основываться на ассоциативном стереотипе, а не на реальной корреляции.

3. Эвристика корректировки и привязки (эффект якоря) (Heuristics of Adjustment and Anchoring)

Результат решения/оценки некоторой задачи на основе данных часто будет зависеть от того, в каком порядке эти данные предоставлены и как сформулирована задача, особенно если время на решение/оценку задачи ограниченно. Иными словами, начальная (отправная) точка влияет на конечную оценку, которая отклоняется к значению этой начальной точки.

Примеры: методы, требующие оценки нескольких вероятностей (или других параметров) для группы событий/классов, при наличии некоторого значения как начальной точки.

Когнитивные искажения эвристики корректировки и привязки в форсайте:

3.1 Искажения в оценке конъюнктивных и дизъюнктивных событий

Описание: Вероятность конъюнктивных событий переоценивается, вероятность дизъюнктивных событий недооценивается. Проще говоря, вероятность того, что из некоего количества событий (даже с большими вероятностями) все произойдут — переоценивается, а вероятность того, что хотя бы одно не произойдёт — недооценивается. 

Причина: Разум “привязывается” к базовым вероятностям того, произойдёт событие или нет (например 90% и 10%), и итоговая оценка и для конъюнкции и дизъюнкции нескольких таких событий делается на основе этих вероятностей (следовательно, больше для конъюнкции, меньше для дизъюнкции), при том что на деле вероятности конъюнкции и дизъюнкции значительно отличаются от базовых (и при большом количестве событий первая вероятность скорее будет меньше второй). Неправильная оценка тем вероятнее, чем больше разных событий с разными вероятностями оцениваются.

Способы борьбы: Считать вероятности на компьютере, если возможно. Помнить, что интуитивная оценка вероятности того, что все события произойдут, будет завышена, а того, что не произойдёт одно или больше — занижена, и поправлять свои оценки соответственно.

Пример в корпоративном форсайте: См. пример из 1.2.

3.2 “Привязка” при оценке распределения субъективной вероятности

Описание: При оценке размера класса (вероятности события), некое значение (или естественным образом находящееся в разуме, или данное в описании задачи) служит “якорем” (привязкой) для определения нижних и верхних пределов возможного размера класса.

Дополнительный пример: Если попросить испытуемого оценить, с какой вероятностью значение некоей случайной переменной больше или меньше данного ему числа, произойдёт привязка к этому числу, и верхние и нижние пределы вероятностей будут рассчитаны относительно этого числа. Также, испытуемый может привязаться к лучшей оценке (своей или чужой) среднего значение переменной, или же к естественной оценке равной вероятности (50 на 50).

Причина: Возможно, разуму трудно начать решать (непростую) задачу, если нет некоей начальной точки, от которой можно оттолкнуться (опять же, разум облегчает себе работу).

Способы борьбы: Ставить себе и другим одну и ту же задачу многократно, каждый раз с разными формулировками и разными отправными точками. Найти среднее значение всех решений (??) или установить, отчего возникает привязка и попытаться устранить её.

Пример в корпоративном форсайте: См. пример из 1.2.

Библиотека когнитивных искажений в форсайте

По методам форсайта (классификация из [5]):

Анализ литературы — 1.2, 1.5, 2.2

Гражданские панели — 1.2, 1.5, 2.2, со стороны граждан: все/большинство

Деревья решений/Логические диаграммы — 1.1, 1.6, 2.4

Интервью — 1.2, со стороны интервьюирования: все/большинство (особенно 2 и 3)

Конференции/семинары — n/a (Р. Поппер считает эти активности методом форсайта, что сомнительно)

Мозговые штурмы — большинство/все

Морфологический анализ — 3.1 (возможно 2.3)

Научная фантастика — n/a

Непредсказуемое (Wild cards) — все из 2 (возможно 1.4)

Опросы — 1.2, 1.5, 2.2, со стороны опрашиваемых: все/большинство

Прогноз гения — 1.4, все из 2 (возможно 3.1, 3.2)

Ретрополяция — 1.1, 1.4, 1.6, 2.2, 2.3, 2.4, 3.1 (возможно 3.2)

Ролевая игра — большинство (исключая, возможно, 1.2, 1.6)

Семинары по конструированию будущего — 1.4, 2.2, 2.3, 2.4, 3.1 (возможно 3.2)

Симуляции — 1.2, 2.4 (возможно 1.4, 1.5)

Сканирование/Слабые сигналы — 1.2, 1.3, 1.6 (возможно 1.4, 1.5, 3.1)

Сценарии — 1.4, 1.6, 2.2, 2.4, 3.1 (возможно 3.2)

Экспертные панели — 1.2, 1.5, 3.2 (возможно 1.6, 2.2)

Эссе — 1.4, 1.6, 2.2, 2.4, 3.1, 3.2 (возможно 1.5)

SWOT-анализ — 1.4, 2.2, 2.3, 2.4 (возможно 3.1)

Анализ патентов — 1.2, 1.5, 2.2

Бенчмаркинг — 1.1, 1.2, 2.2 (возможно 3.2)

Библиометрика — 1.2, 2.2

Индикаторы/Временные ряды — 1.2, 1.3, 1.5, 1.6 (возможно 3.2)

Моделирование — 1.5 (возможно 1.4)

Экстраполяция трендов/Мегатренды — 1.2, 1.3, 1.6

Анализ перекрестных связей — 1.5, 2.4 (возможно 3.1, 3.2)

Нечеткие когнитивные карты — 1.1, 1.2, 1.3, 1.4, 1.5, 2.3, 2.4, 3.1 (возможно 2.1, 2.2, 3.2)

Анализ стейкхолдеров — 1.2, 1.5, 2.2 (возможно)

Голосование — большинство/все

Дельфи — 1.2, 3.2

Технологические дорожные карты — 1.1, 1.2, 1.3, 1.5, 1.6, 2.4

Критические технологии — 1.6, 2.2

Многокритериальный анализ — 1.1, 1.4, 1.5, 2.2, 2.3, 2.4 

Задачи Ферми — 1.1, 1.2, 1.3, все из 2, 3.1, 3.2, частично 1.4 (предсказуемость событий)

По содержанию этапов форсайта:

Ошибки при составлении и анализе выборок — 1.2, 1.3, 2.2, 3.2

Ошибки при анализе причинно-следственных связей — 1.1, 1.3, 1.6, 2.4

Ошибки при оценке на основании опыта/экспертизы/памяти (без конкретных данных) — все из 2 (возможно 1.3, 1.6)

Ошибки при экстраполяции — 1.2, 1.3, 1.6

Ошибки при оценке вероятностей — 1.1, 1.3, 1.4, 1.5, 2.4, 3.1, 3.2 (частично 1.2, 1.6)