golos-dobra

как делать правильные выводы из статистики и не делать неправильные 2

Предположим что у нас есть по факту данные по такому эксперименту над детьми и их родителями.

Объективка детально изложена тут

Упрощая, имеем группу из сотни детей, половину которых случайным образом (буквально кидая монетку для каждого), но "обязательно к исполнению", отобрали в спецпрограмму обучения, другая половина шла обычным жизненным путем, в обычной программе.

По факту, получили, что "показатель успеха" (неважно для нас, что именно подразумевается под этим, но мы точно знаем как определить этот фактор) для прошедших спецпрограмму 75%, а для обычной программы он 45%.

Вроде бы, мы довольно уверенно можем заключить что "показатель успешности" в случае прохождения спецпрограммы для всей группы детей должен быть где-то между 45% и 75%.

И это верно, если заведомо точно известно, что выполняется одно из двух условий

  • 1) родители случайно решают записать ребенка в спецпрограмму или не записывать
  • 2) спецпрограмма никогда не может ПОНИЗИТЬ шансы ребенка на успех в сравнении с обычной программой

    Однако, допустим что эти сильные и ничем не обоснованные предположения не обязательно верны.

    Что мы реально знаем в таком случае "частичной определенности"?

    У каждого ребенка есть четыре четко определенных возможных исхода:

  • (00) лузер по жизни, без разницы какую программу он проходил
  • (01) добился успеха после спецпрограммы, но был бы лузером после обычной
  • (10) добился успеха после обычной программы, но был бы лузером после спецпрограммы
  • (11) виннер по жизни, без разницы в какой программе он был
  • Обозначим с(00) часть детей с исходом (00) итд.

    Что мы знаем из нашего набора данных?

    мы знаем что с(01) + c(11) = .75
    а значит, дополняя: с(00) + c(10) = .25

    а также что с(10) + c(11) = .45
    и, дополняя: с(00) + c(01) = .55

    Мы изначально не знаем, не можем просто знать, какое распределение по четырем типам в группе.

    Нас интересует оценка эффекта от ВОЗДЕЙСТВИЯ на популяцию детей, в сравнении с статус-кво, поэтому из всех возможных распределений типов детей для нас интересен тип, МАКСИМИЗИРУЮЩИЙ c(10) + с(01), при соблюдении предыдущих эмпирических равенств.

    Легко можно видеть, что набор пропорций типов в таком случае
    с(00) = 0
    с(01) = .55
    c(10) = .25
    c(11) = .2

    Проверьте прямой подстановкой, что все верно, равенства соблюдаются, эмпирические факты мы объясняем в таком раскладе.

    то есть, становясь адвокатом дьявола, мы выбираем наиболее благоприятное для дьявола распределение по популяции, максимизирующее его (дьявола) выйгрыш

    Что теперь выходит?

    Допустим родители знают тип своего ребенка и нацелены на успех. Тогда родители ребенка с типом (01) зачисляют его в спецпрограмму и будет ему успех, родители ребенка с типом (10) оставляют его в обычной программе и будет ему успех, остальным без разницы - имеем короче СТОПРОЦЕНТНЫЙ успех для всех. сейчас мы рассмотрели самые выгодные условия для самой выгодной популяции - верхняя граница

    Однако же, если ВСЕ родители либо сознательно хотят навредить ребенку, либо путают его тип, но как бы там ни было - записывают 'специально успешного ребенка' (01) в обычную программу, и наоборот, 'обычно успешного ребенка' суют в реально вредную ему спецпрограмму, то имеем на выходе ДВАДЦАТЬ(!) ПРОЦЕНТОВ успеха. сейчас мы рассмотрели самые невыгодные условия для самой выгодной популяции - нижняя граница

    Таким образом, реальная МИНИМАЛЬНАЯ граница успеха от интервенции (ввода в действие новой спецпрограммы) лежит вовсе не на 45%, а всего на 20%.

    Этот простой и тривиальный пример на самом деле довольно общего характера и имеет массу приложений, поскольку везде и всюду (особенно - в медицине, как безумно затратном бизнесе) статметоды, как правило, применяют напрочь ошибочно, зачастую с колоссальным вредом в итоге.

    И этот простой и тривиальный пример ни в коем случае нельзя путать с мемом "больше риска, больше награды", который вообще из совершенно другой оперы.

    В данном случае вроде бы "ясной и очевидной" наибольшей награды от социальных перемен вполне может быть обеспечен вопиющий социальный обвал, значительно хуже сохранения статус-кво. Тут нельзя оправдать это "риском", потому что здесь просто фундаментальная ОШИБКА РЕШЕНИЙ, основанных на ничем не обоснованных выводах без учета неполно определенной информации.

    ну насчет гарантий - не все так сумрачно. явно надо отбросить случаи, когда родители заведомо вредят своим детям. конечно, просто ошибочные случаи будут иметь место, а вот как оценить уровень ошибочных решений - вопрос. а так - зависимость линейная и где-то посредине эффективность политики будет в районе 60%. надо помочь родителям (снизить уровень ошибок) - и все будет ОК


    listing
    octave:> A
    A =
      
        0   1   0   1
        1   0   1   0
        0   0   1   1
        1   1   0   0
      
    octave:> b
    b =
      
        0.75000   0.25000   0.45000   0.55000
      
    octave:> c
    c =
      
          0   1   1   0
    
    octave:> [x_max, z_max] = glpk (c, A, b, [0,0,0,0], [1,1,1,1], "SSSS", "CCCC", -1)
    x_max =
    
       0.00000
       0.55000
       0.25000
       0.20000
    
    z_max =  0.80000