прочитано
#ликбез

Я взял эту книгу с собой на дачу с твердым намерением прочитать ее внимательно этим летом. Где-то в начале августа я приступил к выполнению этого плана, и где-то к концу месяца мне стало очевидно, что на «прочитать внимательно и разобраться детально» не хватит не только конца лета, но, возможно, и конца года, и, вообще, трудно сказать, сколько времени потребовалось бы. Книга сложная, написана, за исключением одной «нетехнической» главы, языком профессиональной статистики и одновременно языком трейдера и биржевого маклера для профессионалов в этих областях, то есть, строго говоря, для очень узкого круга лиц. Поэтому я в течение некоторого времени считал, что не стоит писать об этой книге для блога, который читают «нормальные» люди – не математики и не торговцы опционами.

0 1

Однако после небольших раздумий я все же решил написать нечто, дающее читателю информацию об основных выводах, к которым пришел известный всему миру эксперт в области «черных лебедей» Нассим Н. Талеб. Дело в том, что эти выводы, как мне кажется, могут существенно расширить кругозор студентов технических и экономических специальностей, у кого в программе есть курс математической статистики и/или эконометрики, экономистов, занимающихся прогнозированием цен, курсов валют и т.п., и всех обычных людей, кому интересны любые статистические прогнозы. Поэтому я честно прочел все нетехнические главы книги, пробежал глазами формулы и преобразования и внимательно рассмотрел многочисленные картинки, коих в книге изрядное количество и которые сделаны очень тщательно и профессионально. 

Что же читатель имеет в итоге?

В книге «Черный лебедь», сделавшей Талеба знаменитым, одна из главных идей выглядит следующим образом: мир, в котором мы живем, временами можно назвать Среднестаном, но иногда он превращается в Крайнестан. В Среднестане неплохо работает классическая статистика, где роль хвостов распределений пренебрежима и средние значения, а также дисперсия (или ее эквивалент – стандартное отклонение) хорошо отражают суть рассматриваемых процессов. В Крайнестане даже и одно событие на хвосте может изменить мир, и потому никакие средние, дисперсии и проч. не работают. Собственно, доказательству этого факта и посвящена книга про жирные хвосты.

Автор приводит перечень областей исследований, какие он называет шарлатанством, поскольку авторы используют модели, пригодные для Среднестана, в условиях Крайнестана: «современная портфельная теория, эконометрика, процедуры авторегрессии с условной гетероскедастичностью, психометрия, стохастическое управление финансами, поведенческая экономика, принятие решений в условиях неопределенности, макроэкономика и прочее» (с. 28). 

Упоминает Талеб и про известную проблему смещения в сторону поиска подтверждения своих гипотез, причем здесь он подчеркивает, что этот вопрос вообще-то не связан с тонкостью или жирностью хвостов. В общем виде волнующая автора проблема понятна: чем жирнее хвост распределения, тем больше информации сосредоточено в нем и тем меньшее значение имеют данные в центральной части распределения. 

Основные следствия наличия жирных хвостов выглядят так:

  • «закон больших чисел в реальном мире даже если и работает, то слишком медленно;

  • такие показатели, как  среднеквадратичное отклонение  и  дисперсия , неприменимы;

  • робастная статистика не  робастна , а выборочное распределение не эмпирично;

  • линейная регрессия по методу наименьших квадратов не работает;

  • методы максимального правдоподобия могут работать в отношении некоторых параметров распределения;

  • метод моментов не работает;

  • коэффициент Джини  теряет  аддитивность ;

  • львиная доля утверждений в литературе по психологии и по принятию решений, где говорится о якобы переоценке вероятностей в хвосте и якобы иррациональном поведении из-за редких событий, делается из-за непонимания исследователями природы хвостового риска … и незнакомства с теорией больших отклонений» (с. 49-58 с купюрами). 

Различие в числе данных, требуемых для получения одинакового разброса выборочного среднего, в случае, например, распределения Парето по сравнению с законом Гаусса может достигать величины порядка 1012 (табл. 3.1).  

Что же делать обычному специалисту, не обремененному глубокими познаниями в области статистических характеристик жирных хвостов?

Вот несколько советов Н. Талеба, какие кажутся мне весьма полезными:

  1. Используйте «простое эвристическое правило: смело отвергайте гипотезу о гауссовости, если случилось хотя бы одно событие, лежащее за границей 4 или 5 среднеквадратических (стандартных) отклонений» (с. 81);

  2. Помните, что для реальных процессов «вероятность по времени и вероятность по ансамблю – не одно и то же» (с. 86), то есть реальные процессы часто не  эргодичны ;

  3. Примите во внимание, что «для процесса со сколь угодно жирным хвостом, даже с хвостом по степенному закону, наблюдаемую выборку (то есть конечное число дискретных наблюдений) можно описать как гауссов процесс с непостоянной дисперсией, процесс с переключением режима или сочетание гауссова процесса и нескольких скачков случайной величины…» (с. 92); 

  4. Используйте абсолютное среднее отклонение вместо стандартного отклонения (с. 113);

  5. Не принимайте на веру ничьи выводы, если соответствующий эксперт не ставит свою шкуру на кон.

Я назвал эту рецензию квазирецензией, так как не изучил содержание книги досконально и не стал тщательно разбираться в математике. 

Однако сама мысль о том, что нормальное распределение если и встречается в реальном мире, то очень редко, не вызывает у меня никаких сомнений. Поэтому большинство выводов, основанных на стандартной статистической теории, следует воспринимать с большой долей скептицизма

В заключение замечу, что в книге Талеба 272 библиографические ссылки и очень много поясняющих детали примечаний, то есть для профессионалов и аспирантов она, безусловно, будет чрезвычайно полезна.