прастатистику

[bgmt]

Я, так случилось, преподавал статистику. И относительно элементарную, и multivariate. Это случилось не только со мной, я знаю по меньшей мере двух университетских профессоров математики, с которыми случилось то же (а ещё не университетских, а ещё не профессоров), которые все, кто потупив глаза, а кто прямо глядя, признаются, что у них всё время было чувство участия в шаманских плясках. Что что-то там скрывается за гранью непонимания. (Я написал неясную фразу, потому что чувство неясности тут неясно, что бы это ни значило). Особенно когда идёт речь о тестировании гипотез, но не только. Этого чувства нет, когда преподаёшь просто теорию вероятности. А вот статистику... Как я рад, что я больше этого не делаю!

Но вот крайне интересная статья, совершенно элементарная, где все примеры ясны, которая показывает, что мы абсолютно ни черта не чувствуем в статистике. Нет у нас интуиции. Ни на грош. Граждане, требуйте сырых данных вместо отстоя средних!

Очень советую.

Comments

[katyat.livejournal.com]

Интуиции нет и в вероятностях. "Мы летаем на самолетах и покупаем лотерейные билеты"

Со статистикой есть, на мой взгляд, философская проблема - предположение об изначальном распределении параметров, которые мы ищем. При том, что в реальной жизни эти параметры равны чему-то и не флуктуируют и это "что-то" мы ищем. Например, гравитационную постоянную:-)

Другая проблема - манипуляции с данными.
Сырые данные не всегда помогут, так как их подтасовка тоже нередка (например, если тесты показали неэффективность лекарства - они не публикуются, если эффективмность - публикуются).

[chaource.livejournal.com]

Я сейчасъ началъ изучать machine learning / data science, которая есть ни что иное, какъ прикладная статистика. У меня ощущенiе, что статистика "непонятна" изъ-за того, что она имѣетъ дѣло съ двумя принципiально разными видами вѣроятности. Первая вѣроятность - обычная (мѣра на пространствѣ событiй), и про нее все ясно. А вторая вѣроятность описываетъ выборъ гипотезъ или моделей, необходимый передъ тѣмъ, какъ мы вообще сможемъ написать мѣру на какомъ-либо пространствѣ событiй. Этотъ выборъ дѣлается непонятно какъ. Нѣтъ четко опредѣленнаго "пространства всѣхъ гипотезъ" или "пространства всѣхъ возможныхъ будущихъ ситуацiй", и поэтому нѣтъ строгихъ средствъ описанiя послѣдствiй того или иного выбора гипотезъ.

[vernova.livejournal.com]

нам в начале первого урока статистики в университете преподаватель так и сказал, что есть ложь, есть грязная ложь, и есть статистика.

[ymi-an-island.livejournal.com]

be Bayesian и все сразу станет ну не хорошо, но все же гораздо лучше.

[bakhtin.livejournal.com]

Статистику действительно очень сложно преподавать, она требует другого образа мыслей по сравнению с теорией вероятностей. Разумеется, в хорошем курсе статистики должны обсуждаться сложности её применения. Должны обсуждаться базовые парадоксы вроде тех, что по ссылке. Преподавать статистику без этого - действительно, плодить взгляды на неё как на шаманство. Известное высказывание, которое и в этом треде привели, что нет хуже обмана, чем статистика, относится к "плохим" её примененениям - неграмотным, недобросовестным, злонамеренным. Ситуация, как в анекдоте, про то как о Шаляпине судят по чьему-то свисту.

Литература о сложности применений статистики существует. Такие две книги приходят в голову:

1. Есть важная книга Daniel Kahneman "Thinking, Fast and Slow" по психологии. Одна из главных тем в ней - именно о том, что мы не очень-то приспособлены работать со статистической информацией, что интуиция, к которой мы норовим обратиться, нас постоянно подводит, и что даже профессионалы, которые должны бы всё уметь, регулярно совершают ошибки такого рода. В своих вероятностных курсах любого уровня всем своим студентам-аспирантам рекомендую читать эту книгу (К сожалению, требовать не могу - это отдельный курс был бы).

2. На русском языке вторая часть учебника Тутубалина по теории вероятностей целиком посвящена сложностям её применения. Очень рекомендую.

Вообще-то философско-методические сложности с применениями теории вероятностей (в частности, со статистикой) - известный больной вопрос.

[cross-join.livejournal.com]

Процитирую себя
в научной сфере развернулись дискуссии, потому что при широком доступе к результатам экспериментов найденные в данных закономерности выдаются за подтвержденные гипотезы без объяснений природы связи. Самая настоящая астрология въехала в науку на колесах телеги "больших данных";

[petrark.livejournal.com]

Спасибо, интересно.