прастатистику

[bgmt]

Я, так случилось, преподавал статистику. И относительно элементарную, и multivariate. Это случилось не только со мной, я знаю по меньшей мере двух университетских профессоров математики, с которыми случилось то же (а ещё не университетских, а ещё не профессоров), которые все, кто потупив глаза, а кто прямо глядя, признаются, что у них всё время было чувство участия в шаманских плясках. Что что-то там скрывается за гранью непонимания. (Я написал неясную фразу, потому что чувство неясности тут неясно, что бы это ни значило). Особенно когда идёт речь о тестировании гипотез, но не только. Этого чувства нет, когда преподаёшь просто теорию вероятности. А вот статистику... Как я рад, что я больше этого не делаю!

Но вот крайне интересная статья, совершенно элементарная, где все примеры ясны, которая показывает, что мы абсолютно ни черта не чувствуем в статистике. Нет у нас интуиции. Ни на грош. Граждане, требуйте сырых данных вместо отстоя средних!

Очень советую.

Comments

[rostyslav maiboroda (from livejournal.com)]

Статистика это не machine learning. Собственно, это и вредит пониманию статистики - что ее воспринимают то ли как теорию вероятностей, то ли как machine learning.

Теория вероятностей - наука доказательная.
Почему дисперсия не может быть отрицательной? Потому, что это интеграл от положительной функции.

Machine learning - наука инженерная.
- Почему вы не слушаете? Вот я доказал...
- Работает?
- Ну, в-общем...
- Когда заработает - приходи.

Статистика - наука нормативная. Вроде филологии.
Почему нельзя "корова" писать через ять? Потому, что иначе в журнале не напечатают.
Почему нужно, чтобы p-level был меньше 0.05? Потому, что иначе в журнале не напечатают.

[bgmt.livejournal.com]

Это хорошо сказано, но не проясняет, почему (слово "почему" следует понимать в терминах доказательных наук) статистика "работает", Чтобы это прояснить, нужна мера, относящаяся к реальному миру. На пространстве событий или вроде того. Поскольку тут вопрос становится не математическим, а физическим, допустимы гипотезы, при условии, что они falsifiables. Но вместо того туман. Даже в парадоксе Гиббса, считающемся давно разрешённым, туман. Статфизика стоит на полутумане, и однако работает.

[rostyslav maiboroda (from livejournal.com)]

Это уже другой вопрос: почему теорию вероятностей можно применять к описанию реального мира. Теория вероятностей – раздел математики, так что имеем частный случай вопроса о «непостижимой эффективности математики».
По этому общему вопросу мой ответ таков: математику три тысячи лет подвинчивали, подкручивали, дорабатывали наждаком, чтобы она работала. Было бы удивительно, если бы от нее в результате не вышло никакого толку.
Применительно к теории вероятностей. Ключевая концепция в ней – независимость (величин и событий). Две величины независимы, если знание об одной из них ничего не дает для предсказания другой. Такое бывает довольно часто. До XVIII века математики считали, что их дело – предсказывать одни величины на основании других, стало быть, независимые величины не по их части. Но вот обнаружили, что независимость разрешает делать далеко идущие и весьма полезные выводы. Хорошо бы и к ней приладить настоящую математику. Ну а самой удобной на сегодня математической моделью независимых величин оказалась теория меры. Не важно какой меры и где – важно, что на ее основе можно получать выводы привлекая логику независимости.
Если обнаружится более удачная модель – будем пользоваться ею.
Пока не обнаружилась.

[bgmt.livejournal.com]

Вы говорите про применимость теории вероятностей. Это загадкой вроде никогда и не было, если не считать "непостижимую эффективность математики". Независимость, о которой вы говорите, это фактически утверждение о сепарабельности: существует метрика (обычно просто метрика пространства), в которой далёкие в смысле этой метрики события "не влияют" друг на друга (т.е. влияние - малая величина по сравнению с существенными параметрами взаимодействия близких событий). Это гипотеза, но она пока очень хорошо держится. Вне её мы, собственно, ничего считать не умеем.
А я говорил о применимости статистики. Статистика, как вы сами указали, это не теория вероятностей. Это, кроме того, набор правил выбора ну скажем, нулевой гипотезы, потому что от него зависит результат и соответствующее решение. Теория вероятностей нуждается в определении ансамбля или, если чуть расширить, меры. Статистика создаёт вероятности на несуществующем и неопределимом ансамбле.
И однако работает.

[rostyslav maiboroda (from livejournal.com)]

Правило выбора нулевой гипотезы, которое я рассказываю студентам:
"В качестве нулевой выбирайте гипотезу, которую вы хотите опровергнуть данными эксперимента".

Например, если вы пишете статью о новообнаруженном эффекте и хотите подтвердить ее статистическими данными, то нулевая гипотеза должна быть об отсутствии эффекта. Тогда если тест примет альтернативу - это будет действительно экспериментальным подтверждением, а не априорным суждением.
Если вы проверяете новое лекарство на отсутствие побочного эффекта, то основной должна быть гипотеза о наличии эффекта.
И т.п.

С вероятностями это правило не связано никак.