Применяется ли «Теорема об отсутствии бесплатного обеда» к общим статистическим тестам?

Женщина, на которую я работал, попросила меня сделать одностороннюю ANOVA на некоторых данных. Я ответил, что данные были данными повторных измерений (временных рядов), и что я думал, что допущение независимости было нарушено. Она ответила, что мне не следует беспокоиться о допущениях, просто проведите тест, и она примет во внимание, что эти предположения не были выполнены.

Это не показалось мне правильным. Я провел небольшое исследование и обнаружил этот замечательный пост в блоге Дэвида Робинсона. Кластеризация K-средних - это не бесплатный обед , который показал мне теорему об отсутствии бесплатного обеда. Я посмотрел на оригинальную статью и некоторые последующие материалы, и, честно говоря, математика немного над моей головой.

Суть этого, по словам Дэвида Робинсона, заключается в том, что сила статистического теста заключается в его предположениях. И он приводит два замечательных примера. По мере того, как я перебираю другие статьи и посты в блогах об этом, на него, похоже, всегда ссылаются как с точки зрения обучения, так и поиска.

Поэтому мой вопрос: применима ли эта теорема к статистическим тестам в целом? Другими словами, можно ли сказать, что сила t-теста или ANOVA проистекает из его приверженности допущениям, и процитировать теорему об отсутствии бесплатного обеда?

Я должен моему бывшему начальнику окончательный документ о работе, которую я проделал, и я хотел бы знать, могу ли я сослаться на теорему об отсутствии бесплатного обеда, заявив, что вы не можете просто игнорировать предположения статистического теста и сказать, что вы примете это в учитывать при оценке результатов.

Я не знаю доказательств, но держу пари, что это применимо довольно широко. Примером является эксперимент с 2 субъектами в каждой из 2 групп лечения. Тест Вилкоксона не может быть значимым на уровне 0,05, но критерий Стьюдента может. Можно сказать, что его сила более чем наполовину основана на его предположениях, а не только на данных. К вашей первоначальной проблеме неуместно поступать так, как будто наблюдения по каждому предмету независимы. Учесть вещи после факта, безусловно, не является хорошей статистической практикой, за исключением особых случаев (например, кластерные сэндвич-оценки).

Вы можете ссылаться на теорему об отсутствии свободного обеда, если хотите, но вы также можете просто сослаться на Modus Ponens (также известный как закон отрешенности , основа дедуктивного мышления), который является корнем теоремы об отсутствии свободного обеда .

Теорема об отсутствии бесплатного обеда включает в себя более конкретную идею: тот факт, что не существует алгоритма, который бы подходил для всех целей. Другими словами, теорема об отсутствии бесплатного обеда в основном гласит, что не существует алгоритмической магической пули . Это коренится на Modus Ponens, потому что для алгоритма или статистического теста, чтобы дать правильный результат, вы должны удовлетворить предпосылки.

Как и во всех математических теоремах, если вы нарушаете предпосылки, то статистический тест просто лишен смысла, и вы не можете извлечь из него никакой правды. Поэтому, если вы хотите объяснить свои данные с помощью своего теста, вы должны предположить, что необходимые предпосылки выполнены, если они не (и вы это знаете), то ваш тест совершенно неверен.

Это потому, что научные рассуждения основаны на дедукции: в основном, ваш тест / закон / теорема является правилом импликации , который говорит, что если у вас есть предпосылка, Aто вы можете сделать вывод B:, A=>Bно если у вас нет A, то вы можете иметь Bили нет B, и оба случая верны , это один из основных принципов логического вывода / вывода (правило Модуса Поненса). Другими словами, если вы нарушаете условия, результат не имеет значения, и вы не можете ничего сделать .

Запомните двоичную таблицу значений:

A   B   A=>B
F   F    T
F   T    T
T   F    F
T   T    T

Так что в вашем случае для упрощения у вас есть Dependent_Variables => ANOVA_correct. Теперь, если вы используете независимые переменные, то Dependent_Variablesесть False, то импликация будет верна, поскольку Dependent_Variablesпредположение нарушается.

Конечно, это упрощенно, и на практике ваш тест ANOVA может по-прежнему возвращать полезные результаты, поскольку почти всегда существует некоторая степень независимости между зависимыми переменными, но это дает вам представление о том, почему вы просто не можете полагаться на тест, не выполняя предположения ,

Тем не менее, вы также можете использовать тесты, предпосылки которых не удовлетворяются оригиналом, уменьшая вашу проблему: за счет явного ослабления ограничения независимости ваш результат все еще может быть значимым, хотя и не гарантированным (потому что тогда ваши результаты применимы к уменьшенной проблеме, а не полная проблема, поэтому вы не можете перевести все результаты, кроме случаев, когда вы можете доказать, что дополнительные ограничения новой проблемы не влияют на ваш тест и, следовательно, на ваши результаты).

На практике это часто используется для моделирования практических данных, например, с использованием Наивного Байеса, путем моделирования зависимых (вместо независимых) переменных с использованием модели, которая предполагает независимые переменные, и, что удивительно, часто работает очень хорошо, а иногда и лучше, чем модели учета для зависимостей . Вас также может заинтересовать вопрос о том, как использовать ANOVA, когда данные не совсем соответствуют ожиданиям .

Подводя итог: если вы намереваетесь работать с практическими данными, и ваша цель состоит не в том, чтобы доказать какой-либо научный результат, а в том, чтобы создать систему, которая просто работает (например, веб-сервис или любое другое практическое приложение), предположение о независимости (и, возможно, другие предположения) может быть расслабленным, но если вы пытаетесь вывести / доказать некоторую общую истину , то вы всегда должны использовать тесты, которые вы можете математически гарантировать (или, по крайней мере, безопасно и предположительно предположить), что вы удовлетворяете всем предпосылкам .