Может ли кто-нибудь помочь объяснить разницу между независимым и случайным?

21

В статистике описывают ли независимые и случайные одинаковые характеристики? Какая разница между ними? Мы часто сталкиваемся с описанием типа «две независимые случайные величины» или «случайная выборка». Мне интересно, какова точная разница между ними. Может кто-нибудь объяснить это и привести несколько примеров? например, независимый, но случайный процесс?

tiantianchen
источник
Здесь объединены две разные (на не очень глубоком уровне) концепции. «Независимые» в смысле независимо генерируемые наблюдения и «независимые переменные» относительно их распределений.
ttnphns
3
Это странный вопрос, потому что, если бы вы обратились к формальным определениям «случайной величины» и «независимой» - что, по-видимому, и предлагает «в статистике», - вы бы обнаружили, что у них мало общего.
whuber
@ttnphns, Да, я думаю, меня больше смутил термин «независимо сгенерированные наблюдения» с «случайно сгенерированными». При выборке мы часто слышим (простую) случайную выборку, которая заставляет меня чувствовать себя независимой выборкой. Я предполагаю, что если мы действительно хотим объединить обе характеристики в описании метода выборки, это должно быть так: выбор наблюдений не зависит друг от друга (= независимо), а вероятность выбора наблюдения известна (= случайно)?
tiantianchen
1
Если мы проверим определение независимости от вики: «В теории вероятностей два события являются независимыми, статистически независимыми или стохастически независимыми, если возникновение одного не влияет на вероятность другого», то зависимость двух наблюдений должна быть основана о том, как они генерируются / выбираются, а не как они выглядят в данных. Тогда два идентичных наблюдения в случае, который я упомянул выше, все еще должны быть независимыми.
tiantianchen
2
Пожалуйста, не путайте эвристическое объяснение в начале любой записи в Википедии с определением. Определение дано под заголовком «определение» в той же статье . Это тот, который предлагается в ответе Тима здесь.
whuber

Ответы:

35

Я попытаюсь объяснить это нетехническими терминами: случайная величина описывает результат эксперимента; вы не можете заранее знать, каким будет точный результат, но у вас есть некоторая информация: вы знаете, какие результаты возможны, и вы знаете, для каждого результата, его вероятность.

Например, если вы бросаете честную монету, вы не знаете заранее, получите ли вы голову или хвост, но вы знаете, что это возможные результаты, и вы знаете, что у каждого из них есть 50% -ная вероятность появления.

Чтобы объяснить независимость, вы должны бросить две честные монеты. После броска первой монеты вы знаете, что для второго броска вероятность головы все еще равна 50%, а для хвоста также. Если первый бросок не влияет на вероятности второго, то оба броска независимы. Если первый бросок влияет на вероятности второго броска, то они зависят.

Пример зависимых бросков - когда вы склеиваете две монеты вместе.


источник
3
Другая пара зависимых переменных будет «есть ли у вас головы» и «есть ли у вас хвосты». Оба являются случайными, но они не зависят друг от друга.
user253751
3
@immibis Или бросьте честный кубик, запишите значение. затем сверните его еще раз и умножьте значение на записанное значение. Это значение является случайным, но зависит от первого броска.
Кроули
8

Случайная относится к случайной переменной , а независимая относится к вероятностной независимости. Под независимостью мы подразумеваем, что наблюдение одной переменной ничего не говорит нам о другой, или в более формальных терминах, если и Y две случайные переменные, то мы говорим, что они независимы, еслиИксY

пИкс,Y(Икс,Y)знак равнопИкс(Икс)пY(Y)

более того

Е(ИксY)знак равноЕ(Икс)Е(Y)

и их ковариация равна нулю. Случайная переменная зависит от X, если она может быть записана как функция от XYИксИкс

Yзнак равное(Икс)

Таким образом , в этом случае является случайным и зависит от X .YИкс

Называть процесс «независимым» довольно обманчиво - независимо от чего? Я предполагаю, что вы имели в виду, что есть некоторые независимых и одинаково распределенных случайных величин (отметьте здесь или здесь ), которые происходят из некоторого процесса. Под независимым мы подразумеваем здесь, что они независимы друг от друга. Существуют процессы, производящие зависимые случайные величины, напримерИкс1,...,ИксК

Иксязнак равноИкся-1+ε

где - некоторый случайный шум. Очевидно, что в таком случае X i зависит от X i - 1 , но также является случайным.εИксяИкся-1

Тим
источник
Что означает если X - случайная величина? Я думаю, что вы путаете RV и события: два RV X и Y независимы, если события P ( X r ) и P ( Y s ) независимы для всех r, sP(X) P(Xr)P(Ys)
Мэтью Тауэрс
Тогда любые две непрерывные случайные величины являются независимыми.
Мэтью Тауэрс
@m_t_ Я действительно не думаю, что обсуждение обозначений ведет к чему-либо (см., например, en.wikipedia.org/wiki/… )
Тим
1
@m_t_ это раскалывание волос, см. stats.stackexchange.com/questions/16321/… или math.ucsd.edu/~napkaria/crypto/handouts/IndepDepRV.pdf
Тим
2
@tiantianchen наоборот: если у вас есть случайные переменные, вы можете построить функцию правдоподобия, умножив отдельные PDF- файлы , потому что они независимы.
Тим
1

Переменные используются во всех областях математики. Определения независимости и случайности переменной применяются в одностороннем порядке ко всем формам математики, а не только к статистике.

Например, оси X и Y в 2-мерной евклидовой геометрии представляют независимые переменные, однако их значения (обычно) не назначаются случайным образом.

Две заданные переменные могут быть случайными или независимыми (друг от друга), или от обоих, или ни от одного. Статистика имеет тенденцию сосредотачиваться на случайности (точнее, на вероятности), и то, являются ли две переменные независимыми, может иметь много последствий для вероятностей наблюдаемых результатов.

Вы склонны видеть эти два свойства (независимость и случайность), описанные вместе, при изучении статистики, потому что оба они важны для понимания и могут влиять на ответ на поставленный вопрос. Однако эти свойства не являются синонимами, и в других областях математики они не обязательно встречаются вместе.

Steve-O
источник
Спасибо. Можете ли вы объяснить больше о том, «являются ли две переменные независимыми, может иметь много последствий для вероятностей наблюдаемых результатов».
tiantianchen
3
Это нестатистический ответ, который обращается к другому значению «независимый», чем тот, который использовался в вопросе. Это также сбивает с толку два значения «переменной»: одно является математическим, а другое - статистическим определением случайной величины (которая определенно не совпадает с переменными на геометрических осях).
whuber
1

Понятие независимости относительно, в то время как вы можете быть случайным самостоятельно. В вашем примере у вас есть «две независимые случайные величины», и вам не нужно говорить о нескольких «случайных выборках».

Предположим, вы бросили идеальный кубик несколько раз. Результат априорно случайный. Зная прошлое, вы не можете предсказать число после 4. Предположим, я сгенерировал последовательность с другой стороны матрицы: 6 1 , 3 4 . Я получаю 1 , 2 , 4 , 2 , 3 ... . Это так же случайно, как и первый. Вы не можете угадать, что будет после 3 . Но две последовательности полностью зависимы.6,5,3,5,4...61341,2,4,2,3...3

Если бросить два кубика параллельно (без взаимодействия между ними), их соответствующие последовательности будут случайными и независимыми.

Лоран Дюваль
источник
1
Это может быть немного технически, учитывая уровень ОП, но в отношении вашего утверждения «Вы не можете быть независимым (от чего-либо) в одиночку (как процесс, последовательность)» рассмотрите следующее: Любая случайная величина X, равная константе c с вероятностью один, не зависит от «всего», включая себя. Т.е. для такого X X не зависит от X. Вы можете легко проверить это согласно определению независимости.
Марк Л. Стоун
ИксИксИкс
Х не зависит от себя. То есть X не зависит от X.
Марк Л. Стоун
0

Когда у вас есть пара значений, когда первое генерируется случайным образом, а второе имеет какую-либо зависимость от первого. например, рост и вес человека. Между ними есть корреляция. Но они оба случайны.

Scarabeus
источник
Хотя в этом посте используются слова «случайный» и «зависимый», он не определяет их и не четко их различает. Действительно, кажется, что «случайный = зависимый»!
whuber
0

Пример с монетой является отличной иллюстрацией случайной и независимой переменной, хорошим хорошим способом представить случайную, но зависимую переменную будет следующая карта, взятая из колоды игральных карт из семи колод, - вероятность - любого конкретного числового результата меняется в зависимости от ранее раздачи карт, но до тех пор, пока в колодке не останется только одно значение карты, ценность следующей карты будет оставаться случайной.

phantombread
источник
3
Вероятно, стоит заменить слово «вероятность» на «вероятность» здесь, поскольку у вероятности есть отдельное техническое определение в статистике
Silverfish
1
Вероятность, которая зависит от других событий (часто предшествующих событий, но иногда основанных на знании будущих или одновременных событий - на самом деле нет никакого временного направления для этого), называется условной вероятностью. Слово « правдоподобие» используется для обозначения своего рода «обратной вероятности» (или в непрерывном случае - плотности вероятности), то есть вычисляется вероятность результата (например, ваших данных), зависящая от параметров вашей модели. ), но если мы подумаем об этом с другой стороны, это вероятность этого параметра, учитывая ваши данные .
Серебряная
1
ππзнак равно1/6
-1

Дэвид Бом в своей работе «Причинность и случайность в современной физике» (Лондон: Routledge, 1957/1984) описывает причинность, случайность, случайность и независимость:

«В природе ничто не остается постоянным. Все находится в постоянном состоянии трансформации, движения и изменения. Однако мы обнаруживаем, что ничто просто не вырастает из ничего, если не было предшествующих предшественников. Аналогично, ничто никогда не исчезает без следа, в ощущение, что это порождает абсолютное ничто, существующее в более поздние времена ... .... все исходит из других вещей и порождает другие вещи. Этот принцип еще не является утверждением о существовании причинности в природе. Чтобы прийти к причинности, затем следует отметить, что, изучая процессы, происходящие в широком диапазоне условий, мы обнаруживаем, что внутри всей сложности изменений и трансформации существуют взаимосвязикоторые остаются фактически постоянными. .... На этом этапе, однако, мы сталкиваемся с новой проблемой. Ибо необходимость причинного закона никогда не бывает абсолютной. Таким образом, мы видим, что нужно понимать закон природы как необходимый только в том случае, если он абстрагируется от непредвиденных обстоятельств , представляющих собой по существу независимые факторы, которые могут существовать вне рамок вещей, которые могут рассматриваться в рассматриваемых законах, и которые не обязательно следуют из всего, что может быть указано в контексте этих законов. Такие непредвиденные обстоятельства приводят к случайности . "(Стр. 1-2)

«Тенденция к тому, что непредвиденные обстоятельства, лежащие вне данного контекста, колеблются независимо от того, что происходит внутри этого контекста, продемонстрировала настолько широкое распространение, что можно сформулировать его как принцип, а именно, принцип случайности. Под случайностью мы подразумеваем именно то, что эта независимость ведет колебания этих непредвиденных обстоятельств очень сложным образом в широком диапазоне возможностей, но таким образом, чтобы статистические средние имели регулярное и приблизительно предсказуемое поведение ". (С.22)

ноуменальное
источник
3
011/34/7
3
Вы, кажется, обсуждаете случайные процессы (во времени), а не случайность и случайные величины.
whuber
4
Я считаю, что часть трудностей, с которыми мы сталкиваемся при общении, заключается в том, что вы, похоже, думаете о «независимом» в смысле независимой переменной в регрессии. Хотя некоторые элементы вопроса могут указывать на это, фразы «две независимые случайные величины» и «случайная выборка» указывают на обратное.
whuber
1
Я даже не могу сказать, что вы понимаете, потому что ваш ответ не дает определений. Я должен догадаться, что ты пытаешься сказать из приведенных примеров и описаний. Похоже, они отличаются от «случайного» и «независимого» в смысле, который я описал в предыдущих комментариях.
whuber
1
Я бы добавил к комментариям @whuber, что ваше определение случайных переменных, влияющих друг на друга, может вводить в заблуждение. «Влияние» - это очень сильный термин, подразумевающий некоторую причинность и т. Д., В то время как формальное определение независимости не требует какой-либо причинности или влияния, а просто связано с соотношениями вероятностей и индивидуальных вероятностей.
Тим