Промежуточный анализ представляет собой анализ данных в одном или нескольких временных точках до официального закрытия исследования с целью, например, возможно завершение исследования рано.
Согласно Piantadosi, S. ( Клинические испытания - методологическая перспектива ): « Оценка эффекта лечения будет смещена, когда испытание прекращается на ранней стадии. Чем раньше будет принято решение, тем больше будет смещение ».
Можете ли вы объяснить мне это утверждение? Я могу легко понять, что точность будет затронута, но утверждение об уклоне не очевидно для меня ...
clinical-trials
bias
ocram
источник
источник
Ответы:
Прежде всего, вы должны отметить контекст: это применимо только тогда, когда испытание было остановлено досрочно из-за временного мониторинга, показывающего эффективность / бесполезность, а не по какой-то случайной внешней причине. В этом случае оценка величины эффекта будет смещена в полностью статистическом смысле. Если вы остановились на эффективность, оценочный эффект будет слишком высоким (при условии, что он положительный), если вы остановились на бесполезность, он будет слишком низким.
Piantodosi также дает интуитивное объяснение (раздел 10.5.4 в моем издании). Предположим, что истинная разница в двух значениях составляет 1 единицу. Когда вы проводите много испытаний и просматриваете их во время промежуточного анализа, у некоторых из них наблюдаются величины эффекта, значительно превышающие 1, некоторые значительно ниже единицы, а большинство - около 1 - распределение будет широким, но симметричным. Расчетная величина эффекта в этой точке не будет очень точной, но будет объективной. Однако вы останавливаете и сообщаете о величине эффекта только в том случае, если разница значительна (скорректирована для многократного тестирования), то есть оценка находится на высокой стороне. Во всех остальных случаях вы продолжаете и не сообщаете оценку. Это означает, что при условии, что остановился ранораспределение размера эффекта не является симметричным, и его ожидаемое значение выше истинного значения оценки.
Тот факт, что этот эффект является более серьезным на ранних этапах, связан с большим препятствием для прекращения испытания, поэтому большая часть распределения выбрасывается во время подготовки.
источник
Вот иллюстрация того, как предвзятость может возникнуть в выводах, и почему это может быть не полная история. Предположим, у вас есть последовательное испытание препарата, который, как ожидается, будет иметь положительный (+1) эффект, но может иметь отрицательный эффект (-1). Пять морских свинок проверяются одна за другой. Неизвестная вероятность положительного исхода в одном случае на самом деле и отрицательный результат134 .14
Таким образом, после пяти испытаний вероятности различных результатов
таким образом, вероятность положительного результата в целом составляет 918/1024 = 0,896, а средний результат равен +2,5. Разделив на 5 испытаний, это в среднем +0,5 результата за испытание.
Это объективная фигура, так как она также .+1×34−1×14
Предположим, что для защиты морских свинок исследование будет прекращено, если на каком-либо этапе совокупный результат будет отрицательным. Тогда вероятности становятся
таким образом, вероятность положительного результата в целом составляет 702/1024 = 0,6855, а средний результат равен +1,953. Если мы посмотрели среднее значение результата на испытание в предыдущем расчете, то есть, используя ,+3+55 ,+1+35 ,-1+15 ,-1−15 и-1−13 тогда мы получим +0,184.−11
Это те чувства, в которых есть смещение из-за ранней остановки во второй схеме, и это смещение в предсказанном направлении. Но это не полная история.
Почему бывающая и вероятностно-логическая мысль о том, что ранняя остановка должна давать непредвзятые результаты? Мы знаем, что ожидаемый результат испытаний по второй схеме равен +1,953. Ожидаемое количество испытаний составляет 3,906. Таким образом, деля одно на другое, мы получаем +0,5, точно так же, как и раньше, и то, что было описано как беспристрастное.
источник
Что ж, мои знания об этом получены из речи Харвиана в 2008 году http://bookshop.rcplondon.ac.uk/details.aspx?e=262 По сути, насколько я помню, результаты будут смещены как 1) преждевременная остановка обычно означает, что лечение было более или менее эффективным, чем ожидалось, и если оно положительное, вы можете воспользоваться случайностью. Я полагаю, что значения p рассчитываются на основе планируемого размера выборки (но я могу ошибаться в этом), а также, если вы постоянно проверяете свои результаты, чтобы увидеть, были ли какие-либо эффекты показаны, вам необходимо исправить для множественных сравнений чтобы убедиться, что вы не просто находите случайный эффект. Например, если вы проверите 20 раз для значений p ниже 0,05, то, по статистике, вы почти наверняка найдете один значимый результат.
источник
Я бы не согласился с этим утверждением, если только под "предвзятостью" Piantadosi не подразумевается та часть точности, которая обычно называется предвзятостью. Вывод не будет «предвзятым», потому что вы решили остановиться сам по себе: он будет «предвзятым», потому что у вас меньше данных. Так называемый «принцип правдоподобия» гласит, что логический вывод должен зависеть только от данных, которые наблюдались, а не от данных, которые могли наблюдаться, но не были. ЛП говорит
источник
там будет иметь уклон (в «статистическом смысле») , если прекращение исследований не является случайным.
В серии экспериментов, которые заканчиваются, «ранние» результаты (а) некоторых экспериментов, которые в конечном итоге не обнаруживают «никакого эффекта», покажут некоторый эффект (в результате случайности) и (б) некоторые эксперименты, которые в конечном итоге действительно найдут эффект покажет «нет эффекта» (вероятно, из-за недостатка мощности). В мире, в котором вы прекращаете испытания, если вы останавливаете (а) чаще, чем (б), вы в конечном итоге пройдете через серию исследований с предвзятым отношением к поиску эффекта. (Та же логика применима к величинам эффекта ; прекращение исследований, которые показывают эффект «больше, чем ожидалось», на более раннем этапе чаще, чем те, которые показывают «как ожидается, или меньше», приведет к увеличению числа результатов «большого эффекта».)
Если на самом деле медицинские испытания прекращаются, когда ранние результаты показывают положительный эффект - для того, чтобы сделать лечение доступным для субъектов, принимавших плацебо или других, - но не тогда, когда ранние результаты не дают окончательных результатов, в таком тестировании будет больше ошибок типа 1, чем было бы, если бы все эксперименты были доведены до конца. Но это не значит, что практика неправильна; С моральной точки зрения цена ошибки типа 1 может быть ниже, чем отказ в лечении, так же быстро, как и в случае лечения, которое действительно будет работать в конце полного испытания.
источник