Дома из бревна / 18.12.2019

Статическая значимость. Определение значимости воздействия. Что такое гипотеза в статистике

Профессиональные аналитики уделяют много внимания статистической значимости, и это хорошо. Однако статистическая значимость - лишь один из аспектов хорошего анализа.

Проверка статистической значимости подразумевает выдвижение ряда предположений и определение вероятности того, что полученные результаты имели бы место в случае правильности выдвинутых предположений. Проверка статистической значимости поможет убедиться в том, что данные не вводят вас в заблуждение. Она с математической точки зрения покажет, достаточно ли значимо различие. Бывает, что различия, которые кажутся существенными, не являются таковыми, а бывает и так, что значимыми оказываются небольшие различия. Статистическая проверка позволит убедиться в правильности сделанных выводов.

На основе тестирования создана целая дисциплина. В деловом мире она известна как подход «тестируй и изучай» (test and learn ), включающий основные экспериментальные концепции, которые преподаются на курсах статистики. В среде «тестируй и изучай» эксперимент устроен так, что можно измерить эффекты использования одного или нескольких вариантов и определить, какой из них будет работать лучше всего.

Индивида окружает множество находящихся от него на различном расстоянии объектов живой и неживой природы. Если вычесть из их числа те, которые ему неизвестны, а также те, которые ему не нужны, останутся только те, которые нужны, значимые для него.

Значимость (чего-либо) - мера жизненной необходимости (этого) . И мера вероятности затруднения или прекращения жизни в случае отсутствия, дефицита (этого). Объект обретает актуальную значимость, как только он становится предметом какой-либо потребности. Чем важнее потребность, тем выше значимость ее предмета (объекта).

Значимость (объекта процесса, явления) - качество динамичное : сегодня это мне нужно «позарез», а завтра, быть может, не нужно вовсе. Следовательно, важную роль здесь играет фактор времени. Важен и фактор пространства: если нечто, в принципе подходящее для удовлетворения моей потребности, для меня недосягаемо, значимость этого для меня может снижаться.

Субъективность оценки - существенный ее недостаток: так можно упустить нечто важное из свойств оцениваемого объекта, а это, в свою очередь, создает основания для пренебрежения его собственными, внутренними закономерностями.

Значимость имеет индивидуальный и видовой аспекты: совокупность всех значимых для человечества (т.е. человека как вида) объектов много больше, чем совокупность всех значимых для индивида. При этом у животных индивидная значимость чего-либо почти полностью совпадает с видовой, а у человека - нет: в процессе своего развития наш вид сумел реализовать в широкой мере процесс индивидуализации своих представителей.

Итак, значимость это :

особое качество объекта: объекта обязательно в связи с субъектом потребности, т.е. в плане его пригодности для ее удовлетворения;
это мера жизненной необходимости (этого). Значимо для живого существа все, посредством чего может быть удовлетворена какая-либо его потребность сейчас или потом;
значимость динамична, конкретна, имеет общечеловеческий и индивидуальный масштаб.

Виды значимости. Значимость может быть:

первичной (непосредственной) и вторичной (опосредованной) - пища первично значима, а ложка, вилка, тарелка значимы вторично, только вследствие их связи с приемом пищи.
условной и безусловной (ситуационной и внеситуационной) -вода для человека (как и любою существа) значима всегда, а некоторые материальные ценности - только при определенных условиях;
актуальной и потенциальной - (багаж в пути мешает, но по приезде в пункт назначения необходим);
положительной и отрицательной - все то, что способствует удовлетворению наших потребностей, для нас значимо положительно, а все то, что этому препятствует, значимо отрицательно.
большой и малой;
подлинной и мнимой - при увлечении чем-либо мы придаем значимость тем предметам, которые не являются жизненно необходимыми.

Объекты, необходимые в плане удовлетворения потребностей человека, образуют целые значимостные цепочки, где каждое звено оценивается и само по себе, и в свете целого. Важную роль играют изменения, происходящие с самим человеком, и одно из самых главных - в связи с этапами его жизненного пути. Для ребенка значимо одно, для взрослого - другое.

Выгода - мера значимости объекта или способа взаимодействия с ним с точки зрения степени вероятности удовлетворения потребности. Выгода может иметь большое число характеристик как количественных, так и качественных. Одна из ипостасей выгоды - прибыль.

Значимость (чего-либо) индивид находит (определяет) и переживает Способом выявления значимости является оценка, способом проявления уже найденной благодаря оценке значимости является отношение и связанное с ним поведение: по тому, к чему и как человек относится, можно понять, что именно и в какой мере для него значимо. Оценка - это психический механизм нахождения (определения, выявления) значимости, а отношение - способ пребывания (отражения) значимости в психике (сознании) индивида.

Переживание значимости происходит в форме желания: то чего мы в данный момент хотим, то в данный момент для нас и наиболее значимо. Чем интенсивнее нагие желание (чего-либо), тем это значимее для нас. Желание - одна из форм проявления отношения как способа проявления значимости, и оно же, будучи неотъемлемым компонентом иотребностного цикла, отражает процесс ситуационной актуализации и дезактуализации постоянно имеющейся значимости.

В каких случаях вы принимаете научное открытие всерьез? Когда оно «значимо»?

Паранормальные события по определению являются экстраординарными и выходят за рамки мира обычной науки. Если вы делаете ошибочный вывод о том, что результат не случаен, а имеет конкретную причину, то это ошибка I рода. (Ошибочный вывод в том, что реальный неслучайный эффект - всего лишь результат случайности, называется ошибкой II рода.) Говоря проще, ошибка 1 рода - это когда вы считаете, что «происходит что-то необычное», тогда как на самом деле все идет своим чередом. В данном тексте мы рассмотрим процедуру сверки с реальностью, призванную выявлять ошибки I рода.

Пусть ученый проводит эксперимент с целью определить, стоит ли за неким явлением - скажем, необычайной способно стью выигрывать в лотерею, читать мысли или предсказывать результаты выборов - какая-то конкретная причина или это чистая случайность. Пусть далее наш ученый получит подряд несколько позитивных результатов. В конце концов игрок в покер может иногда получить удачные карты, в этом нет ничего таинственного. Да и в лотерею люди иногда выигрывают.

К счастью, существуют статистические процедуры для оценки вероятности ошибки I рода. К примеру, мы считаем, что выигрыши в лотерее распределяются совершенно случайно и честно, так что выигрыш каждого человека зависит исключительно от удачи. При этом некоторым людям все же выпадают выигрыши. Если выигрышей больше, чем можно было ожидать, мы можем заподозрить, что лотерея работает не совсем случайно. Возможно, кто-нибудь жульничает или здесь работают паранормальные силы. Чтобы разобраться в происходящем, статистики вычисляют, сколько выигрышных билетиков должно быть предъявлено, чтобы мы сделали вывод о том, что происходит нечто странное. Может быть, по законам случайности на один миллион участников должно приходиться 10, 100 или даже 1000 выигрышей. Любое число, превышающее 10, 100 или 1000, вызовет подозрения. Но как выбрать допустимое число выигрышей? Все зависит от того, чем вы готовы рискнуть. Насколько вы боитесь совершить ошибку I рода.

«Уровень риска» совершения ошибки I рода называется a-уровнем. Традиционно многие ученые ориентируются на а-уровень 5 % (0,05), но иногда используются и другие уровни (1 % (0,01) и 0,1 % (0,001)). Так, а-уровень 5 % означает, что лотерея становится по-настоящему подозрительной. Если же уровень уверенности не превышает 5 %, т. е. вероятность ошибки не превышает 1/20. Иногда уровень вероятности для краткости называют p-величиной. В научных докладах можно часто встретить следующие утверждения (не забывайте, что при этом р лучше, т. е. меньше, 0,05, и, соответственно, результаты эксперимента значимы):

Предсказания экстрасенсов были точны значительно чаще, чем предсказания обычных людей (р = 0,02). Вывод: результаты эксперимента свидетельствуют о том, что экстрасенсы могут предсказывать будущее.

Если эксперимент не подтвердил точности предсказаний экстрасенсов, отчет может выглядеть примерно так:

Мы сравнили уровень успешности предсказания пятидесяти экстрасенсов и пятидесяти людей без заявленных паранормальных способностей. Предсказания экстрасенсов оправдывались в 44 % случаев, предсказания обычных людей - в 43 % случаев. Превышение успешности предсказаний экстрасенсов по отношению к предсказаниям обычных людей не было статистически значимым (р = 0,12). Вывод: результаты эксперимента не подтверждают вывод о том, что экстрасенсы могут предсказывать будущее.

Обратите внимание: ученые говорят о «статистической значимости» явления, если полученная в ходе эксперимента «-величина не превышает принятого в эксперименте уровня значимости (a-уровня)». Утверждение «Этот результат является статистически значимым, р = 0,02» можно перевести примерно так: «Мы уверены, что этот результат - не просто удача или случайность. Наша статистика показывает, что вероятность ошибки составляет всего 2 шанса из 100, а это лучше, чем уровень 5/100, принятый большинством ученых».

Способ, при помощи которого вычисляется а-уровень для статистических данных, останется за пределами этой книги. Однако заметим, что эта задача может оказаться весьма сложной. К примеру, многократное повторение одного и того же эксперимента может создавать совершенно особую проблему, о которой иногда забывают исследователи паранормального. Любой эксперимент сам по себе напоминает бросание монетки. Со временем при многократном повторении вы можете по чистой случайности получить желаемый результат. В гипотетическом исследовании предсказаний экстрасенсов и обычных людей, о котором мы говорили выше, некоторые участники (как экстрасенсы, так и неэкстрасенсы), вполне воз можно, сделали удачное предсказание случайно. Мы уже объяснили, что статистики умеют оценивать уровень вероятности и учитывать его при обработке результатов. Точно так же, если повторить этот эксперимент сотни раз, исследуя каждый раз по 50 экстрасенсов и неэкстрасенсов, в некоторых случаях доля успешных предсказаний у экстрасенсов обязательно окажется выше - по чистой случайности. Минимум, что вы должны сделать, - это изменить a-уровень так, чтобы учесть возросший риск ложноположительного решения.

Исследователи, которые многократно повторяют один и тот же эксперимент (или учитывают большое количество параметров водном эксперименте), вынуждены принимать дополнительные меры, чтобы исключить ложноположительное решение. Некоторые из них пользуются тестом, придуманным Карло Эмилио Бонферрони (Bonferroni, 1935), и делят а-уровень (0,05 или 0,01) на число экспериментов (или параметров), чтобы скомпенсировать тем самым возросшую вероятность ошибочного результата. Новый a-уровень отражает более жесткие критерии, при помощи которых придется в этом случае оценивать достоверность проведенного исследования. Ведь, если провести аналогию с бросанием костей, вы увеличиваете вероятность выигрыша за счет большого количества бросков. К примеру, если вы провели 100 экспериментов по экстрасенсорному предсказанию будущего (или один эксперимент, в котором попросили участников предсказать поведение 100 отдельных трупп объектов, таких как спортивные матчи, номера лотерейных билетов, природные события и т. д.), то новый a-уровень у вас будет 0,0005 (0,05/100). Таким образом, если после статистической обработки результатов вашего исследования окажется, что уровень достоверности составляет всего 0,05. В данном случае это будет означать, что значимых результатов вам получить не удалось.

Возможно, вы плохо разбираетесь в статистике и с трудом понимаете, о чем идет речь. Тем не менее Бонферрони снабдил нас очень удобным инструментом оценки, пользоваться которым совсем не трудно. При помощи этого инструмента вы всегда можете понять, не возбуждают ли результаты того или иного исследования ложных надежд. Сосчитайте число экспериментов, о которых идет речь. Или число различных «исходящих» переменных, которые подвергались исследованию. Разделите 0,05 на число экспериментов или переменных и получите новое пороговое значение. Уровень достоверности исследования, о котором идет речь, должен быть не выше этого значения (т. е. меньше или равен ему). Только тогда вы можете быть уверены в значимости полученных результатов. Ниже приведен гипотетический отчет об исследовании зеленого чая. Можете ли вы определить, почему он вводит читателя в заблуждение?

Мы проверили действие зеленого чая на успеваемость. В двойном слепом исследовании с применением плацебо, 20 учащихся получали зеленый чай, а еще 20 - подкрашенную воду, похожую на зеленый чай. Участники эксперимента пили чай каждый день в течение месяца. Мы проверяли 5 переменных: средний балл, экзаменационные оценки, оценки за письменные работы, оценки за работу в классе и посещаемость. За письменные работы те, кто пил зеленый чай, получили в среднем «5», а те, кто пил воду, - в среднем «4». Это значимая разница, р = 0,02. Вывод: зеленый чай повышает успеваемость.

А вот тот же отчет с поправкой на тест Бонферрони:

Мы проверили действие зеленого чая на успеваемость. В двойном слепом исследовании с применением плацебо, 20 учащихся получали зеленый чай, а еще 20 - подкрашенную воду, похожую на зеленый чай. Участники эксперимента пили чай каждый день в течение месяца. Мы проверяли 5 переменных: средний балл, экзаменационные оценки, оценки за письменные работы, оценки за работу в классе и посещаемость. Лучше всего зеленый чай сказался на качестве письменных работ. Здесь те, кто пил зеленый чай, получили в среднем «5», а те, кто пил воду, - в среднем «4». Разница в оценках дает нам р = 0,02. Однако этот результат не удовлетворяет а-уровню с поправкой Бонферрони (0,01). Вывод: зеленый чай не повышает успеваемость.

Статистика давно уже стала неотъемлемой частью жизни. С ней люди сталкиваются всюду. На основе статистики делаются выводы о том, где и какие заболевания распространены, что более востребовано в конкретном регионе или среди определенного слоя населения. На основываются даже построения политических программ кандидатов в органы власти. Ими же пользуются и торговые сети при закупке товаров, а производители руководствуются этими данными в своих предложениях.

Статистика играет важную роль в жизни общества и влияет на каждого его отдельного члена даже в мелочах. Например, если по , большинство людей предпочитают темные цвета в одежде в конкретном городе или регионе, то найти яркий желтый плащ с цветочным принтом в местных торговых точках будет крайне затруднительно. Но из каких величин складываются эти данные, оказывающие такое влияние? К примеру, что представляет собой «статистическая значимость»? Что именно понимается под этим определением?

Что это?

Статистика как наука складывается из сочетания разных величин и понятий. Одним из них и является понятие «статистическая значимость». Так называется значение переменных величин, вероятность появления других показателей в которых ничтожно мала.

К примеру, 9 из 10 человек надевают на ноги резиновую обувь во время утренней прогулки за грибами в осенний лес после дождливой ночи. Вероятность того что в какой-то момент 8 из них обуются в парусиновые мокасины - ничтожно мала. Таким образом, в данном конкретном примере число 9 является величиной, которая и называется «статистическая значимость».

Соответственно, если развивать далее приведенный практический пример, обувные магазины закупают к концу летнего сезона резиновые сапожки в большом количестве, чем в другое время года. Так, величина статистического значения оказывает влияние на обычную жизнь.

Разумеется, в сложных подсчетах, допустим, при прогнозе распространения вирусов, учитывается большое число переменных. Но сама суть определения значимого показателя статистических данных - аналогична, вне зависимости от сложности подсчетов и количества непостоянных величин.

Как вычисляют?

Используются при вычислении значения показателя «статистическая значимость» уравнения. То есть можно утверждать, что в этом случае все решает математика. Самым простым вариантом вычисления является цепь математических действий, в которой участвуют следующие параметры:

два типа результатов, полученных при опросах или изучении объективных данных, к примеру, сумм на которые совершаются покупки, обозначаемые а и b;
показатель для обеих групп - n;
значение доли объединенной выборки - p;
понятие «стандартная ошибка» - SE.

Следующим этапом определяется общий тестовый показатель - t, его значение сравнивается с числом 1,96. 1,96 - это усредненное значение, передающее диапазон в 95 %, согласно функции t-распределения Стьюдента.

Часто возникает вопрос о том, в чем отличие значений n и p. Этот нюанс просто прояснить при помощи примера. Допустим, вычисляется статистическая значимость лояльности к какому-либо товару или бренду мужчин и женщин.

В этом случае за буквенными обозначениями будет стоять следующее:

n - число опрошенных;
p - число довольных продуктом.

Численность опрошенных женщин в этом случае будет обозначено, как n1. Соответственно, мужчин - n2. То же значение будут иметь цифры «1» и «2» у символа p.

Сравнение тестового показателя с усредненными значениями расчетных таблиц Стьюдента и становится тем, что называется «статистическая значимость».

Что понимается под проверкой?

Результаты любого математического вычисления всегда можно проверить, этому учат детей еще в начальных классах. Логично предположить, что раз статистические показатели определяются при помощи цепи вычислений, то и проверяются.

Однако проверка статистической значимости - не только математика. Статистика имеет дело с большим количеством переменных величин и различных вероятностей, далеко не всегда поддающихся расчету. То есть если вернутся к приведенному в начале статьи примеру с резиновой обувью, то логичное построение статистических данных, на которые станут опираться закупщики товаров для магазинов, может быть нарушено сухой и жаркой погодой, которая не типична для осени. В результате этого явления число людей, приобретающих резиновые сапоги, снизится, а торговые точки потерпят убытки. Предусмотреть погодную аномалию математическая формула, разумеется, не в состоянии. Этот момент называется - «ошибка».

Вот как раз вероятность таких ошибок и учитывает проверка уровня вычисленной значимости. В ней учитываются как вычисленные показатели, так и принятые уровни значимости, а также величины, условно называемые гипотезами.

Что такое уровень значимости?

Понятие «уровень» входит в основные критерии статистической значимости. Используется оно в прикладной и практической статистике. Это своего рода величина, учитывающая вероятность возможных отклонений или ошибок.

Уровень основывается на выявлении различий в готовых выборках, позволяет установить их существенность либо же, наоборот, случайность. У этого понятия есть не только цифровые значения, но и их своеобразные расшифровки. Они объясняют то, как нужно понимать значение, а сам уровень определяется сравнением результата с усредненным индексом, это и выявляет степень достоверности различий.

Таким образом, можно представить понятие уровня просто - это показатель допустимой, вероятной погрешности или же ошибки в сделанных из полученных статистических данных выводах.

Какие уровни значимости используются?

Статистическая значимость коэффициентов вероятности допущенной ошибки на практике отталкивается от трех базовых уровней.

Первым уровнем считается порог, при котором значение равно 5 %. То есть вероятность погрешности не превышает уровня значимости в 5 %. Это означает, что уверенность в безупречности и безошибочности выводов, сделанных на основе данных статистических исследований, составляет 95 %.

Вторым уровнем является порог в 1 %. Соответственно, эта цифра означает, что руководствоваться полученными при статистических расчетах данными можно с уверенностью в 99 %.

Третий уровень - 0,1 %. При таком значении вероятность наличия ошибки равна доле процента, то есть погрешности практически исключаются.

Что такое гипотеза в статистике?

Ошибки как понятие разделяются по двум направлениям, касающимся принятия или же отклонения нулевой гипотезы. Гипотеза - это понятие, за которым скрывается, согласно определению, набор иных данных или же утверждений. То есть описание вероятностного распределения чего-либо, относящегося к предмету статистического учета.

Гипотез при простых расчетах бывает две - нулевая и альтернативная. Разница между ними в том, что нулевая гипотеза берет за основу представление об отсутствии принципиальных отличий между участвующими в определении статистической значимости выборками, а альтернативная ей полностью противоположна. То есть альтернативная гипотеза основана на наличии весомой разницы в данных выборок.

Какими бывают ошибки?

Ошибки как понятие в статистике находятся в прямой зависимости от принятия за истинную той или иной гипотезы. Их можно разделить на два направления или же типа:

первый тип обусловлен принятием нулевой гипотезы, оказавшейся неверной;
второй - вызван следованием альтернативной.

Первый тип ошибок называется ложноположительным и встречается достаточно часто во всех сферах, где используются статистические данные. Соответственно, ошибка второго типа называется ложноотрицательной.

Для чего нужна регрессия в статистике?

Статистическая значимость регрессии в том, что с ее помощью можно установить, насколько соответствует реальности вычисленная на основе данных модель различных зависимостей; позволяет выявить достаточность или же нехватку факторов для учета и выводов.

Определяется регрессивное значение с помощью сравнения результатов с перечисленными в таблицах Фишера данными. Или же при помощи дисперсионного анализа. Важное значение показатели регрессии имеют при сложных статистических исследованиях и расчетах, в которых участвует большое количество переменных величин, случайных данных и вероятных изменений.

При построении регрессионной модели встает вопрос определения значимости факторов, входящих в уравнение регрессии (1). Определение значимости фактора означает выяснение вопроса о силе влияния фактора на функцию отклика. Если в ходе решения задачи о проверке значимости фактора выясняется, что фактор незначим, то его можно исключить из уравнения. В этом случае считают, что фактор не оказывает существенного влияния на функцию отклика. Если же подтверждается значимость фактора, то его оставляют в модели регрессии. Считается, что в этом случае фактор оказывает влияние на функцию отклика, которым нельзя пренебрегать. Решение вопроса о значимости факторов эквивалентно проверке гипотезы о равенстве нулю коэффициентов регрессии при данных факторах. Таким образом, нулевая гипотеза будет иметь вид: , где подвектор вектора размерности (l*1). Перепишем уравнение регрессии в матричном виде:

Y = Xb+e ,(2)

Y – вектор размера n;

X - матрица размера (p*n);

b - вектор размера p.

Уравнение (2) можно переписать в виде:

где X l и X p - l - матрицы размера (n,l) и (n,p-l) соответственно. Тогда гипотеза H 0 эквивалентна предположению, что

Определим минимум функции . Так как при соответствующих гипотезах H 0 и H 1 = 1- H 0 оцениваются все параметры некоторой линейной модели, то минимум при гипотезе H 0 равен

тогда как при H 1 он равен

Для проверки нулевой гипотезы рассчитаем статистику , которая имеет распределение Фишера с (l,n-p) степенями свободы, и критическая область для H 0 образована 100*a процентами наибольших значений величины F. Если FF кр - гипотеза отвергается.

Проверку значимости факторов можно проводить и другим методом, независимо друг от друга. Данный метод основан на исследовании доверительных интервалов для коэффициентов уравнения регрессии. Определим дисперсии коэффициентов , Значения являются диагональными элементами матрицы . Определив оценки дисперсий коэффициентов, можно построить доверительные интервалы для оценок коэффициентов уравнения регрессии. Доверительный интервал для каждой оценки будет равен , где - табличное значение критерия Стьюдента при числе степеней свободы, с которым определялся элемент , и выбранном уровне значимости . Фактор с номером i значим, если абсолютная величина коэффициента при данном факторе больше величины отклонения, рассчитанного при построении доверительного интервала. Другими словами, фактор с номером i значим, если 0 не будет принадлежать доверительному интервалу, построенному для данной оценки коэффициента . На практике, чем уже доверительный интервал при заданном уровне значимости, тем с большей уверенностью можно говорить о значимости фактора. Для проверки значимости фактора по критерию Стьюдента можно воспользоваться формулой . Вычисленное значение t-критерия сравнивается с табличным при заданном уровне значимости и соответствующем числе степеней свободы. Данным методом проверки значимости факторов можно пользоваться лишь в случае независимости факторов. Если есть основания считать ряд факторов зависимыми друг от друга, то данный метод может использоваться только для ранжирования факторов по степени их влияния на функцию отклика. Проверку значимости в этой ситуации необходимо дополнять методом, основанным на критерии Фишера.

Таким образом, рассмотрена задача проверки значимости факторов и сокращения размерности модели в случае несущественного влияния факторов на функцию отклика. Далее здесь было бы логично рассмотреть вопрос о введении в модель дополнительных факторов, которые, по мнению исследователя, в ходе проведения эксперимента не были учтены, но их воздействие на функцию отклика существенно. Предположим, что уже после того, как подобрана модель регрессии

, ,

возникла задача включить в модель дополнительные факторы x j , чтобы модель с введением этих факторов приняла вид:

, (3)

где X - матрица размера n*p ранга p, Z – матрица размера n*g ранга g и столбцы матрицы Z линейно не зависят от столбцов матрицы X, т.е. матрица W размера n*(p+g) имеет ранг (p+g). В выражении (3) использованы обозначения (X,Z)=W, . Имеется две возможности определения оценок вновь введенных коэффициентов модели. Во-первых, можно найти оценку и ее дисперсионную матрицу непосредственно из соотношений