Применение t-тестов в инженерных системах
В данной статье приводится пример того, как мы можем использовать t-тестирование, чтобы определить, произвел ли эксперимент статистически значимое изменение производительности системы.
Данная статья является 13-й в серии статей по статистике в электротехнике. Мы уже многое рассмотрели, поэтому, если вы только сейчас присоединяетесь к данной серии, обязательно просмотрите список тем в оглавлении выше.
Гипотетическая лабораторная работа: что вызывает высокий PER?
Представим, что мы разрабатываем систему беспроводной связи. Эта система состоит из передатчика, который отправляет пакетированные цифровые данные на приемник, и нашим основным средством количественной оценки производительности системы является коэффициент пакетных ошибок (PER, packet error rate). Приемник использует циклический избыточный код (CRC) для идентификации и отбрасывания пакетов, которые имеют один или несколько ошибочных битов, а PER – это просто отношение отброшенных пакетов к полученным пакетам.
Мы тестировали систему в лаборатории в течение нескольких месяцев, и, следовательно, у нас есть множество данных о производительности при комнатной температуре.
Мы знаем, что когда система работает в лаборатории и настроена с затуханием, соответствующим максимальному в заданном диапазоне, она достигает среднего значения PER = 0,001, то есть на каждые 1000 полученных пакетов должен быть отброшен один пакет.
Статистический поиск неисправностей
За последние несколько недель мы провели несколько полевых испытаний, и, к сожалению, система отработала не очень хорошо.
Для более высокого PER не было очевидной причины, и никаких закономерностей сразу не было видно. Таким образом, чтобы попытаться отследить проблему (или проблемы), нам нужно будет провести несколько экспериментов по поиску проблем. Когда система перемещалась из лаборатории в поле, менялось несколько условий, но, поскольку полевые испытания проводились в Долине Смерти, вероятной причиной является температура.
Наш план состоит в том, чтобы запустить в лаборатории термостат и собрать данные о PER. Система не предназначена для работы при экстремальных температурах, поэтому нам не нужно проводить испытания при 125°C или даже 70°C. Мы попробуем 40°C, и, поскольку держать лабораторию при такой температуре в течение длительного времени дорого, мы не сможем собрать большие объемы данных.
...через три дня…
Мы собрали девять измерений PER при 40°C. Каждое измерение представляет собой PER, наблюдаемый в течение двухчасового интервала работы. Другими словами, мы нагрели лабораторию, активировали систему, дали ей поработать два часа и записали PER.
Затем мы деактивировали систему, позволили ей некоторое время оставаться в неактивном состоянии, повторно активировали ее и записали новые данные PER для нового двухчасового интервала работы. С тремя двухчасовыми интервалами тестирования в день в течение трех дней у нас есть девять точек данных.
Вот полученные нами значения PER:
| PER |
|---|
| 0,0010290 |
| 0,0010113 |
| 0,0010380 |
| 0,0010198 |
| 0,0009702 |
| 0,0010486 |
| 0,0010503 |
| 0,0009941 |
| 0,0010067 |
Просто взглянув на измерения, мы можем увидеть, что PER, как правило, выше, чем значение при комнатной температуре, равное 0,001, но нам нужно более тщательно изучить данные, чтобы определить, является ли это изменение PER статистически значимым.
Выполнение t-теста
Для t-теста требуется t-значение, и мы видели в предыдущей статье, что t-значение вычисляется следующим образом:
\[t=\frac{\bar{x}-\mu}{s/\sqrt{n}}\]
где
- x̅ – среднее значение выборки,
- μ – среднее значение генеральной совокупности (или, в более общем смысле, некоторое эталонное значение, служащее точкой сравнения),
- s – стандартное отклонение выборки,
- n – размер выборки.
В данном эксперименте μ = 0,001, т.е. PER при комнатной температуре. Размер выборки равен 9, и с некоторой помощью Excel я могу быстро найти выборочное среднее значение и стандартное отклонение выборки: x̅ = 0,001018667 и s = 2,62881 × 10-5. Таким образом,
\[t=\frac{0,001018667-0,001}{2,62881\times10^{-5}/\sqrt{9}}\approx 2,13\]
Теперь у нас есть t-значение. Следующий шаг – найти порог, с которым будет сравниваться это t-значение; назовем его критическим значением и обозначим как t*. Теперь нам нужны три вещи: степени свободы (обозначается как ν) наших экспериментальных данных, уровень значимости и то, будем ли мы выполнять односторонний или двусторонний тест.
Я думаю, что 5% (⍺ = 0,05) – разумный уровень значимости для эксперимента, подобного этому, а ν = n - 1 = 8. Мы предполагаем, что повышение температуры либо не будет иметь никакого эффекта, либо ухудшит PER; но оно не улучшит PER. Таким образом, мы проведем односторонний тест.
Глядя на нашу таблицу критических значений t-распределения, мы видим, что t* = 1,86.
Нулевая гипотеза в нашем эксперименте утверждает, что между температурой и PER нет значимой связи. Полученное нами t-значение 2,13 больше 1,86 и, следовательно, находится в области отклонения на графике плотности распределения. Таким образом, мы отвергаем нулевую гипотезу и утверждаем, что взаимосвязь между рассмотренными переменными действительно существует: более высокая температура коррелирует с более высоким PER.
Заключение
Мы рассмотрели простой пример проверки значимости в качестве метода устранения неполадок в электронной системе. В следующей статье мы расширим этот воображаемый эксперимент, продолжая изучать t-критерий.