Для таких “популярных” параметров случайных величин как математическое ожидание и дисперсия найдены явные формулы статистических оценок –и s 2 , соответственно. Однако часто необходимы оценки и других параметров. Например, в теории массового обслуживания часто используется так называемое гамма-распределение, формула плотности которого имеет вид:

где a, b – параметры, оценки которых надо найти для идентификации закона распределения; – гамма-функция Эйлера. Для оценок a и b, а также многих других параметров специальных формул не разработано. Следовательно, необходимы методы поиска оценок для произвольных параметров. Одним из наиболее простых является метод моментов (Пирсона).

Def. Теоретическим начальным моментом

Например, математическое ожидание – начальный момент 1-го порядка.

Def. Теоретическим центральным моментом k-го порядка СВ x называется величина

Например, дисперсия – центральный момент 2-го порядка, центральный момент 1-го порядка любой СВ равен 0.

Def. Эмпирическим начальным моментом k-го порядка СВ x называется величина

Def. Эмпирическим центральным моментом k-го порядка СВ x называется величина

При больших N эмпирические моменты можно приравнять к теоретическим. На основании таких равенств составляется система уравнений для оценок параметров СВ, если есть выражения искомых параметров через теоретические моменты. На этом и основан метод моментов. Его главное достоинство – простота. Кроме того, не нужно знания закона распределения СВ. Единственное требование – большой объем выборки.

Пример. Методом моментов найдем параметры гамма-распределения a и b. Известны следующие формулы:

Подставляем вместо теоретических моментов эмпирические – получаем систему уравнений относительно оценок a и b:

Поделим первое уравнение на второе – получим ; подставим в 1-е уравнение – получим .

4.3. Регрессионный анализ: синтез уравнения регрессии

Пример. Имеются экспериментальные данные (Таблица 4.1). Построить функцию, отражающую зависимость у от х , т.е её аппроксимацию . (приближение).

Если нанести точки на график и соединить их, то получим зигзагообразную линию, которая, впрочем, не слишком отличается от прямой (см. рис. 3.1). Поэтому аппроксимирующую функцию будем искать в классе многочленов первой степени, т.е. положим Y (x ) = b 1 x + b 2 . Для идентификации (нахождения) этой зависимости надо найти статистические оценки коэффициентов модели. Согласно методу наименьших квадратов (МНК) эти оценки находят из условия минимума функции

В данном случае на искомые коэффициенты не наложено никаких ограничений, т.е. мы имеем классическую задачу минимизации функции нескольких переменных – b 1 и b 2 . Из курса математики известно, что для минимизации таких функций надо вычислить частные производные минимизируемой функции, приравнять их к 0 и решить полученные уравнения.

Рис. 4.1. График данных примера

Раскроем скобки, разобьем каждое выражение на несколько сумм и перенесем члены, зависящие от искомых коэффициентов налево, а независящие – направо.

Подставим данные из таблицы 4.1 – получим линейную систему относительно искомых коэффициентов:

Решив систему, получим b 1 = 1.596; b 2 = 2.725, а аппроксимирующая функция примет вид Y (x ) = 1.596 x + 2.725. На рис. 3.2 приведены графики исходных данных (точки) и аппроксимирующей функции (сплошная линия).

Рис. 4.2. Графики исходных данных и аппроксимирующей функции

Описанный метод нахождения коэффициентов основан на минимизации функции Q (b 1 , b 2), представляющую собой сумму квадратов. Поэтому он называется методом наименьших квадратов (МНК ).

Матричная запись МНК. В более общем случае будем искать уравнение регрессии в виде функции, линейно зависящей от коэффициентов, т.е.

у = b 1 f 1 (x) + … + b k f k (x), (4.1)

где f u (x ) – заданные функции; b u – неизвестные коэффициенты. Для идентификации этой зависимости надо найти статистические оценки коэффициентов модели. Согласно методу наименьших квадратов (МНК) эти оценки находят из условия минимума функции

Q(b) = ,

где у i – наблюдаемое значение выходного параметра в i-м эксперименте.

Обозначим: Ф = [Ф ij ] = – регрессионная (N ´ k)-матрица ; b – вектор коэффициентов; у – вектор значений выхода. Тогда для вектора оценок коэффициентов имеем уравнение

(Ф T Ф) = Ф T y. (4.2)

«Способ моментов» применяется в рядах с равными интервалами на основе свойств средней арифметической. Средняя арифметическая исчисляется по формуле

где i – размер интервала;

m 1 – момент первого порядка (средняя арифметическая из новых упрощенных вариант
;
– новые упрощенные варианты;f – частота);

А – постоянное число (лучше всего взять его равным варианте, у которой наибольшая частота).

Определим среднее значение признака «способом моментов» на следующем примере.

Пример 5 . Имеются следующие данные о распределении магазинов облпотребсоюза по торговой площади (табл. 14).

Таблица 14

Следует определить среднюю площадь магазинов, применив «способ моментов».

Решение

Данные распределения магазинов по торговой площади представлены в виде интервального ряда распределения с равными интервалами (i = 20 м 2), следовательно, расчет средней площади магазина можно провести по формуле
, применив «способ моментов».

Первый и последний интервалы даны открытыми, т. е. не имеют границ нижней и верхней соответственно. Для определения среднего значения в них границы интервалов следует закрыть. Для первой группы с размером площади до 40 м 2 условно считаем, что интервал также равен 20 м 2 , затем вычитаем 20 м 2 из 40 м 2 и находим условную нижнюю границу первого интервала (20 – 40). Условную верхнюю границу последнего интервала определяем аналогично (100 – 120).

Расчеты следует проводить в табл. 15.

Таблица 15

Группировка мага- зинов по торговой площади, м 2 (х )	Удельный вес магазинов, % (f )	Середина интервала (х )	х – А

Наибольшая частота f равна 40, следовательно, в качестве постоянной величины А принимаем 70.

Определяем момент первого порядка:
.

Среднее значение признака равно:

+ 70 = = 68 м 2 .

Следовательно, средняя площадь магазина составляет 68 м 2 .

5.3. Структурные средние

В качестве структурных средних чаще всего используют показатели моды и медианы. Мода (Мо ) – наиболее часто повторяющееся значение признака. Медиана (Ме ) – величина признака, которая делит упорядоченный ряд на две равные по численности части.

Если расчет моды и медианы проводится в дискретном ряду, то он опирается на их понятия. В интервальном ряду распределения для расчета моды и медианы применяют следующие формулы.

Мода рассчитывается по формуле

где х Мо – нижнее значение модального интервала;

i Мо – размер модального интервала;

f Мо – частота модального интервала;

f Мо –1 – частота, предшествующая модальной частоте;

f Мо +1 – частота, последующая за модальной частотой.

Модальному интервалу соответствует наибольшая (модальная) частота. Медиана рассчитывается по формуле

где х Ме – нижнее значение медианного интервала;

i Ме – размер медианного интервала;

f – сумма частот;

S Ме –1 – сумма частот, предшествующих медианной частоте;

f Ме – медианная частота.

Медианному интервалу соответствует медианная частота. Таким интервалом будет интервал, сумма накопленных частот которого равна или превышает половину суммы всех частот.

Рассмотрим определение моды и медианы на следующих примерах.

Пример 6 . В результате статистического обследования области получены следующие данные по распределению семей по числу детей (табл. 16).

Таблица 16

Следует определить моду и медиану.

Решение

В дискретных рядах модой является варианта с наибольшей частотой. Наибольшая частота – 34, следовательно мода равна 2.

Для вычисления медианы определим сумму частот ряда (f = 100), затем рассчитаем полусумму
.

Так как сумма накопленных частот 5 + 32 + 34 = 71 превышает полусумму (71 > 50), то варианта, имеющая значение 2 и соответствующая этой накопленной сумме частот, и есть медиана.

Пример 7 . В результате статистического обследования получены следующие данные распределения продавцов магазинов облпотребсоюза по возрасту (табл. 17).

Таблица 17

Необходимо определить моду и медиану.

Решение

В интервальных рядах мода и медиана определяются по вышеприведенным формулам.

Сначала определим модальный интервал, он соответствует наибольшей частоте. Так как наибольшая частота равна 35 и является модальной, то интервал 30–40 является модальным интервалом. Затем подставим данные в следующую формулу:

Определим медианный интервал. Полусумма частот равна 50
. Накапливая частоты, определим интересующий интервал. Так как сумма накопленных частот 6 + 24 + 35 = 65 превышает полусумму (65 > 50), значит 35 является медианной частотой, а интервал 30–40 является медианным интервалом.

Затем подставим данные в формулу

Таким образом, мода равна 35,5 лет (больше всего продавцов в возрасте 35,5 лет), медиана – 35,7 лет (50 % продавцов достигли возраста 35,7 лет).

12.2. Метод моментов.

Метод моментов - самый «старый» и самый простой из регулярных методов оценивания параметров. Фактически он использовался еще в 19 веке. Согласно этому методу, оценки параметров так же выражаются через статистические моменты выборки, как параметры - через моменты генеральной совокупности. Более конкретно, пусть модель включает класс распределений с вектором параметрова =(a 1 , a 2 ,..., a m ), включающим m оцениваемых параметров. Эти параметры связаны с моментами (например, начальными) равенствами

где - какие-то функции,- моменты генеральной СВ. Тогда оценки параметров находятся по формулам

где (см. п. 6.3)

Статистический момент k -го порядка. Разумеется, можно выражать оцениваемые параметры через центральные моменты или, смешанно, через начальные и центральные.

Пример 1 . Класс распределений

с одним параметром . Выражение параметра через момент:=1/=1/m x , следовательно, оценка по методу моментов

Пример 2 . Тот же класс распределений с другим параметром:

Выражение параметра через момент: , следовательно, оценка по методу моментов

Пример 3 . Класс , - нормальное распределение с двумя оцениваемыми параметрами:имеет смысл математического ожидания,имеет смысл с. к. о. Выражения параметров через моменты:

следовательно, оценки по методу моментов

Пример 4 . Класс нормальных распределений с одним оцениваемым параметром(известно), имеющим смысл математического ожидания. Выражение параметра через момент:, оценка по методу моментов

Сравнивая с примером 3, видим, что известность или неизвестность не влияет на оценку математического ожидания по методу моментов.

Пример 5 . Класс нормальных распределений с одним параметром(m x известно), имеющим смысл с. к. о. Выражение параметра через момент: , оценка по методу моментов

Сравнивая с примером 3, видим, что оценка с. к. о. по методу моментов зависит от того, известно m x , или нет.

Свойства оценок по методу моментов (ММ-оценок) .

1) Метод прост, при его реализации как правило не возникает каких-либо математических проблем.

2) При довольно общих условиях ММ-оценки асимптотически нормальны, что облегчает построение интервальных оценок (см. п. 13) и испытание гипотез о параметрах распределений.

3) В общем случае ММ-оценки имеют смещение, порядок относительного смещения при больших n :

, с=с onst .

Часто (но не всегда) смещение этих оценок можно устранить с помощью простых поправок, т. е. образовать новые оценки (уже не ММ-оценки), не имеющие смещения (примеры устранения смещения приведены ниже).

4) Порядок дисперсии ММ-оценки при больших n :

5) ММ-оценки состоятельны.

6) Р. Фишер в 1921 г. показал, что ММ-оценки чаще всего не эффективны, и даже асимптотически не эффективны. Он рассмотрел большое число практически используемых распределений и показал, что нормальное распределение в этом смысле исключение: его ММ-оценки эффективны или асимптотически эффективны, а ММ-оценки параметров подавляющего большинства других распределений имеют эффективность и асимптотическую эффективность значительно меньшие единицы.

Смещение и эффективность ММ-оценок на примерах.

Пример 1 . Оценивание математического ожидания . Пусть единственным неизвестным параметром распределения является математическое ожидание m х . ММ-оценка этого параметра

Как неоднократно показано выше, эта оценка состоятельна и несмещенна. Ее эффективность зависит от класса распределений генеральной СВ, например, как показано выше, она эффективна для нормального, экспоненциального, биномиального, пуассоновского распределений.

Пример 2 . Оценивание дисперсии при известном математическом ожидании . Пусть единственным неизвестным параметром распределения является дисперсия D x , математическое ожидание m x известно, остальные параметры или отсутствуют, или известны. ММ-оценка дисперсии

;

ее математическое ожидание

следовательно, она несмещенная; ее эффективность зависит от класса распределений генеральной СВ.

Пример 3 . Одновременное оценивание математического ожидания и дисперсии . Пусть оценке подлежат m x , D x , остальные параметры отсутствуют или известны. ММ-оценки

Оценка несмещенная; покажем, что оценкасмещенная.

В соответствии с (6.3.4) можно записать:

Найдем каждый член в правой части по отдельности. Имеем:

В мире часто происходят события, исход которых не предопределен заранее. Всем известен хрестоматийный пример с подбрасыванием монетки, завершающийся случайным событием: выпадением орла или решки. Таким случайным событиям можно приписать вероятность – число от нуля до единицы. Однако не у всякого события может быть вероятность. Ключевым условием является повторяемость. Поэтому бессмысленно спрашивать, какова вероятность того, что завтра пойдет дождь. У «завтра» нет повторяемости – это уникальное событие, которое нельзя повторить. Однако можно говорить о вероятности того, что 7 июля будет дождь. Событие «7 июля» повторяется каждый год, и дождю в этот день можно приписать некоторую вероятность.

Понятие вероятности можно применять только к тем событиям, которые еще не произошли, или исход которых нам пока не известен. Так, например, мы можем рассчитать вероятность выигрыша в лотерею, но, как только нам стал известен результат розыгрыша, т.е. событие уже произошло – рассчитанная вероятность теряет всякий смысл.

Еще одним важным понятием является пространство событий – это полный набор всех возможных исходов. Так в опыте с монеткой есть только два события: орел и решка. Рассмотрим другой опыт – измерение роста случайно выбранного человека. Если точность измерения один сантиметр, то пространство событий – это набор чисел от 30 см (новорожденный), до 251 см (рекорд книги Гиннеса) – всего 222 варианта. Однако если мы меряем рост с точность до 1 метра, то в пространстве оказываются только три события: меньше 1 м, от 1 м до 2 м, и больше 2 м.

1.2. Случайная величина

Случайная величина - это переменная, значение которой до опыта (реализации) неизвестно. Всякая случайная величина характеризуется:

множеством своих возможных значений (пространство событий)
неограниченным числом повторения реализаций
вероятностью попадания в любую наперед заданную область во множестве значений

Множество значений может быть дискретным, непрерывным и дискретно-непрерывным. Соответственно именуются и случайные величины.

1.3. Распределение случайной величины

Пусть X – это случайная величина, множеством возможных значений которой являются действительные числа. Рассмотрим вероятность события, что реализация X не больше заданного числа x . Если рассматривать эту вероятность в зависимости от величины x , то получится функция F (x ), называемая (кумулятивной) функцией распределения случайной величины –

F (x ) = Pr{X ≤x }.

Функция распределения это неубывающая функция, которая стремится к 0 при малых x , и стремится к 1 при больших значениях аргумента.

То, что случайная величина X имеет функцию распределения F обозначается так –

X ~ F.

Распределение называется симметричным (относительно точки a ) если F (a +x )=1–F (a –x ).

Для дискретных случайная величина функция распределения кусочно-постоянна со скачками в точках x =x i .

Производная функция распределения F (x ) называется плотностью вероятности f (x )

Рис. 1 плотность вероятности f (x ) и ф.р F (x ) случайной величины

1.4. Математическое ожидание

Пусть X f (x ).

Математическим ожиданием X называется величина

1.5. Дисперсия и СKО

Пусть X – это случайная величина с плотностью вероятности f (x ).

Дисперсией X называется величина

Если из дисперсии извлечь квадратный корень, то получится величина, называемая среднеквадратичным отклонением (СКО) .

1.6. Моменты

Пусть X – это случайная величина с плотностью вероятности f (x ).

Моментом порядка n называется величина

По определению μ 1 = E(X ).

Центральным моментом порядка n называется величина

По определению m 2 = V(X ).

1.7. Квантили

Пусть F (x ) – (кумулятивная) функция распределения случайной величины

Рассмотрим функцию F –1 (P ), 0≤P ≤1, обратную к F (x ) т.е.

F –1 (F (x ))=x F (F –1 (P ))=P .

Функция F –1 (P ) называется P-квантилем распределения F .

Величина квантиля для P =0.5 называется медианой распределения.

Квантили для P =0.25, 0.75 называются квартилями , а для P =0.01, 0.02, …, 0.99 называются процентилями.

1.8. Многомерные распределения

Две (и более) случайные величины можно рассматривать совместно. Совместная (кумулятивная) функция распределения двух случайных величин X и Y определяется так

Так же, как и в одномерном случае, функция f (x , y ) называется плотностью вероятности.

Случайные величины X и Y называются независимыми , если их совместная плотность вероятности равна произведению частных плотностей.

f (x , y )= f (x ) f (y ) .

2. Основные распределения

2.1. Биномиальное распределение

Дискретная случайная величина X имеет дискретное биномиальное распределение , если ее плотность вероятности имеет вид

где – биномиальный коэффициент.

Биномиальное распределение – это распределение числа успехов k в серии из независимых n опытов, при условии, что вероятность успеха в каждом опыте есть p .

Математическое ожидание и дисперсия, соответственно, равны

E(X )=np , V(X )=np (1−p ).

При больших n биномиальное распределение хорошо приближается с параметрами .

Рис. 2 плотность вероятности и функция распределения биномиального распределения

Для вычисления биномиального распределения в Excel используется стандартная функция BINOMDIST (БИНОМРАСП ).

Синтаксис

BINOMDIST (number_s =k , trials =n , probability_s =p ,cumulative =TRUE|FALSE)

Если cumulative =TRUE, то возвращается кумулятивная функция распределения, а если cumulative =FALSE , то возвращается плотность вероятности

Рис. 3 Пример вычисления биномиального распределения

2.2. Равномерное распределение

2.3. Нормальное распределение

Рис. 5 Функция распределения и плотность вероятности нормального распределения

Для вычисления нормального распределения в Excel используется стандартные функции: NORMDIST (НОРМРАСП ) и NORMSDIST (НОРМСТРАСП ), а также NORMINV (НОРМОБР ) и NORMSINV (НОРМСТОБР ).

Синтаксис

NORMDIST (x , mean =m , standard_dev = σ, cumulative =TRUE|FALSE)

Если cumulative =TRUE то возвращается кумулятивная функция распределения Φ(x |m , σ 2), а если cumulative =FALSE , то возвращается плотность вероятности .

NORMS DIST (x)

Возвращается кумулятивная функция стандартного нормального распределения в точке x .

NORMINV (probability =P , mean =m , standard_dev = σ)

Возвращается квантиль Φ –1 (P |m , σ 2) нормального распределения для вероятности P.

NORMSINV (probability =P )

Возвращается квантиль Φ –1 (P |0, 1) стандартного нормального распределения для вероятности P.

Рис.6 Пример вычисления нормального распределения

2.4. Распределение хи-квадрат

Рассмотрим N независимых стандартных случайных величин X 1 ,…, X n ,…, X N с нулевым мат. ожиданием и единичной дисперсией, т.е.

X n ~ N(0, 1).

Величина

является случайной, распределение которой носит название хи-квадрат . Это распределение зависит от одного параметра – N , который называется числом степеней свободы. Плотность вероятности распределения хи-квадрат имеет вид

Распределение хи-квадрат широко используется в статистике, например, при проверке гипотез.

Математическое ожидание и дисперсия распределения χ 2 (N ) равны, соответственно,

E(χ 2 (N ))=N, V(χ 2 (N ))=2N ,

При больших N распределение хи-квадрат хорошо приближается с параметрами ().

Квантили распределения χ 2 (N ) обозначаются χ –2 (P |N ).

Рис.7 функция распределения и квантиль распределения хи-квадрат

Для вычисления распределения хи-квадрат в Excel используется две стандартные функции: CHIDIST (ХИ2РАСП ) и CHIINV (ХИ2ОБР ).

Синтаксис

CHIDIST (x , degrees_freedom =N )

Возвращается значение 1 – χ 2 (x |N ), где χ 2 (x |N ) –кумулятивная функция распределения хи-квадрат.

CHIINV (probability =1–P ,degrees_freedom =N )

Возвращается квантиль χ –2 (1 – P |N ) распределения хи-квадрат для вероятности 1 – P .

Рис.8 Пример вычисления распределения хи-квадрат

2.5 . Распределение Стьюдента

Рассмотрим две случайные величины: X – распределенную стандартно- X ~ N(0, 1), и Y – распределенную по с N степенями свободы Y ~ χ 2 (N ).

Случайная величина

подчиняется распределению, которое носит имя Стьюдента . Это распределение зависит от одного параметра N , который также называется числом степеней свободы. Распределение Стьюдента применяется в проверке гипотез и для построения доверительных интервалов.

Математическое ожидание T(N ) равно нулю, а дисперсия равна

V(T(N ))=N /(N –2), N >2.

Распределение Стьюдента симметрично, и при N >20 неотличимо от нормального.

Формула для плотности вероятности Стьюдента приведена во многих пособиях. Квантили распределения T(N) обозначаются T –1 (P |N ).

Рис.9 Функция распределения и квантиль распределения Стьюдента

Для вычисления распределения Стьюдента в Excel используется две стандартные функции: TDIST (СТЬЮДРАСП ) и TINV (СТЬЮДРАСПОБР ).

Синтаксис

TDIST (x , degrees_freedom =N , tails =1|2)

Если tails = 1, то функция TDIST возвращает значение Pr{T(N ) > x }, а при tails = 2 значение Pr{|T(N )| > x }. Значения при x <0 не возвращаются. Поэтому, для того, чтобы вычислить в Excel обычную кумулятивную функцию распределения Стьюдента T(x |N ), приходится использовать следующую формулу

IF(x>0, 1-TDIST(x,N,1), -TDIST(-x,N,1)) .

TINV (probability , degrees_freedom =N )

Возвращается значение x , для которого Pr{|T(N )| > x } = probability . И в этом случае для вычисления в Excel квантиля распределения Стьюдента T –1 (P |N ), нужно использовать следующую формулу

IF(P<0.5, TINV(2*P,N), -TINV(2-2*P,N)).

Рис.10 Пример вычисления распределения Стьюдента

2.6 . Распределение Фишера

Пусть имеются две независимые случайные величины X 1 и X 2 , каждая из которых подчиняется распределению с N 1 и N 2 степенями свободы, т.е.

X 1 ~ χ 2 (N 1 ) и X 2 ~ χ 2 (N 2 ).

Случайная величина

подчиняется распределению, которое носит имя Фишера . Это распределение зависит от двух параметров N 1 и N 2 , которые также называются числами степеней свободы. Математическое ожидание и дисперсия распределения F(N 1 ,N 2) равны, соответственно,

E(F(N 1 ,N 2))= N 2 /(N 2 –2), N 2 >2

Формула для плотности вероятности распределения Фишера приведена во многих пособиях.

Если X ~ F(N 1 ,N 2), то 1/X ~ F(N 2 ,N 1 ).

Квантили распределения F(N 1 ,N 2) обозначаются F –1 (P |N 1 ,N 2 ) .

Рис.11 Функция распределения и квантиль распределения Фишера

Для вычисления распределения Фишера в Excel используются две стандартные функции: FDIST (FРАСП ) и FINV (FРАСПОБР ).

Синтаксис

FDIST (x ,degrees_freedom1 = N 1 ,degrees_freedom2 = N 2)

Возвращается значение 1 – F(x |N 1 ,N 2), где F(x |N 1 ,N 2) – кумулятивная функция распределения Фишера.

FINV (probability =1–P , degrees_freedom1 = N 1 ,degrees_freedom2 = N 2)

Возвращается квантиль F –1 (1 – P |N 1 ,N 2) для вероятности 1 – P .

Рис.12 Пример вычисления распределения Фишера

2.7 . Многомерное нормальное распределение

Это распределение является естественным обобщением одномерного нормального распределения на случай многомерной случайной величины, т.е. случайного вектора x , размерностью n .

Функция плотности вероятности имеет следующий вид

где Σ – симметричная положительно определенная (n ×n ) матрица.

2.8 . Генерация случайных чисел

Иногда бывает полезно создать искусственную выборку случайных чисел, подчиняющихся заданному распределению. Это можно сделать, используя следующее простое утверждение.

Пусть F (x ) и F –1 (P ) суть некоторая функция распределения и ее квантиль, соответственно. Если случайная величина X распределена на отрезке [ 0, 1] , т.е

X ~ U(0,1),

тогда случайная величина

Y = F –1 (X )

имеет функция распределения F .

Таким образом, если получить набор случайных величин, распределенных равномерно, то эти случайные величины можно превратить в новые, имеющие другое, заданное распределение.

Для генерации случайных чисел в Excel имеется стандартная функция: RAND (СЛЧИС ) .

Синтаксис

RAND()

Возвращает случайное число, равномерно распределенное на отрезке . Новое случайное число возвращается при каждом вычислении рабочего листа.

Рис.13 Пример генерации случайных чисел

3. Оценка параметров

3.1. Выборка

Предположим, что имеется набор чисел x =(x 1 ,…, x I ), и каждое x i является одной реализацией случайной величины, подчиняющейся, вообще говоря, неизвестному распределению. Этот набор называется выборкой , а число I – объемом выборки.

В случае одномерного распределения выборка – это вектор x , а в многомерном случае выборка – это матрица X размерностью I ×J , каждая строка которой представляет одну реализацию (наблюдение) многомерной случайной величины размерностью J .

Обычно предполагается, что все элементы выборки статистически независимы. В практических приложениях слово «выборка» часто заменяется словом «данные».

3.2. Выбросы и маргиналы

Среди элементов выборки могут присутствовать такие, которые существенно отличаются от других элементов.

Пусть, например, имеется выборка из стандартного распределения N (0,1), в которой присутствует элемент со значением x out =3.2. Для такого распределения вероятность единичного события x out ≥ 3.2 мала – она равна α=0.0007. Однако значение x out присутствует в независимой выборке размера I , поэтому нужно рассчитывать вероятность события «хотя бы один раз среди I попыток»

Для I =10 P out =0.007, для I =100 P out =0.07, а для I =1000 P out =0.50. Естественно – чем больше выборка, тем выше вероятность того, что встретится такое экстремальное значение.

Таким образом, интерпретация выпадающих из выборки значений существенно зависит от объема выборки – для малых I их нужно рассматривать как выбросы (промахи при измерениях) и, соответственно, удалять из выборки. Для больших I такие выпадающие значения являются приемлемыми маргиналами и они должны сохраняться в выборке.

3.3. Генеральная совокупность

Операцию создания выборки в статистике называют извлечением. Тем самым подчеркивают, что имеющаяся у нас выборка x 1 не единственная, и что можно получить (часто только теоретически) и другие похожие выборки x 2 , x 3 , …., x n . Слово похожие означает, что все эти выборки устроены аналогичным способом – подчиняются одному и тому же распределению, имеют одинаковый объем I , и т.п. Все бесконечное множество таких выборок образуют генеральную совокупность (называемую также популяцией).

Для вычисления выборочных статистик в Excel используют следующие стандартные функции:AVERAGE (СРЗНАЧ ), VAR (ДИСП ), VARP (ДИСПР ), STDEV (СТАНДОТКЛОН ), STDEVP (СТАНДОТКЛОНП ).

Синтаксис

AVERAGE (x)

Возвращает среднее значение выборки x , вычисленное по формуле ().

VAR (x)

Возвращает выборочную дисперсию выборки x , вычисленную по формуле ().

VARP (x)

Возвращает выборочную дисперсию выборки x , вычисленную по формуле ().

STDEV (x)

x , вычисленной по формуле ().

STDEVP (x)

Возвращает среднеквадратичное отклонение т.е. корень квадратный из выборочной дисперсии выборки x , вычисленной по формуле ().

Синтаксис

COVAR (x ,y )

Возвращает выборочную ковариацию между выборками x и y.

CORREL (x ,y )

Возвращает выборочный коэффициент корреляции между выборками x и y.

Размахом выборки называется величина

x (I ) – x (1) .

Интерквартильным размахом выборки x называется величина

являющаяся разностью выборочных квартилей для P =0.75 и P =0.25.

Для вычисления порядковых статистик в Excel используют следующие стандартные функции: MEDIAN (МЕДИАНА ), QUARTILE (КВАРТИЛЬ ), PERCENTILE (ПЕРСЕНТИЛЬ ).

Синтаксис

MEDIAN (x )

Возвращает выборочную медиану для выборки x ..

QUARTILE (x , quart =0|1|2|3|4)

Возвращает выборочный квартиль для выборки x . в зависимости от значения аргумента quart

0 Минимальное значение

1 Первый квартиль (25-ый перцентиль)

2 Значение медианы (50-ый перцентиль)

3 Третий квартиль (75-ый перцентиль)

4 Максимальное значение

PERCENTILE (x , k )

Возвращает k -ый выборочный перцентиль для выборкиx . Значения аргумента: 0≤k ≤1.

Синтаксис

FREQUENCY (data_array , bins_array )

Возвращает число попаданий значений data_array в интервалы, заданные аргументом bins_array . Эта функция возвращает вертикальный массив, и она должна вводится как формула массива – с помощью комбинации клавиш CTRL+SHIFT+ENTER . Количество элементов в возвращаемом массиве на единицу больше числа элементов в массиве bins_array . Дополнительный элемент содержит количество значений из data_array больших, чем максимальное значение в массиве bins_array .

Рис.15 Пример использования функции FREQUENCY

Y ~ χ 2 (N ).

По выборке x =(x 1 ,…, x I ) нужно найти оценки двух неизвестных параметров a и N .

4. Свойства оценок

4.1. Состоятельность

Любая оценка p (x ) параметра p есть статистика, т.е. случайная величина. И как всякая случайная величина она обладает собственной функцией распределения, математическим ожиданием, дисперсией и т.д. Все эти характеристики позволяют сравнивать разные оценки, судить об их свойствах и качествах. Ниже следует краткий обзор основных свойств оценок.

Оценка p (x ) называется состоятельной , если она сходится по вероятности к значению оцениваемого параметра p при безграничном возрастании объема выборки I . Точнее, статистика p (x ) является состоятельной оценкой параметра p тогда и только тогда, когда для любого положительного числа ε справедливо

Большинство оценок, используемых в практических приложениях, являются состоятельными.

4.2. Смещенность

Оценка p (x ) называется несмещенной , если

E[p (x )]=p.

Смещенные оценки часто встречаются в приложениях. Например, дисперсии нормального распределения () является смещенной

Для несмещенных оценок мерилом их точности является дисперсия V[p (x )] – чем она меньше, тем лучше. Для смещенных оценок нужно использовать математическое ожидание квадрата смещения

d (x )= E[p (x ) – p ) 2 ] .

Имеет место формула

d (x )= V[p (x )]+{E[(p (x )] – p )} 2 .

(15 )

4.3. Эффективность

Несмещенная оценка называется эффективной , если она имеет наименьшую возможную дисперсию. Оценки () нормального распределения являются эффективными, но вот выборочная оценка медианы (см. раздел ) таковой не является – она менее эффективно оценивает m , чем выборочное среднее.

Смещенные оценки могут оказаться более точными, чем несмещенные. Это означает, что часто можно построить такие смещенные оценки, для которых квадрат ошибки меньше, чем наименьшая эффективная дисперсия. На этом принципе основаны такие методы оценивания как PCR , PLS и др.

4.4 . Робастность

в которой median рассчитывается по формуле ().

Рис.16 Обычные и робастные оценки

4.5 . Нормальная выборка

Если выборка x =(x 1 ,…, x I ) извлечена из распределения

x i ~ N(m , σ 2) ,

и оценки определены формулами () – (), то выполняются следующие утверждения.

Т.е.имеет распределение с I степенями свободы;

, т.е. имеет распределение с I -1 степенью свободы;

, т.е. имеет распределение с I -1 степенью свободы.

5 . Доверительное оценивание

5 .1. Доверительная область

Во многих случаях, помимо точечных оценок неизвестных параметров распределения, желательно указать область, в которой истинные значения этих параметров содержатся с заданной вероятностью. Такая область называется доверительной .

Дадим точное определение. Пусть x =(x 1 ,…, x I ) подчиняется функция распределения F (x | p ), т.е.

x i ~ F (x | p ),

которая известна с точностью до значений параметровp =(p 1 ,…, p M ). Статистика P (x ) ∈ R M называется доверительной областью, соответствующей доверительной вероятности γ, если

Pr{p ∈ P (x )}≥γ .

5 .2 .Доверительный интервал

Часто для каждого параметра p m строится своя одномерная область – доверительный интервал .

Границы доверительного интервала – это две статистики p – (x ) и p + (x ), такие, что

Pr{ p – (x ) ≤ p ≤ p + (x )}≥γ.

Для односторонних доверительных интервалов соответствующая граница заменяется на –∞, 0, или +∞.

В большинстве практических случаев доверительные интервалы строятся для (асимптотически) нормальных выборок с помощью соотношений, приведенных в разделе .

5 .3 . Пример построения доверительного интервала

Приведем пример построения доверительного интервала.

Пусть имеется выборка x =(x 1 ,…, x I ) из распределения N(m , σ 2) с известной дисперсией σ 2 . Построим доверительный интервал для параметра m – математического ожидания.

Изуравнения () следует, что

где Φ –1 – квантиль стандартного нормального распределения, поэтому

Для построения симметричного доверительного интервала с доверительной вероятностью γ, положим α 1 = α 2 = 0.5(1+γ). Для построения односторонних доверительных интервалов, положим α 1 = 1, α 2 =γ, или α 1 = γ, α 2 =1.

5 .4 . Вычисление доверительного интервала для нормального распределения

Используя соотношения, приведенные в разделе , можно построить доверительный интервал для параметров распределения N(m , σ 2).

Пусть оценки определены формулами () – (), тогда выполняются следующие утверждения.

Пусть, как и прежде, - исследуемая -мерная случайная величина, подчиняющаяся закону распределения где функция - плотность вероятности, если непрерывна, и вероятность если дискретна, зависит от некоторого, вообще говоря, многомерного параметра . И пусть мы хотим оценить неизвестное значениехэтого параметра, т. е. построить оценку 0 по имеющейся в нашем распоряжении выборке, состоящей из независимых наблюдений где

Метод моментов заключается в приравнивании определенного количества выборочных моментов к соответствующим теоретическим (т. е. вычисленным с использованием функции моментам исследуемой случайной величины, причем последние, очевидно, являются функциями от неизвестных параметров Рассматривая количество моментов, равное числу k подлежащих оценке параметров, и решая полученные уравнения относительно этих параметров, мы получаем искомые оценки. Таким образом, оценки по методу моментов неизвестных параметров являются решениями системы уравнений:

(очевидно, если анализируемая случайная величина дискретна, интегралы в левых частях (8.25) следует заменить соответствующими суммами типа

Число уравнений в системе (8.25) должно быть равным числу k оцениваемых параметров. Вопрос о том, какие именно моменты включать в систему (8.25) (начальные, центральные или их некоторые модификации типа коэффициентов асимметрии или эксцесса), следует решать, руководствуясь конкретными целями исследования и сравнительной простотой формы зависимости альтернативных теоретических характеристик от оцениваемых параметров . В статистической практике дело редко доходит даже до моментов четвертого порядка (исключение составляет, пожалуй, практика эксплуатации так называемой «системы кривых Пирсона», см., например, , однако этот чисто формальный аппарат подгонки эмпирического распределения под одну из теоретических кривых практически не в состоянии, с нашей точки зрения, решать сколь-нибудь интересные задачи содержательного статистического анализа данных).

К достоинствам метода моментов следует отнести его сравнительно простую вычислительную реализацию, а также то, что оценки, полученные в качестве решений системы (8.25), являются функциями от выборочных моментов. Это упрощает исследование статистических свойств оценок метода моментов: можно показать (см. ), что при довольно общих условиях распределение оценки такого рода при больших асимптотически-нормально, среднее значение такой оценки отличается от истинного значения параметра на величину порядка , а стандартное

отклонение асимптотически имеет вид , где с - некоторая постоянная величина.

В то же время, как показал Р. Фишер (см. ), асимптотическая эффективность оценок, полученных методом моментов, оказывается, как правило, меньше единицы, и в этом отношении они уступают оценкам, полученным методом максимального правдоподобия. Тем не менее метод моментов часто очень удобен на практике. Иногда оценки, получаемые с помощью метода моментов, принимаются в качестве первого приближения, по которому можно определять другими методами оценки более высокой эффективности.

Вернемся к нашим примерам.

В примере 8.3 в качестве системы (8.25) имеем:

что дает уже знакомые нам по методу максимального правдоподобия оценки для параметров:

Нормальное распределение, так же как и распределение Пуассона (в чем легко убедиться, обратившись к примеру 8.4), относится к тем редким случаям, когда оценки по методу моментов совпадают с оценками по методу максимального правдоподобия.

Построение системы (8.25) в примере 8.5 дает:

Откуда легко получаем оценки:

Можно сравнить асимптотическую эффективность оценок, полученных методом максимального правдоподобия и методом моментов: учитывая, что дисперсия оценок (8.26) как дисперсия функций выборочных моментов имеет порядок (см. ), и принимая во внимание соотношение (8.22), в соответствии с которым дисперсии оценок по методу максимального правдоподобия тех же параметров имеют порядок получаем, что эффективность в сравнении с эффективностью и стремится к нулю при

Реализация метода моментов в примере 8.6 дает