Математическая статистика в схемах занимательная. Основные понятия математической статистики. Предмет и методы

Введение

2. Основные понятия математической статистики

2.1 Основные понятия выборочного метода

2.2 Выборочное распределение

2.3 Эмпирическая функция распределения, гистограмма

Заключение

Список литературы

Введение

Математическая статистика - наука о математических методах систематизации и использования статистических данных для научных и практических выводов. Во многих своих разделах математическая статистика опирается на теорию вероятностей, позволяющую оценить надежность и точность выводов, делаемых на основании ограниченного статистического материала (напр., оценить необходимый объем выборки для получения результатов требуемой точности при выборочном обследовании).

В теории вероятностей рассматриваются случайные величины с заданным распределением или случайные эксперименты, свойства которых целиком известны. Предмет теории вероятностей - свойства и взаимосвязи этих величин (распределений).

Но часто эксперимент представляет собой черный ящик, выдающий лишь некие результаты, по которым требуется сделать вывод о свойствах самого эксперимента. Наблюдатель имеет набор числовых (или их можно сделать числовыми) результатов, полученных повторением одного и того же случайного эксперимента в одинаковых условиях.

При этом возникают, например, следующие вопросы: Если мы наблюдаем одну случайную величину - как по набору ее значений в нескольких опытах сделать как можно более точный вывод о ее распределении?

Примером такой серии экспериментов может служить социологический опрос, набор экономических показателей или, наконец, последовательность гербов и решек при тысячекратном подбрасывании монеты.

Все вышеприведенные факторы обуславливают актуальность и значимость тематики работы на современном этапе, направленной на глубокое и всестороннее изучение основных понятий математической статистики.

В связи с этим целью данной работы является систематизация, накопление и закрепление знаний о понятиях математической статистики.

1. Предмет и методы математической статистики

Математическая статистика - наука о математических методах анализа данных, полученных при проведении массовых наблюдений (измерений, опытов). В зависимости от математической природы конкретных результатов наблюдений статистика математическая делится на статистику чисел, многомерный статистический анализ, анализ функций (процессов) и временных рядов, статистику объектов нечисловой природы. Существенная часть статистики математической основана на вероятностных моделях. Выделяют общие задачи описания данных, оценивания и проверки гипотез. Рассматривают и более частные задачи, связанные с проведением выборочных обследований, восстановлением зависимостей, построением и использованием классификаций (типологий) и др.

Для описания данных строят таблицы, диаграммы, иные наглядные представления, например, корреляционные поля. Вероятностные модели обычно не применяются. Некоторые методы описания данных опираются на продвинутую теорию и возможности современных компьютеров. К ним относятся, в частности, кластер-анализ, нацеленный на выделение групп объектов, похожих друг на друга, и многомерное шкалирование, позволяющее наглядно представить объекты на плоскости, в наименьшей степени исказив расстояния между ними.

Методы оценивания и проверки гипотез опираются на вероятностные модели порождения данных. Эти модели делятся на параметрические и непараметрические. В параметрических моделях предполагается, что изучаемые объекты описываются функциями распределения, зависящими от небольшого числа (1-4) числовых параметров. В непараметрических моделях функции распределения предполагаются произвольными непрерывными. В статистике математической оценивают параметры и характеристики распределения (математическое ожидание, медиану, дисперсию, квантили и др.), плотности и функции распределения, зависимости между переменными (на основе линейных и непараметрических коэффициентов корреляции, а также параметрических или непараметрических оценок функций, выражающих зависимости) и др. Используют точечные и интервальные (дающие границы для истинных значений) оценки.

В математической статистике есть общая теория проверки гипотез и большое число методов, посвященных проверке конкретных гипотез. Рассматривают гипотезы о значениях параметров и характеристик, о проверке однородности (то есть о совпадении характеристик или функций распределения в двух выборках), о согласии эмпирической функции распределения с заданной функцией распределения или с параметрическим семейством таких функций, о симметрии распределения и др.

Большое значение имеет раздел математической статистики, связанный с проведением выборочных обследований, со свойствами различных схем организации выборок и построением адекватных методов оценивания и проверки гипотез.

Задачи восстановления зависимостей активно изучаются более 200 лет, с момента разработки К. Гауссом в 1794 г. метода наименьших квадратов. В настоящее время наиболее актуальны методы поиска информативного подмножества переменных и непараметрические методы.

Разработка методов аппроксимации данных и сокращения размерности описания была начата более 100 лет назад, когда К. Пирсон создал метод главных компонент. Позднее были разработаны факторный анализ и многочисленные нелинейные обобщения.

Различные методы построения (кластер-анализ), анализа и использования (дискриминантный анализ) классификаций (типологий) именуют также методами распознавания образов (с учителем и без), автоматической классификации и др.

Математические методы в статистике основаны либо на использовании сумм (на основе Центральной Предельной Теоремы теории вероятностей) или показателей различия (расстояний, метрик), как в статистике объектов нечисловой природы. Строго обоснованы обычно лишь асимптотические результаты. В настоящее время компьютеры играют большую роль в математической статистике. Они используются как для расчетов, так и для имитационного моделирования (в частности, в методах размножения выборок и при изучении пригодности асимптотических результатов).

Основные понятия математической статистики

2.1 Основные понятия выборочного метода

Пусть - случайная величина, наблюдаемая в случайном эксперименте. Предполагается, что вероятностное пространство задано (и не будет нас интересовать).

Будем считать, что, проведя раз этот эксперимент в одинаковых условиях, мы получили числа , , , - значения этой случайной величины в первом, втором, и т.д. экспериментах. Случайная величина имеет некоторое распределение , которое нам частично или полностью неизвестно.

Рассмотрим подробнее набор , называемый выборкой .

В серии уже произведенных экспериментов выборка - это набор чисел. Но если эту серию экспериментов повторить еще раз, то вместо этого набора мы получим новый набор чисел. Вместо числа появится другое число - одно из значений случайной величины . То есть (и , и , и т.д.) - переменная величина, которая может принимать те же значения, что и случайная величина , и так же часто (с теми же вероятностями). Поэтому до опыта - случайная величина, одинаково распределенная с , а после опыта - число, которое мы наблюдаем в данном первом эксперименте, т.е. одно из возможных значений случайной величины .

Выборка объема - это набор из независимых и одинаково распределенных случайных величин («копий »), имеющих, как и , распределение .

Что значит «по выборке сделать вывод о распределении»? Распределение характеризуется функцией распределения, плотностью или таблицей, набором числовых характеристик - , , и т.д. По выборке нужно уметь строить приближения для всех этих характеристик.

.2 Выборочное распределение

Рассмотрим реализацию выборки на одном элементарном исходе - набор чисел , , . На подходящем вероятностном пространстве введем случайную величину , принимающую значения , , с вероятностями по (если какие-то из значений совпали, сложим вероятности соответствующее число раз). Таблица распределения вероятностей и функция распределения случайной величины выглядят так:

Распределение величины называют эмпирическим или выборочным распределением. Вычислим математическое ожидание и дисперсию величины и введем обозначения для этих величин:

Точно так же вычислим и момент порядка

В общем случае обозначим через величину

Если при построении всех введенных нами характеристик считать выборку , , набором случайных величин, то и сами эти характеристики - , , , , - станут величинами случайными. Эти характеристики выборочного распределения используют для оценки (приближения) соответствующих неизвестных характеристик истинного распределения.

Причина использования характеристик распределения для оценки характеристик истинного распределения (или ) - в близости этих распределений при больших .

Рассмотрим, для примера, подбрасываний правильного кубика. Пусть - количество очков, выпавших при -м броске, . Предположим, что единица в выборке встретится раз, двойка - раз и т.д. Тогда случайная величина будет принимать значения 1 , , 6 с вероятностями , , соответственно. Но эти пропорции с ростом приближаются к согласно закону больших чисел. То есть распределение величины в некотором смысле сближается с истинным распределением числа очков, выпадающих при подбрасывании правильного кубика.

Мы не станем уточнять, что имеется в виду под близостью выборочного и истинного распределений. В следующих параграфах мы подробнее познакомимся с каждой из введенных выше характеристик и исследуем ее свойства, в том числе ее поведение с ростом объема выборки.

.3 Эмпирическая функция распределения, гистограмма

Поскольку неизвестное распределение можно описать, например, его функцией распределения , построим по выборке «оценку» для этой функции.

Определение 1.

Эмпирической функцией распределения, построенной по выборке объема , называется случайная функция , при каждом равная

Напоминание: Случайная функция

называется индикатором события . При каждом это - случайная величина, имеющая распределение Бернулли с параметром . почему?

Иначе говоря, при любом значение , равное истинной вероятности случайной величине быть меньше , оценивается долей элементов выборки, меньших .

Если элементы выборки , , упорядочить по возрастанию (на каждом элементарном исходе), получится новый набор случайных величин, называемый вариационным рядом :

Элемент , , называется -м членом вариационного ряда или -й порядковой статистикой .

Пример 1.

Выборка:

Вариационный ряд:

Рис. 1. Пример 1

Эмпирическая функция распределения имеет скачки в точках выборки, величина скачка в точке равна , где - количество элементов выборки, совпадающих с .

Можно построить эмпирическую функцию распределения по вариационному ряду:

Другой характеристикой распределения является таблица (для дискретных распределений) или плотность (для абсолютно непрерывных). Эмпирическим, или выборочным аналогом таблицы или плотности является так называемая гистограмма .

Гистограмма строится по группированным данным. Предполагаемую область значений случайной величины (или область выборочных данных) делят независимо от выборки на некоторое количество интервалов (не обязательно одинаковых). Пусть , , - интервалы на прямой, называемые интервалами группировки . Обозначим для через число элементов выборки, попавших в интервал :

(1)

На каждом из интервалов строят прямоугольник, площадь которого пропорциональна . Общая площадь всех прямоугольников должна равняться единице. Пусть - длина интервала . Высота прямоугольника над равна

Полученная фигура называется гистограммой.

Пример 2.

Имеется вариационный ряд (см. пример 1):

Здесь - десятичный логарифм, поэтому , т.е. при увеличении выборки вдвое число интервалов группировки увеличивается на 1. Заметим, что чем больше интервалов группировки, тем лучше. Но, если брать число интервалов, скажем, порядка , то с ростом гистограмма не будет приближаться к плотности.

Справедливо следующее утверждение:

Если плотность распределения элементов выборки является непрерывной функцией, то при так, что , имеет место поточечная сходимость по вероятности гистограммы к плотности.

Так что выбор логарифма разумен, но не является единственно возможным.

Заключение

Математическая (или теоретическая) статистика опирается на методы и понятия теории вероятностей, но решает в каком-то смысле обратные задачи.

Если мы наблюдаем одновременно проявление двух (или более) признаков, т.е. имеем набор значений нескольких случайных величин - что можно сказать об их зависимости? Есть она или нет? А если есть, то какова эта зависимость?

Часто бывает возможно высказать некие предположения о распределении, спрятанном в «черном ящике», или о его свойствах. В этом случае по опытным данным требуется подтвердить или опровергнуть эти предположения («гипотезы»). При этом надо помнить, что ответ «да» или «нет» может быть дан лишь с определенной степенью достоверности, и чем дольше мы можем продолжать эксперимент, тем точнее могут быть выводы. Наиболее благоприятной для исследования оказывается ситуация, когда можно уверенно утверждать о некоторых свойствах наблюдаемого эксперимента - например, о наличии функциональной зависимости между наблюдаемыми величинами, о нормальности распределения, о его симметричности, о наличии у распределения плотности или о его дискретном характере, и т.д.

Итак, о (математической) статистике имеет смысл вспоминать, если

· имеется случайный эксперимент, свойства которого частично или полностью неизвестны,

· мы умеем воспроизводить этот эксперимент в одних и тех же условиях некоторое (а лучше - какое угодно) число раз.

Список литературы

1. Баумоль У. Экономическая теория и исследование операций. – М.; Наука, 1999.

2. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. М.: Наука, 1995.

3. Боровков А.А. Математическая статистика. М.: Наука, 1994.

4. Корн Г., Корн Т. Справочник по математике для научных работников и инженеров. - СПБ: Издательство «Лань», 2003.

5. Коршунов Д.А., Чернова Н.И. Сборник задач и упражнений по математической статистике. Новосибирск: Изд-во Института математики им. С.Л.Соболева СО РАН, 2001.

6. Пехелецкий И.Д. Математика: учебник для студентов. - М.: Академия, 2003.

7. Суходольский В.Г. Лекции по высшей математике для гуманитариев. - СПБ Издательство Санкт-петербургского государственного университета. 2003

8. Феллер В. Введение в теорию вероятностей и ее приложения. - М.: Мир, Т.2, 1984.

9. Харман Г., Современный факторный анализ. - М.: Статистика, 1972.

Харман Г., Современный факторный анализ. - М.: Статистика, 1972.

Методы математической статистики

1. Введение

Математической статистикой называется наука, занимающаяся разработкой методов получения, описания и обработки опытных данных с целью изучения закономерностей случайных массовых явлений.

В математической статистике можно выделить два направления: описательную статистику и индуктивную статистику (статистический вывод). Описательная статистика занимается накоплением, систематизацией и представлением опытных данных в удобной форме. Индуктивная статистика на основе этих данных позволяет сделать определенные выводы относительно объектов, о которых собраны данные, или оценки их параметров.

Типичными направлениями математической статистики являются:

1) теория выборок;

2) теория оценок;

3) проверка статистических гипотез;

4) регрессионный анализ;

5) дисперсионный анализ.

В основе математической статистики лежит ряд исходных понятий без которых невозможно изучение современных методов обработки опытных данных. В ряд первых из них можно поставить понятие генеральной совокупности и выборки.

При массовом промышленном производстве часто нужно без проверки каждого выпускаемого изделия установить, соответствует ли качество продукции стандартам. Так как количество выпускаемой продукции очень велико или проверка продукции связана с приведением ее в негодность, то проверяется небольшое количество изделий. На основе этой проверки нужно дать заключение о всей серии изделий. Конечно нельзя утверждать, что все транзисторы из партии в 1 млн. штук годны или негодны, проверив один из них. С другой стороны, поскольку процесс отбора образцов для испытаний и сами испытания могут оказаться длительными по времени и привести к большим затратам, то объем проверки изделий должен быть таким, чтобы он смог дать достоверное представление о всей партии изделий, будучи минимальных размеров. С этой целью введем ряд понятий.

Вся совокупность изучаемых объектов или экспериментальных данных называется генеральной совокупностью. Будем обозначать через N число объектов или количество данных, составляющих генеральную совокупность. Величину N называют объемом генеральной совокупности. Если N>>1, то есть N очень велико, то обычно считают N = ¥.

Случайной выборкой или просто выборкой называют часть генеральной совокупности, наугад отобранную из нее. Слово "наугад" означает, что вероятности выбора любого объекта из генеральной совокупности одинакова. Это важное предположение, однако, часто трудно это проверить на практике.

Объемом выборки называют число объектов или количество данных, составляющих выборку, и обозначают n . В дальнейшем будем считать, что элементам выборки можно приписать соответственно числовые значения х 1 , х 2 , ... х n . Например, в процессе контроля качества производимых биполярных транзисторов это могут быть измерения их коэффициента усиления по постоянному току.

2. Числовые характеристики выборки

2.1 Выборочное среднее

Для конкретной выборки объема n ее выборочное среднее

определяется соотношением

где х i – значение элементов выборки. Обычно требуется описать статистические свойства произвольных случайных выборок, а не одной из них. Это значит, что рассматривается математическая модель, которая предполагает достаточно большое количество выборок объема n. В этом случае элементы выборки рассматриваются как случайные величины Х i , принимающие значения х i с плотностью вероятностей f(x), являющейся плотностью вероятностей генеральной совокупности. Тогда выборочное среднее также является случайной величиной

равной

Как и ранее будем обозначать случайные величины прописными буквами, а значения случайных величин – строчными.

Среднее значение генеральной совокупности, из которой производится выборка, будем называть генеральным средним и обозначать m x . Можно ожидать, что если объем выборки значителен, то выборочное среднее не будет заметно отличаться от генерального среднего. Поскольку выборочное среднее является случайной величиной, для нее можно найти математическое ожидание:

Таким образом, математическое ожидание выборочного среднего равно генеральному среднему. В этом случае говорят, что выборочное среднее является несмещенной оценкой генерального среднего. В дальнейшем мы вернемся к этому термину. Так как выборочное среднее является случайной величиной, флуктуирующей вокруг генерального среднего, то желательно оценить эту флуктуацию с помощью дисперсии выборочного среднего. Рассмотрим выборку, объем которой n значительно меньше объема генеральной совокупности N (n << N). Предположим, что при формировании выборки характеристики генеральной совокупности не меняются, что эквивалентно предположению N = ¥. Тогда

Случайные величины Х i и X j (i¹j) можно считать независимыми, следовательно,

Подставим полученный результат в формулу для дисперсии:

где s 2 – дисперсия генеральной совокупности.

Из этой формулы следует, что с увеличением объема выборки флуктуации среднего выборочного около среднего генерального уменьшаются как s 2 /n. Проиллюстрируем сказанное примером. Пусть имеется случайный сигнал с математическим ожиданием и дисперсией соответственно равными m x = 10, s 2 = 9.

Отсчеты сигнала берутся в равноотстоящие моменты времени t 1 , t 2 , ... ,

X(t)
X 1

t 1 t 2 . . . t n t

Так как отсчеты являются случайными величинами, то будем их обозначать X(t 1), X(t 2), . . . , X(t n).

Определим количество отсчетов, чтобы среднее квадратическое отклонение оценки математического ожидания сигнала не превысило 1% его математического ожидания. Поскольку m x = 10, то нужно, чтобы

С другой стороны поэтому или Отсюда получаем, что n ³ 900 отсчетов.

2.2 Выборочная дисперсия

По выборочным данным важно знать не только выборочное среднее, но и разброс выборочных значений около выборочного среднего. Если выборочное среднее является оценкой генерального среднего, то выборочная дисперсия должна быть оценкой генеральной дисперсии. Выборочная дисперсия

для выборки, состоящей из случайных величин определяется следующим образом

Используя это представление выборочной дисперсии, найдем ее математическое ожидание

2-е изд., испр. - М.: 2009.- 472 с.

Основы теории вероятностей и математической статистики излагаются в форме примеров и задач с решениями. Книга также знакомит читателя с прикладными статистическими методами. Для понимания материала достаточно знания начал математического анализа. Включено большое количество рисунков, контрольных вопросов и числовых примеров. Для студентов, изучающих математическую статистику, исследователей и практиков (экономистов, социологов, биологов), применяющих статистические методы.

Формат: pdf

Размер: 10,7 Мб

Смотреть, скачать: drive.google

ОГЛАВЛЕНИЕ
Предисловие 3
К читателю 5
Часть I. Вероятность и статистическое моделирование 7
Глава 1. Характеристики случайных величин 7
§ 1. Функции распределения и плотности 7
§ 2. Математическое ожидание и дисперсия 10
§ 3. Независимость случайных величин 12
§ 4. Поиск больных 13
Задачи 14
Решения задач 15
Ответы на вопросы 18
Глава 2. Датчики случайных чисел 19
§ 1. Физические датчики 19
§ 2. Таблицы случайных чисел 20
§ 3. Математические датчики 21
§ 4. Случайность и сложность 22
§ 5. Эксперимент «Неудачи» 24
§6. Теоремы существования и компьютер 26
Задачи 26
Решения задач 27
Ответы на вопросы 29
Глава 3. Метод Монте-Карло 30
§ 1. Вычисление интегралов 30
§ 2. «Правило трех сигм» 31
§ 3. Кратные интегралы 32
§ 4. Шар, вписанный в fc-мерный куб 35
§ 5. Равномерность по Вейлю 36
§ 6. Парадокс первой цифры 37
Задачи 38
Решения задач 39
Ответы на вопросы 41
Глава 4. Показательные и нормальные датчики 42
§ 1. Метод обратной функции 42
§ 2. Распределения экстремальных значений 43
§ 3. Показательный датчик без логарифмов 45
§ 4. Быстрый показательный датчик 46
§ 5. Нормальные случайные числа 50
§ 6. Наилучший выбор 52
Задачи 54
Решения задач 54
Ответы на вопросы 57
Глава 5. Дискретные и непрерывные датчики 58
§ 1. Моделирование дискретных величин 58
§ 2. Порядковые статистики и смеси 60
§ 3. Метод Неймана (метод исключения) 64
§ 4. Пример из теории игр 66
Задачи 67
Решения задач 68
Ответы на вопросы 69
Часть II. Оценивание параметров 71
Глава 6. Сравнение оценок 72
§ 1. Статистическая модель 72
§ 2. Несмещенность и состоятельность 73
§ 3. Функции риска 76
§ 4. Минимаксная оценка в схеме Бернулли 78
Задачи 79
Решения задач 80
Ответы на вопросы 83
Глава 7. Асимптотическая нормальность 84
§ 1. Распределение Коши 84
§ 2. Выборочная медиана 86
§ 3. Выборочные квантили 87
§ 4. Относительная эффективность 89
§ 5. Устойчивые законы 91
Задачи 93
Решения задач 94
Ответы на вопросы 98
Глава 8. Симметричные распределения 99
§ 1. Классификация методов статистики 99
§ 2. Усеченное среднее 100
§ 3. Медиана средних Уолша 102
§ 4. Робастность 103
Задачи 106
Решения задач 106
Ответы на вопросы 109
Глава 9. Методы получения оценок ПО
§ 1. Вероятностная бумага 110
§ 2. Метод моментов 112
§ 3. Информационное неравенство 114
§ 4. Метод максимального правдоподобия 116
§ 5. Метод Ньютона и одношаговые оценки 119
§ 6. Метод спейсингов 122
Задачи 123
Решения задач 124
Ответы на вопросы 127
Глава 10. Достаточность 129
§ 1. Достаточные статистики 129
§ 2. Критерий факторизации 130
§ 3. Экспоненциальное семейство 132
§ 4. Улучшение несмещенных оценок 133
§ 5. Шарики в ящиках 134
Задачи 140
Решения задач 141
Ответы на вопросы 144
Глава 11. Доверительные интервалы 145
§ 1. Коэффициент доверия 145
§ 2. Интервалы в нормальной модели 146
§ 3. Методы построения интервалов 151
Задачи 155
Решения задач 156
Ответы на вопросы 158
Часть III. Проверка гипотез 159
Глава 12. Критерии согласия 160
§ 1. Статистический критерий 160
§ 2. Проверка равномерности 161
§ 3. Проверка показательности 164
§ 4. Проверка нормальности 167
§ 5. Энтропия 170
Задачи 175
Решения задач 175
Ответы на вопросы 178
Глава 13. Альтернативы 180
§ 1. Ошибки I и II рода 180
§ 2. Оптимальный критерий Неймана-Пирсона 183
§ 3. Последовательный анализ 187
§ 4. Разорение игрока 190
§ 5. Оптимальная остановка блуждания 193
Задачи 195
Решения задач 195
Ответы на вопросы 197
Часть IV. Однородность выборок 199
Глава 14. Две независимые выборки 200
§ 1. Альтернативы однородности 200
§ 2. Правильный выбор модели 201
§ 3. Критерий Смирнова 202
§ 4. Критерий Розенблатта 203
§ 5. Критерий ранговых сумм Уилкоксона 204
§ 6. Принцип отражения 209
Задачи 214
Решения задач 215
Ответы на вопросы 217
Глава 15. Парные повторные наблюдения 219
§ 1. Уточнение модели 219
§ 2. Критерий знаков 220
§ 3. Критерий знаковых рангов Уилкоксона 222
§ 4. Зависимые наблюдения 227
§ 5. Критерий серий 229
Задачи 231
Решения задач 232
Ответы на вопросы 236
Глава 16. Несколько независимых выборок 237
§ 1. Однофакторная модель 237
§ 2. Критерий Краскела-Уоллиса 237
§ 3. Критерий Джонкхиера 245
§ 4. Блуждание на плоскости и в пространстве 248
Задачи 253
Решения задач 254
Ответы на вопросы 257
Глава 17. Многократные наблюдения 259
§ 1. Двухфакторная модель 259
§ 2. Критерий Фридмана 260
§ 3. Критерий Пейджа 263
§ 4. Счастливый билетик и возвращение блуждания 265
Задачи 269
Решения задач 270
Ответы на вопросы 271
Глава 18. Сгруппированные данные 273
§ 1. Простая гипотеза 273
§ 2. Сложная гипотеза 276
§ 3. Проверка однородности 280
Задачи 282
Решения задач 282
Ответы на вопросы 286
Часть V. Анализ многомерных данных 287
Глава 19. Классификация 288
§ 1. Нормировка, расстояния и классы 289
§ 2. Эвристические методы 291
§ 3. Иерархические процедуры 294
§ 4. Быстрые алгоритмы 297
§ 5. Функционалы качества разбиения 299
§ 6. Неизвестное число классов 307
§ 7. Сравнение методов 309
§ 8. Представление результатов 311
§ 9. Поиск в глубину 311
Задачи 313
Решения задач 313
Ответы на вопросы 315
Глава 20. Корреляция 317
§ 1. Геометрия главных компонент 317
§ 2. Эллипсоид рассеяния 322
§ 3. Вычисление главных компонент 324
§ 4. Линейное шкалирование 326
§ 5. Шкалирование индивидуальных различий 332
§ 6. Нелинейные методы понижения размерности 337
§ 7. Ранговая корреляция 343
§ 8. Множественная и частная корреляции 347
§ 9. Таблицы сопряженности 350
Задачи 352
Решения задач 353
Ответы на вопросы 356
Глава 21. Регрессия 357
§ 1. Подгонка прямой 357
§ 2. Линейная регрессионная модель 360
§ 3. Статистические свойства МНК-оценок 363
§ 4. Общая линейная гипотеза 368
§ 5. Взвешенный МНК 372
§ 6. Парадоксы регрессии 376
Задачи 382
Решения задач 383
Ответы на вопросы 386
Часть VI. Обобщения и дополнения 387
Глава 22. Ядерное сглаживание 388
§ 1. Оценивание плотности 388
§ 2. Непараметрическая регрессия 392
Глава 23. Многомерные модели сдвига 399
§ 1. Стратегия построения критериев 399
§ 2. Одновыборочная модель 399
§ 3. Двухвыборочная модель 406
Глава 24. Двухвыборочная задача о масштабе 411
§ 1. Медианы известны или равны 411
§ 2. Медианы неизвестны и неравны 414
Глава 25. Классы оценок 417
§ 1. L-оценки 417
§ 2. М-оценки 419
§ 3. Д-оценки 423
§ 4. Функция влияния 426
Глава 26. Броуновский мост 428
§ 1. Броуновское движение 428
§ 2. Эмпирический процесс 429
§ 3. Дифференцируемые функционалы 430
Приложение. Некоторые сведения из теории вероятностей и линейной алгебры 435
Раздел 1. Аксиоматика теории вероятностей 435
Раздел 2. Математическое ожидание и дисперсия 435
Раздел 3. Формула свертки 437
Раздел 4. Вероятностные неравенства 437
Раздел 5. Сходимость случайных величин и векторов 438
Раздел 6. Предельные теоремы 439
Раздел 7. Условное математическое ожидание 440
Раздел 8. Преобразование плотности случайного вектора. . 441
Раздел 9. Характеристические функции и многомерное нормальное распределение 442
Раздел 10. Элементы матричного исчисления 444
Таблицы 449
Литература 456
Обозначения и сокращения 460
Предметный указатель 462

Перед Вами, уважаемый читатель, итог размышлений автора о содержании начального курса математической статистики. Настоящая книга -это, в первую очередь, множество занимательных примеров и задач, собранных из различных источников. Задачи предназначены для активного освоения понятий и развития у читателя навыков квалифицированной статистической обработки данных. Для их решения достаточно знания элементов математического анализа и теории вероятностей (краткие сведения по теории вероятностей и линейной алгебре даны в приложении).
Акцент делается на наглядном представлении материала и его неформальном пояснении. Теоремы, как правило, приводятся без доказательств (со ссылкой на источники, где их можно найти). Наша цель -и осветить практически наиболее важные идеи математической статистики, и познакомить читателя с прикладными методами.
Первая часть книги (гл. 1-5) может служить введением в теорию вероятностей. Особенностью этой части является подход к освоению понятий теории вероятностей через решение ряда задач, относящихся к области статистического моделирования (имитации случайности на компьютере). Ее материал, в основном, доступен школьникам старших классов и студентам 1-го курса.
Вторая и третья части (гл. 6-13) посвящены, соответственно, оценкам параметров статистических моделей и проверке гипотез. Они могут быть особенно полезны студентам при подготовке к экзамену по математической статистике.
Четвертая и пятая части (гл. 14-21) предназначаются, в первую очередь, лицам, желающим применить статистические методы для анализа экспериментальных данных.
Наконец, шестая часть (гл. 22-26) включает в себя ряд более специальных тем, обобщающих и дополняющих содержание предыдущих глав.
Собранный в книге материал неоднократно использовался на занятиях по математической статистике на механико-математическом факультете МГУ им. М. В. Ломоносова.
Автор будет считать свой труд небесполезным, если, перелистав книгу, читатель не потеряет к ней интереса, а захочет ознакомиться
с теорией и приложениями статистики как по этому, так и по другим учебникам.
При работе над книгой образцом для автора была популярная серия книг для школьников Я. И. Перельмана. Хотелось, по возможности, использовать живую форму изложения и стиль, характерный для этой серии.

Математическая статистика является одним из основных разделов такой науки, как математика, и представляет собой отрасль, изучающую методы и правила обработки определенных данных. Иными словами, она исследует способы раскрытия закономерностей, которые свойственны большим совокупностям одинаковых объектов, основываясь на их выборочном обследовании.

Задача данного раздела состоит в построении методов оценки вероятности или принятии определенного решения о характере развивающихся событий, опираясь на полученные результаты. Для описания данных используются таблицы, диаграммы, а также корреляционные поля. применяются редко.

Математическая статистика используются в различных областях науки. К примеру, для экономики важно обрабатывать сведения об однородных совокупностях явлений и объектов. Ими могут являться изделия, выпускаемые промышленностью, персонал, данные о прибыли и т. д. В зависимости от математической природы результатов наблюдений, можно выделить статистику чисел, анализ функций и объектов нечисловой природы, многомерный анализ. Помимо этого, рассматривают общие и частные (связанные с восстановлением зависимостей, использованием классификаций, выборочными исследованиями) задачи.

Авторы некоторых учебников считают, что теория математической статистики является лишь разделом теории вероятности, другие - что это самостоятельная наука, имеющая собственные цели, задачи и методы. Однако в любом случае ее использование очень обширно.

Так, наиболее ярко математическая статистика применима в психологии. Ее использование позволит специалисту правильно обосновать найти зависимость между данными, обобщить их, избежать многих логических ошибок и многое другое. Нужно отметить, что измерить тот или иной психологический феномен или свойство личности без вычислительных процедур часто просто невозможно. Это говорит о том, что азы данной науки необходимы. Иными словами, ее можно назвать источником и базой теории вероятностей.

Метод исследования, который опирается на рассмотрение статистических данных, используется и в других областях. Однако сразу необходимо отметить, что его черты в применении к объектам, имеющим различную природу происхождения, всегда своеобразны. Поэтому объединять в одну науку физическую или не имеет смысла. Общие же черты данного метода сводятся к подсчету определенного числа объектов, которые входят в ту или иную группу, а также изучению распределения количественных признаков и применению теории вероятностей для получения тех или иных выводов.

Элементы математической статистики используются в таких областях, как физика, астрономия и т. д. Здесь могут рассматриваться значения характеристик и параметров, гипотезы о совпадении каких-либо характеристик в двух выборках, о симметрии распределения и многое другое.

Большую роль математическая статистика играет в проведении Их целью чаще всего является построение адекватных методов оценивания и проверка гипотез. В настоящее время огромное значение в данной науке имеют компьютерные технологии. Они позволяют не только значительно упростить процесс расчета, но и создать для размножения выборок или при изучении пригодности полученных результатов на практике.

В общем случае методы математической статистики помогают сделать два вывода: или принять искомое суждение о характере или свойствах изучаемых данных и их взаимосвязей, или доказать, что полученных результатов недостаточно для того, чтобы делать выводы.

1. Математическая статистика. Введение

Математическая статистика - это такая дисциплина, которая применяется во всех областях научного знания.

Статистические методы предназначены для понимания "численной природы" действительности (Nisbett, et al., 1987).

Определение понятия

Математическая статистика - это раздел математики, посвященный методам анализа данных, преимущественно вероятностной природы. Она занимается систематизацией, обработкой и использованием статистических данных для теоретических и практ ических выводов.

Статистическими данными называются сведения о числе объектов в какой-либо более или менее обширной совокупности, обладающих теми или иными признаками. Здесь важно понять, что статистика имеет дело именно с количеством объектов, а не с их описательными признаками.

Цель статистического анализа - исследование свойств случайной величины. Для этого приходится несколько раз измерять значения изучаемой случайной величины. Полученная группа значений рассматривается как выборка из гипотетической генеральной совокупности .

Производится статистическая обработка выборки, и после этого принимается решение. Важно заметить, что вследствие начального условия неопределённости притятое решение всегда носит характер "нечёткого высказывания". Иными словами, в статистической обработке приходится иметь дело с вероятностями, а не с точными утверждениями.

Главное в статистическом методе - это подсчёт числа объектов, входящих в различные группы. Объекты собираются в группу по какому-то определённому общему признаку, а затем рассмотривается распределение этих объектов в группе по количественному выражению данного признака. В статистике часто применяется выборочный метод анализа, т.е. анализируется не вся группа объектов, а небольшая выборка - несколько объектов, взятых из большой группы. Широко используется теория вероятностей при статистической оценке наблюдений и при формировании выводов.

Основным предметом математической статистики является вычисление статистик (да простит нас читатель за тавтологию), являющихся критериями для оценки достоверности априорных предположений, гипотез или выводов по существу эмпирических данных.

Другое определение - “Статистики – это предписания, по которым из выборки рассчитывается некоторое число – значение статистики для данной выборки” [Закс, 1976]. Выборочные среднее и дисперсия, отношение дисперсий двух выборок или любые другие функции от выборки могут рассматриваться как статистики .

Вычисление "статистик" - это представление "одним числом" сложного стохастического (вероятностного) процесса.

Распределение Стьюдента

Статистики также являются случайными переменными. Распределения статистик (тест-распределения) лежат в основе критериев, которые построены на этой статистике. Например, В. Госсет, работая на пивоварне Гиннеса и публикуясь под псевдонимом “Стьюдент”, в 1908 г. доказал очень полезные свойства распределения отношения разности между выборочным средним и средним значением генеральной совокупности () к стандартной ошибке среднего значения генеральной совокупности , или t –статистики (распределение Стьюдента ):

. (5.7)

Распределение Стьюдента по форме при некоторых условиях приближается к нормальному .

Другими двумя важными распределениями выборочных статистик является c 2 -распределение и F -распределение , широко используемые в ряде разделов статистики для проверки статистических гипотез.

Итак, предмет математической статистики составляет формальная количественная сторона исследуемых объектов, безразличная к специфической природе самих изучаемых объектов.

По этой причине в приводимых здесь примерах речь идёт о группах данных, о числах, а не о конкретных измеряемых вещах. И поэтому по образцам расчётов, данных здесь, вы можете рассчитывать свои данные, полученные на самых разных объектах.

Главное - подобрать подходящий для ваших данных метод статистической обработки .

В зависимости от конкретных результатов наблюдений математическая статистика делится на несколько разделов.

Разделы математической статистики

Статистика чисел.

Многомерный статистический анализ.

Анализ функций (процессов) и временных рядов.

Статистика объектов нечисловой природы.

В современной науке считается, что любая область исследований не может быть настоящей наукой до тех пор, пока в неё не проникнет математика. В этом смысле математическая статистика является полномочным представителем математики в любой другой науке и обеспечивает научный подход к исследованиям. Можно сказать, что научный подход начинается там, где в исследовании появляется математическая статистика. Вот почему математическая статистика так важна для любого современного исследователя.

Хотите быть настоящим современным исследователем - изучайте и применяйте в своей работе математическую статистику!

Статистика с необходимостью появляется там, где происходит переход от единичного наблюдения к множественному. Если у вас имеется множество наблюдений, замеров и данных - то без математической статистики вам не обойтись.

Математическую статистику подразделяют на теоретическую и прикладную.

Теоретическая статистика доказывает научность и правильность самой статистики.

Теоретическая математи ческая статистика - наука, изучающая методы раскрытия закономерностей, свойственных большим совокупностям однородных объектов, на основании их выборочного обследования.

Этим разделом статистики занимаются математики, и они любят с помощь своих теоретических математических доказательств убеждать нас в том, что статистика сама по себе научна и ей можно доверять. Беда в том, что эти доказательства способны понять только другие математики, а обычным людям, которым нужно пользоваться математической статистикой эти доказательства всё равно не доступны, да и совершенно не нужны!

Вывод: Если вы не математик, то не тратьте зря свои силы на понимание теоретических выкладок по поводу математической статистики. Изучайте собственно статистические методы, а не их математические обоснования.

Прикладная статистика учит пользователей работать с любыми данными и получать обобщённые результаты. Неважно, какие именно это данные, важно, какое количество этих данных находится в вашем распоряжении. Кроме того, прикладная статистика подскажет нам, насколько можно верить в то, что полученные результаты отражают действительное положение дел.

Для разных дисциплин в прикладной статистике используют различные наборы конкретных методов. Поэтому различают следующие разделы прикладной статистики: биологическая, психологическая, экономическая и другие. Они отличаются друг от друга комплектацией примеров и приемов, а также излюбленными методами вычислений.

Можно привести следующий пример различий между применением прикладной статистики для разных дисциплин. Так, статистическое изучение режима турбулентных водных потоков производится на основе теории стационарных случайных процессов. Однако применение той же теории к анализу экономических временных рядов может привести к грубым ошибкам ввиду того, что допущение того, что распределение вероятностей сохраняется неизменным в этом случае, как правило, совершенно неприемлемо. Следовательно, для этих разных дисциплин потребуются разные статистические методы.

Итак, математическую статистику должен применять в своих исследованиях любой современный учёный. Даже тот учёный, который работает в направлениях, которые весьма далеки от математики. И он должен уметь применять прикладную статискику к своим данным, даже не зная её.

© Сазонов В.Ф., 2009.