Эффективная оценка. Статистическое оценивание. Сравнение оценок и эффективность

24.06.2019 Работающим пенсионерам

Для того, чтобы статистические оценки давали хорошее приближение оцениваемых параметров, они должны быть несмещенные, эффективные и состоятельные.

Несмещенной называется статистическая оценка параметра, математическое ожидание которой равно оцениваемому параметру при любом объеме выборки.

Смещенной называется статистическая оценка
параметра, математическое ожидание которой не равно оцениваемому параметру.

Эффективной называется статистическая оценка
параметра, которая при заданном объеме выборкиимеет наименьшую дисперсию.

Состоятельной называется статистическая оценка
параметра, которая при
стремится по вероятности к оцениваемому параметру.

т.е.для любого

.

Для выборок различного объема получаются различные значения среднего арифметического и статистической дисперсии. Поэтому среднее арифметическое и статистическая дисперсия являются случайными величинами, для которых существуют математическое ожидание и дисперсия.

Вычислим математическое ожидание среднего арифметического и дисперсии. Обозначим через математическое ожидание случайной величины

Здесь в качестве случайных величин рассматриваются: – С.В., значения которой равны первым значениям, полученным для различных выборок объемаиз генеральной совокупности,
–С.В., значения которой равны вторым значениям, полученным для различных выборок объемаиз генеральной совокупности, …,
– С.В., значения которой равны-м значениям, полученным для различных выборок объемаиз генеральной совокупности. Все эти случайные величины распределены по одному и тому же закону и имеют одно и то же математическое ожидание.

Из формулы (1) следует, что среднее арифметическое является несмещенной оценкой математического ожидания, так как математическое ожидание среднего арифметического равно математическому ожиданию случайной величины. Эта оценка является также состоятельной. Эффективность данной оценки зависит от вида распределения случайной величины
. Если, например,
распределена нормально, оценка математического ожидания с помощью среднего арифметического будет эффективной.

Найдем теперь статистическую оценку дисперсии.

Выражение для статистической дисперсии можно преобразовать следующим образом

(2)

Найдем теперь математическое ожидание статистической дисперсии

. (3)

Учитывая, что
(4)

получим из (3)-

Из формулы (6) видно, что математическое ожидание статистической дисперсии отличается множителем от дисперсии, т.е. является смещенной оценкой дисперсии генеральной совокупности. Это связано с тем, что вместо истинного значения
, которое неизвестно, в оценке дисперсии используется статистическое среднее.

Поэтому введем исправленную статистическую дисперсию

(7)

Тогда математическое ожидание исправленной статистической дисперсии равно

т.е. исправленная статистическая дисперсия является несмещенной оценкой дисперсии генеральной совокупности. Полученная оценка является также состоятельной.

Несмещенность оценок

Состоятельность оценок

Это свойство хороших оценок сближаться с оцениваемыми величинами в каком-то смысле и тем самым увеличивать точность с ростом объема выборки.

Определение 3. Оценка называется состоятельной оценкой, если она стремится по вероятности к с ростом n: . Это означает, что для любого выполняется соотношение.

Пример 2. Выборочное среднее является состоятельной оценкой математического ожидания m. Это непосредственно следует из теоремы Чебышева теории вероятностей (см 5-й вопрос J)

Имеет место следующий критерий состоятельности оценок:

Теорема 1. Пусть и, где. Тогда - состоятельная оценка.

Свойство состоятельности характеризует асимптотическое поведение оценки при неограниченном увеличении объема выборки и не налагает никаких ограничений на поведение оценки при конечных размерах выборки. Можно сузить класс возможных оценок, если потребовать, чтобы математическое ожидание оценки равнялось бы оцениваемому параметру для всех n.

Определение 4. Оценка называется несмещенной оценкой параметра, если. В противном случае оценка называется смещенной, а разность называется смещением оценки.

Пример 3. Выборочное среднее является состоятельной оценкой математического ожидания m=Mx всегда, когда последнее существует:

Пример 4. Выборочная дисперсия является смещенной оценкой генеральной дисперсии с отрицательным смещением.

Покажем это:

и, так как, то. Далее вспоминаем, что выборочное среднее – несмещенная оценка (т.е.) расписываем выражение для дисперсии. И в итоге получаем: . Отсюда следует, что несмещенной оценкой генеральной дисперсии является статистика (данный пример – самый любимый дополнительный вопрос по этой теме)

Хотя требования состоятельности и несмещенности значительно сужают множество возможных оценок, могут существовать несколько состоятельных и несмещенных оценок одного параметра. Нужно как-то осуществить выбор среди этих оценок. Если определить класс оценок и выбрать меру (критерий) близости оценки к оцениваемому параметру, то оценка, минимизирующая заданную меру близости, называется оптимальной в этом классе. Естественной мерой близости оценки является её дисперсия. В этом случае лучше несмещенная и состоятельная оценка с меньшей дисперсией, так как она в среднем будет меньше отклоняться от оцениваемого параметра, чем оценка с большей дисперсией. Будем предполагать, что дисперсии всех рассматриваемых оценок конечны.

Определение 5. Эффективной оценкой параметра для рассматриваемого распределения называется оценка класса Т состоятельных и несмещенных оценок, имеющих минимальную дисперсию.

Определение 6. Из двух оценок и одного параметра, одного распределения, одного класса Т состоятельных и несмещенных оценок более эффективной считается та, дисперсия которой меньше. Пусть, например, . Тогда отношение называется относительной эффективностью, а отношение - эффективностью оценки.

Определение 7. Оценка параметра для рассматриваемого распределения называется асимптотически эффективной в классе Т состоятельных оценок, если существует предел.

Несмещенная статистическая оценка, дисперсия которой совпадает с нижней гранью в неравенстве Крамера-Рао .

Определение

Оценка $\widehat{\theta_1} \in \Kappa$ параметра $\theta$ называется эффективной оценкой в классе $\Kappa$ , если для любой другой оценки $\widehat{\theta_2} \in \Kappa$ выполняется неравенство $M_{\theta}(\widehat{\theta_1}-\theta)^2\leqslant M_{\theta}(\widehat{\theta_2}-\theta)^2$ для любого $\theta$ .

Особую роль в математической статистике играют несмещенные оценки . Если несмещенная оценка $\widehat{\theta_1}$ является эффективной оценкой в классе несмещенных, то такую статистику принято называть просто эффективной .

Единственность

Эффективная оценка $\widehat{\theta}$ в классе $\Kappa_b = \{ E(\widehat{\theta}) = c(\theta)\}$ , где $c(\theta)$ - некоторая функция, существует и единственна с точностью до значений на множестве $A$ , вероятность попасть в которое равна нулю ( $P(x \in A)=0$ ).

Асимптотическая эффективность

Некоторые оценки могут быть не самыми эффективными на малых выборках, однако могут обладать преимуществами на больших выборках. Обычно рассматриваются состоятельные оценки, дисперсия которых с увеличением объема выборки стремится к нулю. Поэтому сравнить такие оценки можно по скорости сходимости, то есть фактически по дисперсии (ковариационной матрицы) случайной величины (вектора) $\sqrt{n}\hat{\theta}$ . В частности, асимптотически нормальная оценка

$\sqrt{n}(\hat{\theta}-\theta)\xrightarrow d N(0,V)$

является асимптотически эффективной, если асимптотическая ковариационная матрица V минимальна в данном классе оценок.

См. также

Напишите отзыв о статье "Эффективная оценка"

Отрывок, характеризующий Эффективная оценка

– Очень рад встретить вас здесь, граф, – сказал он ему громко и не стесняясь присутствием посторонних, с особенной решительностью и торжественностью. – Накануне дня, в который бог знает кому из нас суждено остаться в живых, я рад случаю сказать вам, что я жалею о тех недоразумениях, которые были между нами, и желал бы, чтобы вы не имели против меня ничего. Прошу вас простить меня.
Пьер, улыбаясь, глядел на Долохова, не зная, что сказать ему. Долохов со слезами, выступившими ему на глаза, обнял и поцеловал Пьера.
Борис что то сказал своему генералу, и граф Бенигсен обратился к Пьеру и предложил ехать с собою вместе по линии.
– Вам это будет интересно, – сказал он.
– Да, очень интересно, – сказал Пьер.
Через полчаса Кутузов уехал в Татаринову, и Бенигсен со свитой, в числе которой был и Пьер, поехал по линии.

Бенигсен от Горок спустился по большой дороге к мосту, на который Пьеру указывал офицер с кургана как на центр позиции и у которого на берегу лежали ряды скошенной, пахнувшей сеном травы. Через мост они проехали в село Бородино, оттуда повернули влево и мимо огромного количества войск и пушек выехали к высокому кургану, на котором копали землю ополченцы. Это был редут, еще не имевший названия, потом получивший название редута Раевского, или курганной батареи.
Пьер не обратил особенного внимания на этот редут. Он не знал, что это место будет для него памятнее всех мест Бородинского поля. Потом они поехали через овраг к Семеновскому, в котором солдаты растаскивали последние бревна изб и овинов. Потом под гору и на гору они проехали вперед через поломанную, выбитую, как градом, рожь, по вновь проложенной артиллерией по колчам пашни дороге на флеши [род укрепления. (Примеч. Л.Н. Толстого.) ], тоже тогда еще копаемые.

Определение

Оценка параметра называется эффективной оценкой в классе , если для любой другой оценки выполняется неравенство для любого .

Wikimedia Foundation . 2010 .

Олаф I Трюггвасон
Кровь и шоколад

Смотреть что такое "Эффективная оценка" в других словарях:

эффективная оценка - — [Л.Г.Суменко. Англо русский словарь по информационным технологиям. М.: ГП ЦНИИС, 2003.] Тематики информационные технологии в целом EN efficient estimator … Справочник технического переводчика

эффективная оценка - efektyvusis įvertis statusas T sritis automatika atitikmenys: angl. efficient estimate; efficient estimator vok. effiziente Schätzung, f rus. эффективная оценка, f pranc. estimation effective, f … Automatikos terminų žodynas

Эффективная оценка - 2.22. Эффективная оценка Источник: ГОСТ 15895 77: Статистические методы управления качеством продукции. Термины и определения … Словарь-справочник терминов нормативно-технической документации

ЭФФЕКТИВНАЯ ОЦЕНКА - несмещенная статистическая оценка, дисперсия к рой совпадает с нижней гранью в Рао Крамера неравенстве. Э. о. является достаточной статистикой для оцениваемого параметра. Если Э. о. существует, то ее можно получить с помощью метода максимального… … Математическая энциклопедия

АСИМПТОТИЧЕСКИ ЭФФЕКТИВНАЯ ОЦЕНКА - понятие, расширяющее идею эффективной оценки на случай больших выборок. Однозначного определения А. э. о. не имеет. Напр., в классич. варианте речь идет об асимптотич. эффективности оценки в подходящим образом выделенном классе оценок. Именно,… … Математическая энциклопедия

ОЦЕНКА ЭФФЕКТИВНАЯ - оценка с минимальной для данного объема выборки дисперсией. О., обладающая аналогичным свойством при неограниченно возрастающем объеме выборки, называется асимптотически эффективной. Свойство эффективности должно учитываться в геологии в… … Геологическая энциклопедия

ЭФФЕКТИВНАЯ ТЕМПЕРАТУРА - з в е з д ы (T э) параметр, характеризующий светимость звезды, т. е. полное кол во энергии, излучаемое звездой в единицу времени. Э. т. связана со светимостью L и радиусом звезды R соотношением L =4pR2sT4 э, где 4pR2 площадь поверхности звезды. Т … Физическая энциклопедия

ОЦЕНКА СТАТИСТИЧЕСКАЯ - функция от случайных величин, применяемая для оценки неизвестных параметров теоретич. распределения вероятностей. Методы теории О. с. служат основой современной теории ошибок; обычно в качестве неизвестных параметров выступают измеряемые физич.… … Математическая энциклопедия

Эффективная площадь рассеяния - Пример диаграммы моностатической ЭПР (B 26 Инвэйдер) Эффективная площадь рассеяния (ЭПР; англ. Radar Cross Section, RCS; в некоторых источниках эффективная поверхность рассеяния, эффективный поперечник рассеяния, эффективная по … Википедия

ОЦЕНКА ЭФФЕКТИВНАЯ - СТАТИСТИЧЕСКОЕ ОЦЕНИВАНИЕ … Социология: Энциклопедия

Книги

Оценка конкурентоспособности региональных инновационных продуктов на основе метода анализа иерархий , Р. Р. Харисова. Эффективная деятельность предприятия во многом зависит от того, насколько она адаптирована к внешней среде и в какой мере готова к нововведениям. В настоящее времябольшинством… Купить за 152 руб электронная книга
3000 примеров по русскому языку. Все правила орфографии. 1 класс. Как научиться быстро писать. Самая эффективная оценка знаний. Автоматизированность навыка , Узорова О., Нефедова Е.. В этом учебном пособии 3000 упражнений и заданий на повторение и закрепление всех тем, которые предусмотрены действующей программой по русскому языку для 1-го класса. Задания помогут…

) задач математической статистики .

Предположим, что имеется параметрическое семейство распределений вероятностей (для простоты будем рассматривать распределение случайных величин и случай одного параметра). Здесь - числовой параметр, значение которого неизвестно. Требуется оценить его по имеющейся выборке значений, порожденной данным распределением.

Различают два основных типа оценок: точечные оценки и доверительные интервалы .

Точечное оценивание

Точечное оценивание - это вид статистического оценивания, при котором значение неизвестного параметра приближается отдельным числом. То есть необходимо указать функцию от выборки (статистику)

значение которой будет рассматриваться в качестве приближения к неизвестному истинному значению .

К общим методам построения точечных оценок параметров относятся: метод максимального правдоподобия , метод моментов , метод квантилей .

Ниже приводятся некоторые свойства, которыми могут обладать или не обладать точечные оценки.

Состоятельность

Одно из самых очевидных требований к точечной оценке заключается в том, чтобы можно было ожидать достаточно хорошего приближения к истинному значению параметра при достаточно больших значениях объема выборки . Это означает, что оценка должна сходиться к истинному значению при . Это свойство оценки и называется состоятельностью . Поскольку речь идет о случайных величинах, для которых имеются разные виды сходимости, то и данное свойство может быть точно сформулировано по-разному:

Когда употребляют просто термин состоятельность , то обычно имеется в виду слабая состоятельность, т.е. сходимость по вероятности.

Условие состоятельности является практически обязательным для всех используемых на практике оценок. Несостоятельные оценки используются крайне редко.

Несмещенность и асимптотическая несмещенность

Оценка параметра называется несмещенной , если ее математическое ожидание равно истинному значению оцениваемого параметра:

Более слабым условием является асимптотическая несмещенность , которая означает, что математическое ожидание оценки сходится к истинному значению параметра с ростом объема выборки:

Несмещенность является рекомендуемым свойством оценок. Однако не следует слишком переоценивать его значимость. Чаще всего несмещенные оценки параметров существуют и тогда стараются рассматривать только их. Однако могут быть такие статистические задачи, в которых несмещенных оценок не существует. Наиболее известным примером является следующий: рассмотрим распределение Пуассона с параметром и поставим задачу оценки параметра . Можно доказать, что для этой задачи не существует несмещенной оценки.

Сравнение оценок и эффективность

Для сравнения между собой различных оценок одного и того же параметра применяют следующий метод: выбирают некоторую функцию риска , которая измеряет отклонение оценки от истинного значения параметра, и лучшей считают ту, для которой эта функция принимает меньшее значение.

Чаще всего в качестве функции риска рассматривают математическое ожидание квадрата отклонения оценки от истинного значения

Для несмещенных оценок это есть просто дисперсия .

Существует нижняя граница на данную функцию риска, называемая неравенство Крамера-Рао .

(Несмещенные) оценки, для которых достигается эта нижняя граница (т.е. имеющие минимально возможную дисперсию), называются эффективными . Однако существование эффективной оценки есть довольно сильное требование на задачу, которое имеет место далеко не всегда.

Более слабым является условие асимптотической эффективности , которое означает, что отношение дисперсии несмещенной оценки к нижней границе Крамера-Рао стремится к единице при .

Заметим, что при достаточно широких предположениях относительно исследуемого распределения, метод максимального правдоподобия дает асимптотически эффективную оценку параметра, а если существует эффективная оценка - тогда он дает эффективную оценку.

Достаточные статистики

Статистика назвается достаточной для параметра , если условное распределение выборки при условии того, что , не зависит от параметра для всех .

Важность понятия достаточной статистики обуславливается следующим утверждением . Если - достаточная статистика, а - несмещенная оценка параметра , тогда условное математическое ожидание является также несмещенной оценкой параметра , причем ее дисперсия меньше или равна дисперсии исходной оценки .

Напомним, что условное математическое ожидание есть случайная величина, являющаяся функцией от . Таким образом, в классе несмещенных оценок достаточно рассматривать только такие, которые являются функциями от достаточной статистики (при условии, что такая существует для данной задачи).

(Несмещенная) эффективная оценка параметра всегда является достаточной статистикой.

Можно сказать, что достаточная статистика содержит в себе всю информацию об оцениваемом параметре, которая содержится в выборке .