Что такое логарифм функционала отношения правдоподобия. Метод наибольшего правдоподобия

24.06.2019 По случаю потери кормильца

Из параметрического распределения, рассматриваемое как функция параметра. При этом используется совместная функция плотности (в случае выборки из непрерывного распределения) либо совместная вероятность (в случае выборки из дискретного распределения), вычисленные для данных выборочных значений.

Понятия вероятности и правдоподобия тесно связаны. Сравните два предложения:

«Какова вероятность выпадения 12 очков в каждом из ста бросков двух костей?»
«Насколько правдоподобно, что кости не шулерские, если из ста бросков в каждом выпало 12 очков?»

Неформально : если вероятность позволяет нам предсказывать неизвестные результаты, основанные на известных параметрах, то правдоподобие позволяет нам оценивать неизвестные параметры, основанные на известных результатах.

$L(\theta \mid x) = p_\theta (x) = P_\theta (X=x)$ ,

Важно понимать, что по абсолютному значению правдоподобия нельзя делать никаких вероятностных суждений. Правдоподобие позволяет сравнить несколько вероятностных распределений с разными параметрами и оценить в контексте какого из них наблюдаемые события наиболее вероятны.

Определение

Пусть есть параметрическое семейство распределений вероятности $\{\mathbb{P}_{\theta}\}_{\theta \in \Theta}$ . Пусть дана выборка $X_1,\ldots, X_n \sim \mathbb{P}_{\theta}$ для некоторого $\theta \in \Theta$ . Предположим, что совместное распределение этой выборки задаётся функцией $f_{\mathbf{X}}(\mathbf{x} \mid \theta),\; \mathbf{x}\in \mathbb{R}^n$ , где $f_{\mathbf{X}}$ является либо плотностью вероятности , либо функцией вероятности случайного вектора $\mathbf{X} = (X_1,\ldots, X_n)^{\top}$ .

Для фиксированной реализации выборки $\mathbf{X} = \mathbf{x}$ функция $f_{\mathbf{X}}(\mathbf{x}\mid \theta)\colon \Theta \to \mathbb{R}$ называется функцией правдоподобия.

Логарифмическая функция правдоподобия

Во многих приложениях необходимо найти максимум функции правдоподобия, что связано с вычислением производной. Логарифм - монотонно возрастающая функция, поэтому логарифм от функции достигнет максимума в той же точке, что и сама функция. С другой стороны, логарифм произведения является суммой, что упрощает дифференцирование. Поэтому для практических вычислений предпочитают использовать логарифм функции правдоподобия.

Функция $L(\mathbf{x} \mid \theta)$ , где

L(\mathbf{x} \mid \theta) = \ln f_{\mathbf{X}}(\mathbf{x} \mid \theta)

называется логарифми́ческой фу́нкцией правдоподо́бия .

Если выборка независима , то

f_{\mathbf{X}}(\mathbf{x} \mid \theta) = \prod\limits_{i=1}^n f_X(x_i \mid \theta)

где $f_X(\cdot \mid \theta)$ - плотность или функция вероятности распределения $\mathbb{P}_{\theta}$ . Логарифмическая функция правдоподобия в этом случае имеет вид:

$L(\mathbf{x} \mid \theta) = \sum\limits_{i=1}^n \ln f_X(x_i \mid \theta)$ .

Замечания

Нельзя путать правдоподобие с вероятностью появления распределения с выбранным параметром. Как минимум, интеграл от функции плотности вероятности по параметру, не обязан быть единицей. Рассмотрим вероятность последовательного выпадания орла в двух бросках одной монеты. Вероятность OO = $p_\text{O}^2$ . Если $p_\text{O} = 0{,}5$ , то

$P(\text{OO} \mid p_\text{O}=0{,}5) = 0{,}25$ .

Правдоподобность того, что вероятность выпадения одного орла равна 0,5, при условии того, что два выпадают с вероятностью 0,25.

$L(p_\text{O}=0{,}5 \mid \text{OO}) = P(\text{OO} \mid p_\text{O}=0{,}5) = 0{,}25.$

Но это не то же самое, что «вероятность того, что $p_\text{O} = 0{,}5$ , если выпало подряд два орла, равна 0,25». Заметьте, правдоподобность утверждения $p_\text{O} = 1$ равна единице.

История

Впервые правдоподобие было упомянуто в книге Торвальда Тиле , опубликованной в 1889 году .

Полное описание идеи правдоподобия впервые было дано Рональдом Фишером в 1922 году в работе «Математические основы теоретической статистики» (англ.) . В этой работе Фишер также использует термин метод максимального правдоподобия . Фишер возражает против использования обратной вероятности как основы статистических заключений и предлагает вместо неё использовать функцию правдоподобия.

См. также

Напишите отзыв о статье "Функция правдоподобия"

Примечания

Отрывок, характеризующий Функция правдоподобия

Связанных двух мужиков повели на барский двор. Два пьяные мужика шли за ними.
– Эх, посмотрю я на тебя! – говорил один из них, обращаясь к Карпу.
– Разве можно так с господами говорить? Ты думал что?
– Дурак, – подтверждал другой, – право, дурак!
Через два часа подводы стояли на дворе богучаровского дома. Мужики оживленно выносили и укладывали на подводы господские вещи, и Дрон, по желанию княжны Марьи выпущенный из рундука, куда его заперли, стоя на дворе, распоряжался мужиками.
– Ты ее так дурно не клади, – говорил один из мужиков, высокий человек с круглым улыбающимся лицом, принимая из рук горничной шкатулку. – Она ведь тоже денег стоит. Что же ты ее так то вот бросишь или пол веревку – а она потрется. Я так не люблю. А чтоб все честно, по закону было. Вот так то под рогожку, да сенцом прикрой, вот и важно. Любо!
– Ишь книг то, книг, – сказал другой мужик, выносивший библиотечные шкафы князя Андрея. – Ты не цепляй! А грузно, ребята, книги здоровые!
– Да, писали, не гуляли! – значительно подмигнув, сказал высокий круглолицый мужик, указывая на толстые лексиконы, лежавшие сверху.

Ростов, не желая навязывать свое знакомство княжне, не пошел к ней, а остался в деревне, ожидая ее выезда. Дождавшись выезда экипажей княжны Марьи из дома, Ростов сел верхом и до пути, занятого нашими войсками, в двенадцати верстах от Богучарова, верхом провожал ее. В Янкове, на постоялом дворе, он простился с нею почтительно, в первый раз позволив себе поцеловать ее руку.
– Как вам не совестно, – краснея, отвечал он княжне Марье на выражение благодарности за ее спасенье (как она называла его поступок), – каждый становой сделал бы то же. Если бы нам только приходилось воевать с мужиками, мы бы не допустили так далеко неприятеля, – говорил он, стыдясь чего то и стараясь переменить разговор. – Я счастлив только, что имел случай познакомиться с вами. Прощайте, княжна, желаю вам счастия и утешения и желаю встретиться с вами при более счастливых условиях. Ежели вы не хотите заставить краснеть меня, пожалуйста, не благодарите.
Но княжна, если не благодарила более словами, благодарила его всем выражением своего сиявшего благодарностью и нежностью лица. Она не могла верить ему, что ей не за что благодарить его. Напротив, для нее несомненно было то, что ежели бы его не было, то она, наверное, должна была бы погибнуть и от бунтовщиков и от французов; что он, для того чтобы спасти ее, подвергал себя самым очевидным и страшным опасностям; и еще несомненнее было то, что он был человек с высокой и благородной душой, который умел понять ее положение и горе. Его добрые и честные глаза с выступившими на них слезами, в то время как она сама, заплакав, говорила с ним о своей потере, не выходили из ее воображения.
Когда она простилась с ним и осталась одна, княжна Марья вдруг почувствовала в глазах слезы, и тут уж не в первый раз ей представился странный вопрос, любит ли она его?
По дороге дальше к Москве, несмотря на то, что положение княжны было не радостно, Дуняша, ехавшая с ней в карете, не раз замечала, что княжна, высунувшись в окно кареты, чему то радостно и грустно улыбалась.
«Ну что же, ежели бы я и полюбила его? – думала княжна Марья.
Как ни стыдно ей было признаться себе, что она первая полюбила человека, который, может быть, никогда не полюбит ее, она утешала себя мыслью, что никто никогда не узнает этого и что она не будет виновата, ежели будет до конца жизни, никому не говоря о том, любить того, которого она любила в первый и в последний раз.
Иногда она вспоминала его взгляды, его участие, его слова, и ей казалось счастье не невозможным. И тогда то Дуняша замечала, что она, улыбаясь, глядела в окно кареты.
«И надо было ему приехать в Богучарово, и в эту самую минуту! – думала княжна Марья. – И надо было его сестре отказать князю Андрею! – И во всем этом княжна Марья видела волю провиденья.
Впечатление, произведенное на Ростова княжной Марьей, было очень приятное. Когда ои вспоминал про нее, ему становилось весело, и когда товарищи, узнав о бывшем с ним приключении в Богучарове, шутили ему, что он, поехав за сеном, подцепил одну из самых богатых невест в России, Ростов сердился. Он сердился именно потому, что мысль о женитьбе на приятной для него, кроткой княжне Марье с огромным состоянием не раз против его воли приходила ему в голову. Для себя лично Николай не мог желать жены лучше княжны Марьи: женитьба на ней сделала бы счастье графини – его матери, и поправила бы дела его отца; и даже – Николай чувствовал это – сделала бы счастье княжны Марьи. Но Соня? И данное слово? И от этого то Ростов сердился, когда ему шутили о княжне Болконской.

Приняв командование над армиями, Кутузов вспомнил о князе Андрее и послал ему приказание прибыть в главную квартиру.
Князь Андрей приехал в Царево Займище в тот самый день и в то самое время дня, когда Кутузов делал первый смотр войскам. Князь Андрей остановился в деревне у дома священника, у которого стоял экипаж главнокомандующего, и сел на лавочке у ворот, ожидая светлейшего, как все называли теперь Кутузова. На поле за деревней слышны были то звуки полковой музыки, то рев огромного количества голосов, кричавших «ура!новому главнокомандующему. Тут же у ворот, шагах в десяти от князя Андрея, пользуясь отсутствием князя и прекрасной погодой, стояли два денщика, курьер и дворецкий. Черноватый, обросший усами и бакенбардами, маленький гусарский подполковник подъехал к воротам и, взглянув на князя Андрея, спросил: здесь ли стоит светлейший и скоро ли он будет?

Пусть мы имеем выборку из наблюдений , которую мы считаем реализацией -мерной случайной величины, для которой известное вероятностное распределение зависит от неизвестного параметра . Вектор мы используем для обозначения общего множества параметров, и, в частности, он может относиться к параметрам модели АРПСС.

До того как появились данные, связывает плотность вероятности с каждым конкретным выходом эксперимента для фиксированного . После того как данные появились, наступает момент для рассмотрения различных возможных значений , которые могли бы привести к заданному множеству фактически полученных наблюдений. Для этих целей подходит функция правдоподобия , которая имеет ту же форму, что и , но в которой теперь зафиксировано, а переменные. Обычно важны только относительные значения , и поэтому функцию правдоподобия часто считают содержащей произвольную мультипликативную константу.

Часто удобнее работать с логарифмической функцией правдоподобия, содержащей произвольную аддитивную константу. Одна из причин, по которым функция правдоподобия имеет фундаментальное значение в теории оценивания, связана с «принципом правдоподобия», выдвинутым с разных позиций Фишером , Бернаром и Бирнбаумом . Этот принцип гласит (при условии правильности предполагаемой модели): все, что данные могут сказать о параметрах модели, содержится в функции правдоподобия, а все другие аспекты данных не имеют отношения к делу. При байесовском подходе функция правдоподобия также важна, так как она является той компонентой апостериорного распределения параметров, которая зависит от данных.

Для полного понимания ситуации с оцениванием необходимо проделать подробное аналитическое и графическое изучение функции правдоподобия; в байесовском подходе мы должны изучить апостериорное распределение параметров, которое в рассматриваемых ситуациях определяется в основном правдоподобием. Во многих примерах с выборками средних и больших размеров логарифмическая функция правдоподобия унимодальна и в достаточно большой окрестности максимума может быть аппроксимирована квадратичной функцией. Значения параметров, максимизирующие функцию правдоподобия или, что эквивалентно, логарифмическую функцию правдоподобия, называются оценками максимального правдоподобия (МП).

Вторые производные логарифмической функции правдоподобия дают меру «растянутости» функции правдоподобия и могут использоваться для вычисления приближенных стандартных ошибок оценок. Предельные свойства оценок максимального правдоподобия обычно доказываются для независимых наблюдений . Но, как показано Уиттлом , они могут быть обобщены на стационарные временные ряды.

В последующем изложении мы будем исходить из того, что читатель знаком с некоторыми фундаментальными понятиями теории оценивания. Приложения П7.1 и П7.2 содержат сводки наиболее существенных результатов теории нормального распределения и линейного метода наименьших квадратов, необходимых в этой главе. Некоторые из важных предшествующих работ по оценке параметров моделей временных рядов можно найти в .

Понятия вероятности и правдоподобия тесно связаны. Сравните два предложения:

"Какова вероятность выпадения 12 очков в каждом из ста бросков двух костей?"
"Насколько правдоподобно, что кости не шулерские, если из ста бросков в каждом выпало 12 очков?"

Если распределение вероятности зависит от параметра, то с одной стороны можно рассматривать вероятность некоторых событий при заданном параметре, а с другой стороны - вероятность заданного события при различных значениях параметра. Т.е. в первом случае имеем функцию, зависящую от события, а во втором - от параметра при фиксированном событии. Последний вариант является функцией правдоподобия и показывает, насколько правдоподобен выбранный параметр при заданном событии. Неформально: если вероятность позволяет нам предсказывать неизвестные результаты, основанные на известных параметрах, то правдоподобие позволяет нам оценивать неизвестные параметры, основанные на известных результатах.

Определение

Пусть есть параметрическое семейство распределений вероятности . Пусть дана выборка для некоторого . Предположим, что совместное распределение этой выборки задаётся функцией , где является либо плотностью вероятности , либо функцией вероятности случайного вектора .

Для фиксированной реализации выборки функция называется функцией правдоподобия.

Логарифмическая функция правдоподобия

называется логарифми́ческой фу́нкцией правдоподо́бия .

Если выборка независима , то

где - плотность или функция вероятности распределения . Логарифмическая функция правдоподобия в этом случае имеет вид:

Замечания

Функция правдоподобия для оценки вероятности выпадения двух орлов, в зависимости от вероятности выпадения одного

Правдоподобность того, что вероятность выпадения одного орла равна 0.5, при условии того, что два выпадают с вероятностью 0.25.

Но это не тоже самое, что "вероятность того что , если выпало подряд два орла равна 0.25". Заметьте, правдоподобность утверждения равна единице.

История

Впервые правдоподобие было упомянуто в книге Торвальда Тиле , опубликованной в году .

Полное описание идеи правдоподобия впервые было дано Рональдом Фишером в году в работе «Математические основы теоретической статистики» (англ.) . В этой работе Фишер также использует термин метод максимального правдоподобия . Фишер возражает против использования обратной вероятности как основы статистических заключений и предлагает вместо неё использовать функцию правдоподобия.

См. также

Примечания

Wikimedia Foundation . 2010 .

Метод наибольшего правдоподобия -- метод поиска модели, наилучшим в каком-то смысле образом описывающей обучающую выборку , полученную с некоторым неизвестным распределением.

Описание метода

Пусть на вход подается некоторая величина x , а на выходе имеется величина y . Также существует условная вероятность , описывающая вероятность получить на выходе величину y , если на вход была подана величина x . Если множество величин не дискретно, то условная вероятность заменяется на условную плотность распределения. Считается, что эта условная вероятность нам неизвестна. Пусть имеется некоторое множество моделей, описываемых различными условными вероятностями , где играет роль индекса, приписываемого конкретной модели, и может, вообще говоря, иметь любую природу. Пусть также существует обучающая выборка порождённая с неизвестной условной вероятностью . Причем, считается, что все пары порождаются независимо. Требуется на основании обучающей выборки выделить из множества моделей (то есть выбрать ) ту, что наилучшим образом подходит к обучающей выборке. Функцией правдоподобия называется функция вида . Метод наибольшего правдоподобия состоит в том, что из множества моделей выбирается та, что максимизирует значение функции правдоподобия, т.е. выбирается значение параметра

Обоснование метода

Заметим, что в силу независимости элементов обучающей выборки вероятность получить набор выходных значений при поданных на вход значениях равняется . Из эвристических соображений понятно, что, чем ближе модель к истинной, тем больше должна быть эта величина. Функция правдоподобия является логарифмом этой величины. Можно также показать, что если среди множества моделей есть истинная, то максимум