MAP оценка (Maximum A Posteriori estimation) — это метод в байесовской статистике для нахождения оценки параметра вероятностной модели, который максимизирует апостериорную вероятность данного параметра после учёта данных и априорного распределения этого параметра. Это расширение метода максимизации правдоподобия (MLE), учитывающее предварительные знания о параметрах в виде априорного распределения.

Как он работает

1. Априорное распределение: В отличие от MLE, где используется только функция правдоподобия, MAP начинается с задания априорного распределения для параметров. Это распределение отражает наши предварительные знания или убеждения относительно параметров до учёта наблюдаемых данных.

2. Функция правдоподобия: Как и в MLE, используется функция правдоподобия, представляющая вероятность наблюдать данные при заданных параметрах.

3. Апостериорное распределение: Апостериорное распределение параметра вычисляется на основе теоремы Байеса, которая связывает априорное распределение и функцию правдоподобия:

   \[
   p(\theta | X) = \frac{p(X | \theta) \cdot p(\theta)}{p(X)}
   \]

где \( p(\theta | X) \) — апостериорное распределение, \( p(X | \theta) \) — функция правдоподобия, \( p(\theta) \) — априорное распределение, \( p(X) \) — вероятность данных (обычно выступает как нормализующий множитель).

4. Максимизация апостериорного распределения: MAP оценка параметра \( \theta \) находится путём максимизации апостериорного распределения. Это оценка параметра, при которой апостериорное распределение достигает максимального значения.

Предположим, что априорное распределение параметра \( \theta \) (например, среднего значения нормального распределения) является нормальным \( N(\mu_0, \sigma_0^2) \), а данные также распределены нормально вокруг \( \theta \) с известной дисперсией \( \sigma^2 \). MAP оценка будет учитывать как сами данные, так и априорное распределение для определения наиболее вероятного значения \( \theta \).

В чем различие между ними

• MLE исключительно зависит от функции правдоподобия данных, игнорируя любые предварительные знания о параметрах.
• MAP включает априорное распределение, что позволяет включать предварительные знания или ограничения в процесс оценки, делая её более гибкой и адаптивной к условиям, когда доступные данные ограничены или могут быть смещены.

MAP оценка — это способ угадать параметры модели, используя не только данные, но и предварительные предположения о том, какими могут быть эти параметры. Это как попытка угадать вес человека, зная не только его рост и возраст, но и средний вес людей из его окружения.

May 23, 2024, easyoffer