Достаточная статистика

Поделись знанием:
Перейти к: навигация, поиск

Достаточная статистика для параметра Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \theta \in \Theta,\; определяющая некоторое семейство Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): F_\theta распределений вероятности — статистика Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): T = \mathrm{T}(X),\; такая, что условная вероятность выборки Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): X = X_1, X_2, \ldots, X_n\; при данном значении Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \mathrm{T}(X)\; не зависит от параметра Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \theta\;. То есть выполняется равенство:

Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \mathbb{P}(X \in \bar{X}|\mathrm{T}(X)=t,\theta) = \mathbb{P}(X \in \bar{X}|\mathrm{T}(X)=t),

Достаточная статистика Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \mathrm{T}(X),\; таким образом содержит в себе всю информацию о параметре Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \theta\; , которая может быть получена на основе выборки X. Поэтому понятие достаточной статистики широко используется в теории оценки параметров.

Наиболее простой достаточной статистикой является сама выборка Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \mathrm{T}(X) = X\; , однако действительно важными являются случаи, когда размерность достаточной статистики значительно меньше размерности выборки, в частности, когда достаточная статистика выражается лишь несколькими числами.

Достаточная статистика Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): S = \mathrm{S}(X)\; называется минимально достаточной, если для каждой достаточной статистики T существует неслучайная измеримая функция g, что Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): S(X) = g(T(X)) почти всюду.









Теорема факторизации

Теорема факторизации даёт способ практического нахождения достаточной статистики для распределения вероятности. Она даёт достаточные и необходимые условия достаточности статистики и утверждение теорем иногда используется в качестве определения.

Пусть Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \mathrm{T}(X)\;  — некоторая статистика, а Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): f_\theta(x)  — условная функция плотности или функция вероятности (в зависимости от вида распределения) для вектора наблюдений X. Тогда Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \mathrm{T}(X)\; является достаточной статистикой для параметра Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \theta \in \Theta,\; , если и только если существуют такие измеримые функции h и g, что можно записать:

Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): f_\theta(x)=h(x) \, g(\theta,\mathrm{T}(x))

Доказательство

Ниже приведено доказательство для частного случая, когда распределение вероятностей является дискретным. Тогда Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): f_\theta(x) = \mathbb{P}(X = x |\theta)  — Функция вероятности.

Пусть данная функция имеет факторизацию, как в формулировке теоремы, и Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \mathrm{T}(x) = t.

Тогда имеем:

Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \begin{align} \mathbb{P}(X = x |\mathrm{T}(X)=t,\theta) & = \frac{\mathbb{P}(X = x |\theta)}{\mathbb{P}(\mathrm{T}(X)=t |\theta)} & = \frac{h(x) \, g(\theta,\mathrm{T}(x))}{\sum _{x : \mathrm{T}(x) = t} h(x) \, g(\theta,\mathrm{T}(x))} \\ & = \frac{h(x) \, g(\theta,t)}{\sum _{x : \mathrm{T}(x) = t} h(x) \, g(\theta,t)} & = \frac{h(x) \,}{\sum _{x : \mathrm{T}(x) = t} h(x) \,}. \end{align}

Отсюда видим, что условная вероятность вектора X при заданном значении статистики Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \mathrm{T}(X)\; не зависит от параметра и соответственно Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \mathrm{T}(X)\;  — достаточная статистика.

Наоборот можем записать:

Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \mathbb{P}(X = x|\theta) = \mathbb{P}(X = x|\mathrm{T}(X)=t,\theta) \cdot \mathbb{P}(\mathrm{T}(X)=t | \theta).

Из приведённого выше имеем, что первый множитель правой части не зависит от параметра Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \theta\; и его можно взять за функцию h(x) из формулировки теоремы. Другой множитель является функцией от Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \theta\; и Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \mathrm{T}(X),\; и его можно взять за функцию Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): g(\theta,\mathrm{T}(x)). Таким образом, получена необходимая декомпозиция, что завершает доказательство теоремы.

Примеры

Распределение Бернулли

Пусть Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): X_1, X_2, \ldots, X_n\;  — последовательность случайных величин, что равны 1 с вероятностью p и равны 0 с вероятностью 1 — p (то есть, имеют распределение Бернулли). Тогда

Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \mathbb{P}(x_1, \ldots x_n | p) = p^{\sum x_i}(1-p)^{n-\sum x_i}=p^{\mathrm{T}(x)}(1-p)^{n-\mathrm{T}(x)}

если взять Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \mathrm{T}(X) = X_1 + \ldots + X_n.

Тогда данная статистика является достаточной согласно теореме факторизации, если обозначить

Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): g(p,\mathrm{T}(x_1, \ldots x_n)) = p^{\mathrm{T}(x_1, \ldots x_n)}(1-p)^{n-\mathrm{T}(x_1, \ldots x_n)}
Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): h(x_1, \ldots x_n) = 1

Распределение Пуассона

Пусть Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): X_1, X_2, \ldots, X_n\;  — последовательность случайных величин с распределением Пуассона. Тогда

Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \mathbb{P}(x_1, \ldots x_n |\lambda) = {e^{-\lambda} \lambda^{x_1} \over x_1 !} \cdot {e^{-\lambda} \lambda^{x_2} \over x_2 !} \cdots {e^{-\lambda} \lambda^{x_n} \over x_n !} = e^{-n\lambda} \lambda^{(x_1+x_2+\cdots+x_n)} \cdot {1 \over x_1 ! x_2 !\cdots x_n ! } = e^{-n\lambda} \lambda^{\mathrm{T}(x)} \cdot {1 \over x_1 ! x_2 !\cdots x_n ! }


где Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \mathrm{T}(X) = X_1 + \ldots + X_n.

Данная статистика является достаточной согласно теореме факторизации, если обозначить

Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): g(p,\mathrm{T}(x_1, \ldots x_n)) = e^{-n\lambda} \lambda^{\mathrm{T}(x)}
Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): h(x_1, \ldots x_n) = {1 \over x_1 ! x_2 !\cdots x_n ! }

Равномерное распределение

Пусть Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): X_1, X_2, \ldots, X_n\;  — последовательность равномерно распределённых случайных величин Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): X_1, X_2, \ldots, X_n\; ~ U (a, b) . Для этого случая

Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \mathbb{P}(x_1, \ldots x_n |\lambda) = \left(b - a \right)^{-n} \mathbf{1}_{ \{ a \, \leq \, \min_{1 \leq i \leq n}X_i \} } \mathbf{1}_{ \{ \max_{1 \leq i \leq n}X_i \, \leq \, b \} }.

Отсюда следует, что статистика Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): T(X) = \left(\min_{1 \leq i \leq n}X_i,\max_{1 \leq i \leq n}X_i\right) является достаточной.

Нормальное распределение

Для случайных величин Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): X_1, X_2, \ldots, X_n\; с нормальным распределением Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \mathcal{N}(\mu,\,\sigma^2) достаточной статистикой будет Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \mathrm{T}(X) = \left(\sum_{i=1}^nX_i, \sum_{i=1}^nX_i^2\right)\,.

Свойства

  • Для достаточной статистики T и биективного отображения Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \phi статистика Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \phi(T) тоже является достаточной.
  • Если Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \delta(X)  — статистическая оценка некоторого параметра Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \theta, Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \mathrm{T}(X),\;  — некоторая достаточная статистика и Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \delta_{1}(X) = \textrm{E}[\delta(X)|T(X)] то Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \delta_{1}(X) является лучшей оценкой параметра в смысле среднеквадратичного отклонения, то есть выполняется неравенство
Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \textrm{E}[(\delta_{1}(X)-\theta)^{2}]\leq\textrm{E}[(\delta(X)-\theta)^{2}]
причём равенство достигается лишь когда Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): \delta является измеримой функцией от T. (Теорема Рао — Блэквелла — Колмогорова)
  • Из предыдущего получается, что оценка может быть оптимальной в смысле среднеквадратичного отклонения лишь когда она является измеримой функцией минимальной достаточной статистики.
  • Если статистика Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): T = \mathrm{T}(X),\; является достаточной и полной (то есть, из того, что Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): E_{\theta}[g(T(X))] = 0, \, \forall \theta \in \Theta следует, что Невозможно разобрать выражение (Выполняемый файл <code>texvc</code> не найден; См. math/README — справку по настройке.): P_\theta ( g(T(X)) = 0 ) = 1 \, \forall \theta \in \Theta ), то произвольная измеримая функция от неё является оптимальной оценкой своего математического ожидания.

См. также

Напишите отзыв о статье "Достаточная статистика"

Литература

  • [http://eom.springer.de/S/s091070.htm Kholevo, A.S. (2001), «Sufficient statistic», in Hazewinkel, Michiel, Encyclopaedia of Mathematics, Springer, ISBN 978-1-55608-010-4]
  • Lehmann, E. L.; Casella, G. (1998). Theory of Point Estimation (2nd ed.). Springer. Chapter 4. ISBN 0-387-98502-6.

Отрывок, характеризующий Достаточная статистика

– Почему вы так меня называете? – очень удивилась я.
– Не знаю, – ласково ответила незнакомка, – просто тебе это подходит!.. Я – Изольда. А как же тебя по правде зовут?
– Светлана, – немного смутившись ответила я.
– Ну вот, видишь – угадала! А что ты здесь делаешь, Светлана? И кто твоя милая подруга?
– Мы просто гуляем... Это Стелла, она мой друг. А вы, какая Изольда – та, у которой был Тристан? – уже расхрабрившись, спросила я.
У девушки глаза стали круглыми от удивления. Она, видимо никак не ожидала, что в этом мире её кто-то знал...
– Откуда ты это знаешь, девочка?.. – тихо прошептала она.
– Я книжку про вас читала, мне она так понравилась!.. – восторженно воскликнула я. – Вы так любили друг друга, а потом вы погибли... Мне было так жаль!.. А где же Тристан? Разве он больше не с вами?
– Нет, милая, он далеко... Я его так долго искала!.. А когда, наконец, нашла, то оказалось, что мы и здесь не можем быть вместе. Я не могу к нему пойти... – печально ответила Изольда.
И мне вдруг пришло простое видение – он был на нижнем астрале, видимо за какие-то свои «грехи». И она, конечно же, могла к нему пойти, просто, вероятнее всего, не знала, как, или не верила что сможет.
– Я могу показать вам, как туда пойти, если вы хотите, конечно же. Вы сможете видеть его, когда только захотите, только должны быть очень осторожны.
– Ты можешь пойти туда? – очень удивилась девушка.
Я кивнула:
– И вы тоже.
– Простите, пожалуйста, Изольда, а почему ваш мир такой яркий? – не смогла удержать своего любопытства Стелла.
– О, просто там, где я жила, почти всегда было холодно и туманно... А там, где я родилась всегда светило солнышко, пахло цветами, и только зимой был снег. Но даже тогда было солнечно... Я так соскучилась по своей стране, что даже сейчас никак не могу насладиться вволю... Правда, имя моё холодное, но это потому, что маленькой я потерялась, и нашли меня на льду. Вот и назвали Изольдой...
– Ой, а ведь и правда – изо льда!.. Я никогда бы не додумалась!.. – ошарашено уставилась на неё я.
– Это ещё, что!.. А ведь у Тристана и вообще имени не было... Он так всю жизнь и прожил безымянным, – улыбнулась Изольда.
– А как же – «Тристан»?
– Ну, что ты, милая, это же просто «владеющий тремя станами», – засмеялась Изольда. – Вся его семья ведь погибла, когда он был ещё совсем маленький, вот и не нарекли имени, когда время пришло – некому было.
– А почему вы объясняете всё это как бы на моём языке? Это ведь по-русски!
– А мы и есть русские, вернее – были тогда... – поправилась девушка. – А теперь ведь, кто знает, кем будем...
– Как – русские?.. – растерялась я.
– Ну, может не совсем... Но в твоём понятии – это русские. Просто тогда нас было больше и всё было разнообразнее – и наша земля, и язык, и жизнь... Давно это было...
– А как же в книжке говорится, что вы были ирландцы и шотландцы?!.. Или это опять всё неправда?
– Ну, почему – неправда? Это ведь то же самое, просто мой отец прибыл из «тёплой» Руси, чтобы стать владетелем того «островного» стана, потому, что там войны никак не кончались, а он был прекрасным воином, вот они и попросили его. Но я всегда тосковала по «своей» Руси... Мне всегда на тех островах было холодно...
– А могу ли я вас спросить, как вы по-настоящему погибли? Если это вас не ранит, конечно. Во всех книжках про это по-разному написано, а мне бы очень хотелось знать, как по-настоящему было...
– Я его тело морю отдала, у них так принято было... А сама домой пошла... Только не дошла никогда... Сил не хватило. Так хотелось солнце наше увидеть, но не смогла... А может Тристан «не отпустил»...
– А как же в книгах говорят, что вы вместе умерли, или что вы убили себя?
– Не знаю, Светлая, не я эти книги писала... А люди всегда любили сказы друг другу сказывать, особенно красивые. Вот и приукрашивали, чтобы больше душу бередили... А я сама умерла через много лет, не прерывая жизни. Запрещено это было.
– Вам, наверное, очень грустно было так далеко от дома находиться?
– Да, как тебе сказать... Сперва, даже интересно было, пока мама была жива. А когда умерла она – весь мир для меня померк... Слишком мала я была тогда. А отца своего никогда не любила. Он войной лишь жил, даже я для него цену имела только ту, что на меня выменять можно было, замуж выдав... Он был воином до мозга костей. И умер таким. А я всегда домой вернуться мечтала. Даже сны видела... Но не удалось.
– А хотите, мы вас к Тристану отведём? Сперва покажем, как, а потом вы уже сама ходить будете. Это просто... – надеясь в душе, что она согласится, предложила я.
Мне очень хотелось увидеть «полностью» всю эту легенду, раз уж появилась такая возможность, и хоть было чуточку совестно, но я решила на этот раз не слушать свой сильно возмущавшийся «внутренний голос», а попробовать как-то убедить Изольду «прогуляться» на нижний «этаж» и отыскать там для неё её Тристана.
Я и правда очень любила эту «холодную» северную легенду. Она покорила моё сердце с той же самой минуты, как только попалась мне в руки. Счастье в ней было такое мимолётное, а грусти так много!.. Вообще-то, как и сказала Изольда – добавили туда, видимо, немало, потому что душу это и вправду зацепляло очень сильно. А может, так оно и было?.. Кто же мог это по-настоящему знать?.. Ведь те, которые всё это видели, уже давным-давно не жили. Вот потому-то мне так сильно и захотелось воспользоваться этим, наверняка единственным случаем и узнать, как же всё было на самом деле...
Изольда сидела тихо, о чём-то задумавшись, как бы не решаясь воспользоваться этим единственным, так неожиданно представившимся ей случаем, и увидеться с тем, кого так надолго разъединила с ней судьба...
– Не знаю... Нужно ли теперь всё это... Может быть просто оставить так? – растерянно прошептала Изольда. – Ранит это сильно... Не ошибиться бы...