1. Вспомните формулировки (сильного/слабого) закона больших чисел и центральной предельной теоремы и научитесь применять их для выборок больших размеров.
  2. (Необязательно:) Примените неравенство Хеффдинга к выборочным средним ограниченного i.i.d. случайные переменные.
  3. Вспомните функцию плотности вероятности и свойства гауссовского распределения .
  4. Используйте таблицы вероятностей Гаусса для получения вероятностей и квантилей .
  5. Различайте конвергенцию почти наверное , конвергенцию по вероятности и конвергенцию по распределению , понимая, что эти понятия идут от самого сильного к самому слабому.
  6. Определить сходимость сумм и произведений последовательностей, сходящихся почти наверное или по вероятности.
  7. Примените теорему Слуцкого к сумме и произведению последовательности, сходящейся по распределению, и последовательности, сходящейся по вероятности к константе.
  8. Используйте теорему о непрерывном отображении, чтобы определить сходимость последовательностей функции случайных величин.

Вероятность является неотъемлемой частью статистики. С одной стороны, правда, стохастический процесс, процесс генерации данных, то есть генерация наблюдений, которые мы видим. С другой стороны, у нас есть лишь частичные наблюдения за ним. Вероятность говорит нам, как, учитывая правду, как будут выглядеть наблюдения.

Два важных инструмента вероятностного анализа

: Среднее значение случайных величин : LLT и CLT

1. Законы больших чисел (LLN, 큰 수의 법칙)

Мы заменяем ожидание средними значениями. И то, что оправдывает нас от этого, то, что говорит, что ожидания близки к средним, или средние или близки к ожиданиям, — это Закон Больших Чисел. Есть две версии.

Есть слабая версия и сильная версия. По сути, они говорят, что если вы возьмете среднее значение случайных величин от x1 до xn — так в прошлый раз мы видели, что мы обычно будем обозначать эту величину как xn bar, то они сходятся к этой величине mu, что является ожиданием каждого из этих парней.

Разница между слабой версией и сильной версией заключается в том, в каком смысле происходит эта конвергенция.

2. Центральная предельная теорема (CLT, 중심극한정리)

В частности, если у меня есть полоса xn, которая сходится к mu, когда n стремится к бесконечности, что в этом плохого? Хорошо, так как n стремится к бесконечности, может случиться так, что xn bar минус mu будет чем-то вроде 1 над log of log of log n. Итак, это не очень полезно, потому что это означает, что для заданного n, например, n равно 10 к 10 к 10, тогда это в основном 1 к 10, и это совсем не помогает. Это чрезвычайно медленно, но это не может быть исключено законом больших чисел.

И это, по сути, то, о чем говорят отклонения xn bar, типичный размер отклонений xn bar вокруг mu. Таким образом, xn bar не будет точно равно mu, у него будет некоторое внутреннее различие. И центральная предельная теорема говорит нам, что если вы возьмете xn bar и уберете mu, разделите на сигму, которая является стандартным отклонением x, а затем умножите все на квадратный корень из n, то эта вещь сходится к гауссиану.

Два важных вероятностных инструмента

Но что происходит, так это то, что важная часть количественного сообщения говорит нам о том, что если я скажу, что xn bar минус mu над сигмой примерно равно некоторому гауссову, стандартному гауссову, если вы нарисуете стандартный гауссов с высокой вероятностью, re собирается получить число между минус 3 и 3, с подавляющей вероятностью, почти с вероятностью 1, что означает, что эта величина будет числом между минус 3 и 3, с подавляющей вероятностью. Это означает, что если я сейчас посмотрю на xn bar минус mu, это будет меньше, чем 3-кратная сигма над квадратным корнем из n, с подавляющей вероятностью. Итак, теперь это дает нам нечто гораздо более интересное.

Роль гауссианы позволит нам быть предельно точными в отношении константы, которую мы получаем. И постоянная тройка не фигурировала в только что состоявшемся разговоре.

Неравенство Хёффдинга

: Небольшой размер выборки ограниченных случайных величин: неравенство Хёффдинга

Когда n недостаточно велико, мы все еще можем что-то сказать. Есть кое-что, что мы можем сказать для любого n. Даже когда n равно 2, мы действительно можем что-то сказать. Конечно, это будет не очень сильное заявление, но кое-что сказать можно. Итак, есть результат, называемый неравенством Хёффдинга.

Неравенство Хёффдинга — чрезвычайно важная величина. Если вы когда-нибудь напишете статью, скажем, о теоретическом машинном обучении, скорее всего, вы будете использовать неравенство Хёффдинга.

Вот как это происходит.

Прежде всего, вы должны наложить ограничения на используемые вами случайные величины. И я использую центральную предельную теорему. И я в основном предполагаю, что у меня было среднее значение и дисперсия. И это все, что мне было нужно. Здесь мне действительно нужно гораздо больше. Мне нужно, чтобы мои случайные величины были почти наверняка ограничены.

Вывод: среднее значение является хорошей заменой ожидаемому. И теперь мы не только замечаем, что закон больших чисел гарантирует это. Но мы также знаем, что неравенство Хёффдинга гарантирует, что для всех n это для всех.

Последствия

Свойства распределения Гаусса

Аффинное преобразование, стандартизация, симметрия

Режимы конвергенции

: Конвергенция почти наверное, по вероятности и по распределению

Те три типа сходимости, которые появились — их было два в законе больших чисел и один, который проявился в центральной предельной теореме.

Первое, что вы увидели в законе больших чисел, почти наверняка было сходимость для усиленного закона больших чисел и сходимость по вероятности. И последнее — сходимость по распределению, которая была в центральной предельной теореме.

Резюме

  • Средние значения случайных величин естественным образом встречаются в статистике.
  • Мы делаем предположения моделирования, чтобы применить результаты вероятности
  • Для большого размера выборки они согласованы (LLN), и мы знаем их распределение (CLT).
  • CLT дает (самую слабую) сходимость в распределении, но ее достаточно для вычисления вероятностей.
  • Мы используем стандартизацию и таблицы Гаусса для вычисления вероятностей и квантилей.
  • Мы можем выполнять операции (сложение, умножение, непрерывные функции) над последовательностями случайных величин.

Рекомендации. https://learning.edx.org/course/coursev1:MITx+18.6501x+2T2022/даты