Что такое интеллектуальный анализ данных?
Интеллектуальный анализ данных. Наиболее общепринятое определение «интеллектуального анализа данных» — это обнаружение «моделей» для данных.
Статистики были первыми, кто использовал термин «интеллектуальный анализ данных». Первоначально «интеллектуальный анализ данных» или «выемка данных» были уничижительным термином, относящимся к попыткам извлечь информацию, которая не подтверждается данными.
Вычислительные подходы к моделированию
- Резюмируя данные кратко и приблизительно,
- Извлечение наиболее заметных особенностей данных и игнорирование остальных.
Статистический вывод интеллектуального анализа данных
Согласно принципу Бонферрони, принцип Бонферрони представляет собой статистический метод учета этих случайных событий. Чтобы использовать его, определите количество ожидаемых случайных событий, представляющих интерес, в наборе данных, и если наблюдаемое число значительно превышает это число, шансы на то, что какие-либо наблюдения предоставят полезную информацию, практически равны нулю.
Замучаете данные, и он сознается в чем угодно. Рональд Коуз, экономист, лауреат Нобелевской премии.
Давайте продемонстрируем принцип Бонферрони на примере
Пример принципа Бонферрони Предположим, что существуют некие «злодеи», и мы хотим их обнаружить. Предположим далее, что у нас есть основания полагать, что злодеи периодически собираются в гостинице, чтобы замышлять свое зло. Сделаем следующие предположения относительно размера задачи:
- Есть один миллиард людей, которые могут быть злодеями.
- Каждый едет в отель один день из 100.
- Гостиница рассчитана на 100 человек.
Следовательно, существует 100 000 отелей — этого достаточно, чтобы вместить 1% от миллиарда человек, посещающих отель в любой день. 4. Изучим гостиничные записи за 1000 дней. Чтобы найти в этих данных злоумышленников, будем искать людей, которые в два разных дня оба были в одном и том же отеле. Предположим, однако, что злодеев действительно нет. То есть каждый ведет себя случайным образом, решая с вероятностью 0,01 посетить гостиницу в любой день, и если да, то выбирая одну из 105 гостиниц наугад. Найдем ли мы какие-нибудь пары людей, которые кажутся злодеями? Мы можем сделать простой приблизительный расчет следующим образом. Вероятность того, что любые два человека решат посетить отель в любой день, равна 0,0001. Вероятность того, что они посетят один и тот же отель, равна этой вероятности, деленной на 105, количество отелей. Таким образом, вероятность того, что они посетят один и тот же отель в один день, равна 10−9. Вероятность того, что они посетят один и тот же отель в два разных заданных дня, равна квадрату этого числа, 10−18. Обратите внимание, что в эти два дня отели могут быть разными. Теперь мы должны рассмотреть, сколько событий укажет на совершение зла. «Событие» в этом смысле — это пара людей и пара дней, так что два человека были в одном и том же отеле в каждый из двух дней. Для упрощения арифметики заметим, что для больших n n 2 равно примерно n 2/2. В дальнейшем мы будем использовать это приближение. Таким образом, количество пар людей равно 109 2 = 5 × 1017. Количество пар дней равно 1000 2 = 5 × 105. Ожидаемое количество событий, похожих на злодеяния, есть произведение количества пар людей, количество пар дней и вероятность того, что любая пара людей и пара дней являются примером поведения, которое мы ищем. Это число равно 5 × 1017 × 5 × 105 × 10−18 = 250 000. То есть будет четверть миллиона пар людей, похожих на злодеев, хотя на самом деле ими не являющихся. Теперь предположим, что на самом деле есть 10 пар злодеев. Полиции потребуется расследовать четверть миллиона других пар, чтобы найти настоящих злодеев. Вдобавок к посягательству на жизни полумиллиона невинных людей, проделанная работа настолько велика, что такой подход к поиску преступников, вероятно, неосуществим.
