Удобный для начинающих исследовательский анализ данных по набору данных о выживаемости рака молочной железы Хабермана

В этой статье я рассмотрю набор данных Хабермана и проведу исследовательский анализ данных, который станет хорошим стартом для тех, кто только начал свой путь к изучению науки о данных или аналитике данных. На момент написания я также находился на очень ранней стадии изучения концепций и методов науки о данных. Итак, я открыт для обратной связи и конструктивной критики, поскольку они помогут мне лучше понять. Хорошо, хватит разговоров, давайте сразу погрузимся в набор данных!

Набор данных можно скачать с kaggle по следующей ссылке https://www.kaggle.com/gilsousa/habermans-survival-data-set. Если вы новичок в Kaggle, это веб-сайт, на котором есть множество наборов данных для выполнения, изучения машинного обучения, участия в соревнованиях и связи с сообществом. По ссылке вы можете скачать набор данных после входа в Kaggle.

После загрузки CSV-файла при его открытии вы увидите 4 столбца, заполненные какими-то числами без заголовка (имени столбца). Для этого вы можете снова перейти по приведенной выше ссылке и перейти к подробным сведениям для файла CSV.

В разделе сведений вы найдете всю важную информацию о наборе данных, такую ​​как источник набора данных, информацию о столбцах и их значениях. Набор данных Хабермана содержит информацию из тематического исследования, чтобы распознать любую закономерность для прогнозирования рака молочной железы среди 306 пациентов. Набор данных имеет возраст пациентов (числовое значение), год операции пациента (значение уменьшено до -> год-1900 для удобства, числовое), количество обнаруженных положительных подмышечных узлов (числовое) и метку класса, которая имеет 2 класса -> 1 и 2, где 1 присутствует, когда больной выжил более 5 лет после операции, и 2, когда больной умер в течение 5 лет после операции.

Теперь аналитики данных или специалисты по данным должны иметь некоторые знания в предметной области относительно проблемы, которую они решают. В данном наборе данных мы (как и немедицинские работники) понятия не имеем о количестве обнаруженных положительных подмышечных узлов. Итак, давайте найдем базовые знания об этом термине.

Согласно Википедии, положительный подмышечный лимфатический узел — это лимфатический узел в области подмышечной впадины (подмышечной впадины), на который распространился рак. Это распространение определяется путем хирургического удаления некоторых лимфатических узлов и их изучения под микроскопом, чтобы увидеть, присутствуют ли раковые клетки.

Теперь мы можем начать с импорта набора данных в блокнот Jupyter и продолжить анализ.

Сначала мы импортируем все необходимые библиотеки, а затем набор данных.

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

Поскольку в нашем наборе данных нет имен столбцов, мы должны импортировать набор данных и присвоить имена столбцов каждому столбцу. После этого мы увидим 5 верхних строк просто для проверки.

haberman=pd.read_csv(r'C:\Users\u363200\Downloads\haberman dataset\haberman_columns.csv')
haberman.columns=['Age','Operation_Year','Positive_axillary_nodes_detected','Survived_5years_or_not']
haberman.head()

Выход-

Хорошо, теперь помните,наша цель — определить переменные/характеристики, которые имеют отношение к определению того, прожил ли пациент 5 лет или больше или нет. Итак, мы можем сказать, что наши входные данные - это возраст, год операции, обнаруженные положительные подмышечные узлы и выходные данные, пережившие 5 лет или нет.

Давайте проверим некоторую высокоуровневую информацию и статистику о наборе данных.

print(haberman.shape)

Выход-

(306,4)

Здесь dataset.shape дает нам размеры таблицы, то есть количество строк и количество столбцов. Мы можем сказать, что общее количество точек данных, которые у нас есть, составляет 306, а общее количество столбцов или функций (вход + вывод) равно 4.

Далее мы хотели бы увидеть некоторую статистическую информацию о числовых функциях, присутствующих в наборе данных.

haberman.describe()

Выход-

dataset.describe() дает нам всю высокоуровневую статистическую информацию о наборе числовых данных. Здесь стандартное отклонение означает стандартное отклонение, 25% — это значение 25-го процентиля (25% всех значений ниже этой точки) и аналогично с 50% и 75%.

Теперь нам нужно проверить метаданные, то есть данные о наборе данных (типы каждого столбца, отсутствующие значения и т. д.). Для этого используется следующий код

haberman.info()

Выход-

Здесь мы видим, что все столбцы данных имеют целочисленный тип и все значения не равны нулю. Так как это проблема классификации по определению того, какие признаки могут помочь нам получить некоторую закономерность для успешного выживания пациентов в течение 5 или более лет, и мы не собираемся применять какую-либо модель машинного обучения, на данный момент мы можем изменить тип данных Survived_5years_or_not на строковый тип со значением «да», если пациент прожил 5 и более лет (=1), и «нет», если не прожил 5 лет.

Для этого мы можем создать простую функцию отображения, которая будет отображать все 1 с «да» и 2 с «нет».

boolean_convertor={1:'yes',2:'no'}
haberman['Survived_5years_or_not']=haberman['Survived_5years_or_not'].map(boolean_convertor)
haberman.head()

Выход-

Во-первых, я создал словарь с именем boolean_convertor, в котором есть ключи 1,2 (которые вводятся) и значения «да», «нет» (которые выводятся). Затем я использовал .map() для отображения этого словаря на Survived_5years_or_not. Наконец, я напечатал первые 5 строк, чтобы проверить, работает ли сопоставление. Оно работает!

Количество точек данных для каждой категории можно рассчитать с помощью .value_counts(). Эта функция даст нам количество точек данных (строк), доступных для каждой категории.

haberman['Survived_5years_or_not'].value_counts()

Выход-

Таким образом, имеется 225 точек данных из 306, где пациент прожил 5 или более лет, и 81 точка данных были неудачными пациентами, которые не могли выжить. Это несбалансированный набор данных (обе точки данных категории разные).

Чтобы проанализировать сразу все столбцы с категориями «да» и «нет», мы можем использовать парные графики. Парные графики — отличный инструмент для визуализации двух признаков или столбцов одновременно для многомерного анализа (более двух признаков, независимых переменных). На самом деле это матрица графиков n * n, где n — функция/независимая переменная. Давайте, как мы можем построить парные графики

sns.set_style("whitegrid");
sns.pairplot(haberman, hue="Survived_5years_or_not", height=4);
plt.show()

Выход-

Давайте сначала разберемся с кодом, а затем я попытаюсь получить представление о парном графике.

sns.FacetGrid() создает сетку/матрицу для ваших переменных и принимает данные из набора данных, категория берется в виде цвета (оттенка), т.е. ваши категории будут иметь разные цвета. .set_style("whitegrid") устанавливает фон/холст как белый с линиями сетки.

Если вы погуглите FacetGrid, определение TutorialPoints говорит:

«Объект FacetGrid принимает в качестве входных данных фрейм данных и имена переменных, которые будут формировать измерения строки, столбца или оттенка сетки. Переменные должны быть категориальными, и данные на каждом уровне переменной будут использоваться для аспекта вдоль этой оси. Объект FacetGrid принимает фрейм данных в качестве входных данных и имена переменных, которые будут формировать строку, столбца или оттенка сетки. Переменные должны быть категориальными, и данные на каждом уровне переменной будут использоваться для аспекта вдоль этой оси».

Он принимает входные данные в виде .pairplot(dataset,hue=categorical_column,height=size or shape), а в последней строке .add_legend() будет использовать легенду, чтобы понять, какой цвет представляет какую категорию.

Здесь мы видим, что графики этих диагональных элементов отличаются от графиков остальных. Графики, кроме диагональных, имеют 2 разные функции, которые можно увидеть по осям x и y, поэтому, когда мы строим 2 числовые разные функции, мы получаем графики рассеяния (https://www.mathsisfun.com/data/scatter). -xy-plots.html отличная статья для изучения точечных диаграмм).

Теперь диагональные элементы имеют оси x и y в виде одних и тех же столбцов, поэтому вместо графиков рассеяния присутствуют графики плотности. Графики плотности представляют собой сглаженные версии гистограммы на очень расплывчатом языке, но оба дают нам распределение точек данных (частоту значений в диапазоне).

Хорошо, давайте сосредоточимся на цели (найти график, который поможет нам легко отличить оранжевый цвет (нет) от синего (да)). В идеале нам нужен график, на котором четко видны оранжевая и синяя части. В нашем случае нет графа, удовлетворяющего нашему условию. Все показанные графики имеют хорошо смешанные категории, которые трудно разделить. Но функция плотности вероятности или график PDF для Positive_axillary_nodes_detected показывает некоторую разницу между оранжевым и синим цветом. Итак, мы можем попробовать выполнить одномерный анализ для Positive_axillary_nodes_detected, чтобы выделить столбец Survived_5years_or_not.

Давайте разделим наш набор данных на 2 набора данных (Survived_5years_or_not="yes" и Survived_5years_or_not="no"), чтобы упростить однофакторный анализ Positive_axillary_nodes_detected проще.

haberman_yes=haberman[haberman['Survived_5years_or_not']=="yes"]
haberman_no=haberman[haberman['Survived_5years_or_not']=="no"]

Теперь мы создадим функции плотности вероятности (PDF) и функции кумулятивной плотности (CDF) для обоих Positive_axillary_nodes_detected в обоих наших наборах данных haberman_yes и haberman_no.

PDF на очень простом языке - это сглаженные версии гистограмм, они дают вероятность наступления какого-либо конкретного небольшого интервала (потому что вероятность того, что какое-то событие произойдет в определенной точке, всегда равна 0, мы работаем для очень малых интервалов). Некоторые из всех значений оси Y в pdf приведут к 1, и все значения находятся между 0 и 1. Помните, что PDF имеет очень техническое определение, которое может быть не поглощено всеми, поэтому я изложил его очень простым языком. . (https://www.itl.nist.gov/div898/handbook/eda/section3/eda362.htm см. это для подробного определения)

Точно так же CDF (кумулятивные функции плотности) представляют собой интегралы PDF по интервалу. В любой точке x=c на кривой CDF она сообщает нам вероятность того, что событие произошло до CDF(x=c)=P(x≤c) (сумма всех вероятностей от x=0 до x=c). Интеграция PDF даст нам CDF, а дифференцирование CDF даст нам PDF за определенный интервал. Они оба помогают нам понять данные и их поведение в одномерном анализе.

Давайте построим cdf и pdf для haberman_yes[‘Positive_axillary_nodes_detected’]-

counts, bin_edges = np.histogram(haberman_yes['Positive_axillary_nodes_detected'], bins=np.arange(-2,22,2), density = True)
pdf = counts/(sum(counts))
cdf = np.cumsum(pdf)
plt.plot(bin_edges[1:],pdf)
plt.plot(bin_edges[1:], cdf)

Выход-

Показанный выше код сначала создает количество (частоту) и bin_edges, которые будут использоваться для создания гистограммы для нашего желаемого столбца («положительные узлы»), затем pdf (здесь список) может быть создан из гистограммы, просто разделив количество на сумму считает. И, наконец, NumPy имеет простую функцию .cumsum(), которая создает CDF (опять же список), получая ввод pdf. Наконец, я нарисовал их с помощью bin_edges (начало с [1:], чтобы количество элементов совпадало)

Статистика-

Из рисунка 8 видно, что CDF при Positive_axillary_nodes_detected =5 составляет почти 0,85, что означает, что 85 процентов всех пациентов, выживших через 5 и более лет после операции, имели положительные подмышечные узлы, обнаруженные менее 5. em>

counts, bin_edges = np.histogram(haberman_no['Positive_axillary_nodes_detected'], bins=np.arange(-2,22,2), density = True)
pdf = counts/(sum(counts))
cdf = np.cumsum(pdf)
plt.plot(bin_edges[1:],pdf)
plt.plot(bin_edges[1:], cdf)

haberman.groupby(‘Survived_5years_or_not’).Positive_axillary_nodes_detected.mean()

Survived_5years_or_not
no     7.456790
yes    2.791111
Name: Positive_axillary_nodes_detected, dtype: float64

haberman.groupby(‘Survived_5years_or_not’).Positive_axillary_nodes_detected.median()

Survived_5years_or_not
no     4
yes    0
Name: Positive_axillary_nodes_detected, dtype: float64

haberman.groupby(‘Survived_5years_or_not’).Positive_axillary_nodes_detected.std()

Survived_5years_or_not
no     9.185654
yes    5.870318
Name: Positive_axillary_nodes_detected, dtype: float64

from statsmodels import robust
print(robust.mad(haberman_yes['Positive_axillary_nodes_detected']))
print(robust.mad(haberman_no['Positive_axillary_nodes_detected']))

0.0
5.930408874022408

sns.boxplot(x=’Survived_5years_or_not’,y=’Positive_axillary_nodes_detected’, data=haberman)
plt.show()

sns.violinplot(x="Survived_5years_or_not", y="Positive_axillary_nodes_detected", data=haberman, size=8)
plt.show()