Публикации по теме 'data-preprocessing'
Различные методы нормализации
Нормализация направлена на преобразование функций, чтобы они были в одинаковом масштабе. Это улучшает производительность и стабильность обучения модели.
Допустим, мы хотим предсказать цену дома и иметь две характеристики: количество комнат и площадь. В этом случае вы можете быстро понять, что диапазон, в котором работает каждая функция, сильно отличается от другого. В таком случае нам нужно нормализовать данные и не позволять ни одному из них доминировать над другим.
Существует..
Введение в предварительную обработку данных для машинного обучения и науки о данных
Предварительная обработка данных — это процесс подготовки необработанных данных и приведения их в соответствие с моделью машинного обучения. Это первый и решающий шаг при создании модели машинного обучения.
При создании проекта машинного обучения мы не всегда сталкиваемся с чистыми и отформатированными данными. И при выполнении любой операции с данными, в обязательном порядке очищать их и выкладывать в форматированном виде. Поэтому для этого мы используем задачу предварительной обработки..
Как и зачем выполнять горячее кодирование в вашем проекте по науке о данных
Статья о том, что такое горячее кодирование, зачем его использовать и как это сделать (на Python)
При работе с реальными данными часто возникают наборы данных со «смешанными» значениями: строками и числами. Если вы новичок в мире наук о данных и машинного обучения, вы обычно находите «идеально красивые» столбцы (в лучшем случае, с некоторыми Nans), часто с масштабированными значениями. Но когда дело доходит до реальных данных, нам часто приходится иметь дело с беспорядочными данными...
Как использовать порядковое кодирование для преобразования категориальных переменных в Python
Категорические переменные – это переменные с ограниченным числом значений, также называемые категориями. Эти категории не имеют естественного порядка или ранжирования, например, цвет, пол и т. д. В машинном обучении категориальные переменные необходимо преобразовать в числовую форму для работы различных алгоритмов. Существует несколько методов кодирования категориальных переменных, и одним из самых популярных является порядковое кодирование. В этом руководстве мы узнаем, как..
От оптического распознавания хаоса к оптическому распознаванию символов: автостопом по сортировке…
Вы устали щуриться на экран, пытаясь разобраться в искаженном тексте, выдаваемом вашей ультрасовременной системой OCR? Вы когда-нибудь чувствовали, что ваш вывод OCR больше похож на авангардную поэзию, чем на простой английский? Что ж, вы не одиноки. Известно, что системы OCR преобразуют простое текстовое изображение в строку символов, которые выглядят так, как будто они были случайно набраны на клавиатуре. Но не беспокойтесь! Наше руководство поможет вам освоить волшебство машинного..
Важность предварительной обработки данных и тонкой настройки
Предварительная обработка данных и точная настройка — одни из наиболее важных методов, которые могут значительно повысить производительность вашей модели. Давайте проведем небольшой эксперимент, чтобы понять влияние этих методов.
Предварительная обработка данных — это процесс, в котором мы обновляем необработанные данные, чтобы сделать их подходящими для нашей модели машинного обучения. Тонкая настройка — это метод выбора наилучшего набора гиперпараметров для данной модели.
Для..
Справляться с разнообразием больших данных
Что ж, как мы видели в статье Что такое большие данные , одним из характеризующих V является Разнообразие данных. Пока мы ограничиваемся использованием баз данных компании, мы все еще можем иметь некоторый контроль над данными и получать их максимально структурированным и доступным способом, но когда дело доходит до больших данных, у нас есть множество источников, а это означает, что нам часто приходится извлекать данные извне.
Управление таким большим объемом данных ни в коем случае не..
