«Ученый по данным» уже некоторое время является горячей ролью. Многие организации на самом деле загружают свои команды аналитиками и специалистами по обработке и анализу данных, прежде чем узнают, над какими проблемами они хотят работать, или настроят конвейеры данных.
Но прежде чем вы получите пользу от своих аналитиков, вам нужно убедиться, что данные передаются в вашей организации.
Как сделать поток данных?
Шаг 1. Соберите, очистите и сохраните
Вы должны записывать все важные данные из приложений и систем, которыми вы владеете. Если вы полагаетесь на внешние данные, вам также необходимо собирать, очищать и хранить их.
Стрелки могут включать автоматический или полуавтоматический сбор, очистку от основных проблем, а затем этап загрузки данных.
Хранилищем данных могут быть просто файлы на вашем ПК для ваших индивидуальных проектов. Но это означает, что ваши коллеги не могут легко получить доступ к данным, которые вы собрали.
Использование серверной системы управления базами данных, такой как postgres или MySQL, позволяет многим людям подключаться и использовать данные, а также упрощает передачу данных наружу.
Существуют также облачные бессерверные технологии, такие как Google BigQuery, которые могут выступать в качестве вашего хранилища данных.
Если вы работаете с наборами геопространственных данных, postgres (с расширением postgis) и BigQuery — хорошие варианты для начала. Многие геопространственные задачи, такие как расстояние от точки до линии, находится ли точка внутри многоугольника или поиск ближайшего ориентира, могут быть решены здесь с помощью простых запросов.
Но обработка многомерных наборов растровых данных (например, данных модели погоды) является более сложной задачей. Если ваша конечная цель — отобразить данные на веб-сайте, хорошо подойдет мозаичная модель с файлами GeoTIFF. Однако, если вы хотите провести анализ, большинство экспертов выбирают формат netCDF.
Но файлы netCDF имеют несколько ограничений. Вы должны сделать управление файлами самостоятельно.
Проект pangeo пытался решить эту проблему, используя мощь облака с экосистемой, которая использует xarray, dask и zarr для хранения практически неограниченных растровых данных и выделения необходимой вычислительной мощности для их обработки.
Стек технологий для вашего хранилища данных должен зависеть от желаемой функциональности, количества пользователей, типа и размера данных и способов, которыми пользователи захотят использовать данные.
Шаг 2. Охватите нужную аудиторию правильным способом
Некоторые из ваших сотрудников могут захотеть углубиться в данные и построить модели с помощью статистических инструментов. Другие могут просто захотеть построить линию тренда без написания кода.
Вы можете захотеть продемонстрировать некоторые визуализации на своем веб-сайте или подключить их к системе, которая нуждается в них для создания собственных выходных данных.
Для аналитиков и менеджеров, которым понадобятся инструменты без кода, теперь есть множество вариантов, таких как PowerBI, Tableau, Metabase, Google Data Studio, Kibana и т. д. Большинство этих инструментов подключаются к нескольким базам данных.
Apache Superset — это развивающийся вариант с открытым исходным кодом, который является очень мощным и может поддерживать большие группы сотрудничающих аналитиков.
Нам также необходимо создавать API или настраиваемые конвейеры для подключения данных к коду и другим системам. Преимущество API в том, что вам не нужно делать отдельные привязки к каждой целевой системе. Любая система, которой нужны данные, может напрямую запросить API.
Но иногда функциональность API может быть ограничена с точки зрения объема данных и уровня детализации. В таких ситуациях вы можете использовать прямые подключения к базе данных, используя такие пакеты, как SQLAlchemy для python.
Большинство платформ машинного обучения также предварительно подключаются к нескольким базам данных, и вы можете выяснить, какие из них вам подходят.
Установка всего необходимого программного обеспечения и пакетов может оказаться непростой задачей для многих аналитиков. Существуют управляемые среды, которые могут упростить это.
Управляемую среду кодирования в облаке, такую как Google Colab, легко настроить и масштабировать в соответствии с вашими требованиями. Проект JupyterHub позволяет использовать все это в мире с открытым исходным кодом. Вы можете предварительно установить необходимые пакеты для своих пользователей, и они смогут войти в систему через браузер и включить передачу данных!
Это позволит вам завершить картину!
Отраслевой термин для создания потока данных — «инженерия данных». Вы должны убедиться, что у вас есть ресурсы и инфраструктура для обработки данных, прежде чем вы сможете извлечь весь потенциал из имеющихся у вас данных!
Earthmetry — поставщик наборов данных и размещенных сред, позволяющих вашим аналитикам работать с важными наборами данных в области энергетики, загрязнения воздуха, климата и других смежных областях.
Мы не просто предоставляем вам данные. Мы можем сделать так, чтобы это дошло до нужной аудитории правильным образом!
