Делайте ставку на low-code/no-code и serverless

Гибкая архитектура — это та, которая дает вам:

  • Скорость разработки. Вы должны быть в состоянии перейти от идеи к развертыванию как можно быстрее.
  • Гибкость для быстрого внедрения новых функций. Иногда скорость достигается за счет гибкости — архитектура может втиснуть вас в очень ограниченный набор вариантов использования. Вы этого не хотите.
  • Не требует особого обслуживания, поэтому вы не тратите время на управление инфраструктурой.
  • Автомасштабирование и отказоустойчивость, чтобы вы не тратили время на мониторинг инфраструктуры.

Как такая архитектура выглядит в Google Cloud, когда речь идет об аналитике данных и искусственном интеллекте? Он будет использовать услуги с низким кодом и без кода (предварительно созданные соединители, автоматическая репликация, ELT, AutoML), чтобы вы могли ускорить разработку. Для гибкости архитектура позволит вам перейти к удобному для разработчиков, мощному коду (Apache Beam, SQL, TensorFlow) всякий раз, когда это необходимо. Они будут работать в бессерверной инфраструктуре (Pub/Sub, Dataflow, BigQuery, Vertex AI), так что вы получите низкие эксплуатационные расходы, автоматическое масштабирование и отказоустойчивость.

Аналитика без кода, с низким кодом и стек ИИ

Когда дело доходит до архитектуры, выбирайте отсутствие кода, а не низкий код, и низкий код, а не написание пользовательского кода. Вместо создания конвейеров ETL для преобразования данных, которые вам нужны, прежде чем отправить их в BigQuery, используйте предварительно созданные соединители (в Data Fusion, Datastream, Data Transfer Service, Dataflow Templates, FiveTran и т. д.), чтобы напрямую передавать необработанные данные в BigQuery. . Затем преобразуйте данные в нужную вам форму с помощью представлений SQL непосредственно в хранилище данных. Вы будете намного более гибкими, если выберете подход ELT вместо подхода ETL.

Другое дело, когда вы выбираете свою среду моделирования машинного обучения. Не начинайте с пользовательских моделей TensorFlow. Начните с AutoML. Это без кода. Вы можете вызывать AutoML непосредственно из BigQuery, избегая необходимости создавать сложные данные и конвейеры машинного обучения. При необходимости переходите к готовым моделям из TensorFlow Hub, HuggingFace и т. д. и к готовым контейнерам на Vertex AI. Это низкий код. Создавайте свои собственные модели машинного обучения только в крайнем случае.

Используйте управляемые службы

Вы захотите иметь возможность перейти к коду, если подход с низким кодом слишком ограничителен. К счастью, приведенная выше архитектура без кода является подмножеством этой полной архитектуры, которая дает вам всю необходимую гибкость:

Когда это оправдано вариантом использования, вы получите полную гибкость Apache Beam, SQL и TensorFlow. Это очень важно — для случаев использования, когда подход ELT + AutoML слишком ограничителен, у вас есть возможность перейти к подходу ETL/Dataflow + Keras/Vertex.

Лучше всего то, что архитектура унифицирована, поэтому вы не поддерживаете два стека. Поскольку первая архитектура является подмножеством второй, вы можете выполнять как простые, так и сложные варианты использования унифицированным способом.

Наслаждаться!