Data Engineering with Google Cloud Platform

Abstract

With this book, you will understand how Google Cloud Platform enables data engineers to create scalable data pipelines from storing and processing data to orchestrating workflows and presenting data through visualizations. Starting with an overview of fundamental data engineering concepts, you will learn about the responsibilities of a data engineer and the role of Google Cloud in fulfilling these responsibilities.. As you progress through the book, you will be able to use GCP products to create a sample data warehouse using Cloud Storage and BigQuery, and a data lake using Dataproc. The book will gradually guide you through operations such as data ingestion, cleaning, transformation, and integration with other sources. You will learn how to design identity and access management (IAM) for data governance, deploy machine learning (ML) pipelines with Vertex AI, use pre-built GCP models as services, and visualize data with Google Data Studio for creating compelling reports. This book is for data engineers, analy

Используемые программы Adobe Acrobat

Руководство позволяет инженерам по обработке данных создавать с помощью облачной платформы Google масштабируемые конвейеры обработки данных - от хранения и обработки данных до организации рабочих процессов и представления данных с помощью визуализаций. Представлен обзор основных концепций разработки данных, описана роль Google Cloud в осуществлении деятельности инженера по обработке данных. Рассмотрено использование продуктов GCP для создания образца хранилища данных с использованием облачного хранилища и BigQuery, а также озера данных с использованием Dataproc. Подробно описаны такие операции, как прием данных, очистка, преобразование и интеграция с другими источниками. Представлена информация о разработке системы управления идентификацией и доступом (IAM) для управления данными, внедрении конвейеров машинного обучения (ML) с помощью Vertex AI, использовании готовых модели GCP в качестве сервисов и визуализации данных с помощью Google Data Studio для создания убедительных отчетов. Книга предназначена для ин