DATA ENGINEERING ON GCP

• Desarrolladores responsables de la administración de las transformaciones big data, incluyendo:
• Extracción, carga, transformación, limpieza y validación de datos.
• Diseño de pipelines y arquitecturas para procesamiento de datos.
• Creación y administración de machine learning y modelos estadísticos.
• Realizar consultar a dataset, visualización de resultados de consultar y creación de reportes.

• Diseñar y construir sistemas de procesamiento de datos en Google Cloud Platform.
• Procesar datos batch y transferencia continua implementando canales de autoescalado de datos en Cloud Dataflow.
• Conseguir información de negoción de datasets enormes utilizando Google BigQuery.
• Evaluar y predecir utilizando modelos machine learning utilizando Tensorflow y Cloud ML.
• Hacer uso de datos no estructurado utilizando Spark y APIs ML en Cloud Dataproc.
• Habilitar información instantánea de la transferencia continua de datos.
• Habilitar información instantánea de la transferencia continua de datos.
• Proporcionar información, consejos y sugerencias de cara a la realización del examen de certificación asociado al presente curso.
• Revisar en profundidad varios ejemplos de estudio de casos.
• Identificar aquellas áreas de estudio en las deban mejorar.

1. DESCRIPCIÓN GENERAL DE GOOGLE CLOUD DATAPROC..
1.1. Creando y administrando clústeres.
1.2. Aprovechando los tipos de máquina personalizados y los nodos de trabajadores preferentes.
1.3. Escalar y eliminar clústeres.
1.4. Laboratorio: Creación de clústeres Hadoop con Google Cloud Dataproc

2. EJECUCIÓN DE TRABAJOS DE DATAPROC.
2.1. Ejecución de trabajos Pig y Hive.
2.2. Separación de almacenamiento y cálculo.
2.3. Laboratorio: ejecutar Hadoop y Spark Jobs con Dataproc.
2.4. Laboratorio: enviar y monitorear trabajos.

3. INTEGRANDO DATAPROC CON GOOGLE CLOUD PLATFORM.
3.1. Personalice el clúster con acciones de inicialización.
3.2. Soporte BigQuery.
3.3. Laboratorio: Aprovechamiento de Google Cloud Platform Services.

4. DAR SENTIDO A LOS DATOS NO ESTRUCTURADOS CON LAS API.
4.1. API de Aprendizaje automático de Google.
4.2. Casos de uso de ML comunes.
4.3. Invocando ML API.
4.4. Laboratorio: Agregar capacidades de aprendizaje automático al análisis de Big Data.
4.5. Análisis de datos sin servidor con Google BigQuery y Cloud Dataflo.

5. ANÁLISIS DE DATOS SIN SERVIDOR CON BIGQUERY.
5.1. Qué es BigQuery?
5.2. Consultas y funciones.
5.3. Laboratorio: escribir consultas en BigQuery.
5.4. Cargando datos en BigQuery.
5.5. Exportar datos de BigQuery.
5.6. Laboratorio: carga y exportación de datos.
5.7. Campos anidados y repetidos.
5.8. Consultando múltiples tablas.
5.9. Laboratorio: consultas complejas.
5.10. Rendimiento y fijación de precios.

6. Canalizaciones de datos de escalado automático sin servidor con Dataflow.
6.1. El modelo de programación Beam.
6.2. Canalizaciones de datos en Beam Python.
6.3. Canalizaciones de datos en Beam Java.
6.4. Laboratorio: escribir una canalización de flujo de datos.
6.5. Procesamiento escalable de Big Data usando Beam.
6.6. Laboratorio: MapReduce en Dataflow.
6.7. Incorporando datos adicionales.
6.8. Laboratorio: entradas laterales.
6.9. Manejo secuencial de datos.
6.10. Arquitectura de referencia GCP.
6.11. Aprendizaje automático sin servidor con TensorFlow en Google Cloud Platform.

7. PRIMEROS PASOS CON EL APRENDIZAJE AUTOMÁTICO.
7.1. ¿Qué es el aprendizaje automático (ML)?
7.2. ML efectivo: conceptos y tipos.
7.3. Conjuntos de datos ML: generalización.
7.4. Laboratorio: explore y cree conjuntos de datos ML.

8. CREACIÓN DE MODELOS ML CON TENSORFLOW.
8.1. Comenzando con TensorFlow.
8.2. Laboratorio: utilizando Tensor Flow Learn.
8.3. TensorFlow gráficos y bucles + laboratorio.
8.4. Laboratorio: uso de TensorFlow de bajo nivel + detención temprana.
8.5. Monitorización de entrenamiento ML.
8.6. Laboratorio: Gráficos y gráficos del entrenamiento TensorFlow.
8.7. Sesión 9: Modelos ML de escalabilidad con CloudML.
8.8. ¿Por qué Cloud ML?
8.9. Empaquetado de un modelo TensorFlow.
8.10. Entrenamiento de extremo a extremo.
8.11. Laboratorio: ejecute un modelo ML localmente y en la nube.
8.12. Sesión 10: Ingeniería de funciones.
8.13. Creando buenas características.
8.14. Transformando las entradas.
8.15. Características sintéticas.
8.16. Pre-procesamiento con Cloud ML.
8.17. Laboratorio: ingeniería de funciones.
8.18. Creación de sistemas de transmisión flexibles en Google Cloud Platform.

9. ARQUITECTURA DE LAS TUBERÍAS DE ANÁLISIS DE TRANSMISIÓN.
9.1. Procesamiento de datos de flujo: desafíos.
9.2. Manejo de volúmenes de datos variables.
9.3. Tratar con datos desordenados / tardíos.
9.4. Laboratorio: Diseño de canalización de transmisión.

10. INGESTIÓN DE VOLÚMENES VARIABLES.
10.1. ¿Qué es Cloud Pub / Sub?
10.2. Cómo funciona: temas y suscripciones.
10.3. Laboratorio: Simulador.

11. IMPLEMENTACIÓN DE TUBERÍAS DE TRANSMISIÓN.
11.1. Desafíos en el procesamiento de flujo.
11.2. Manejar datos tardíos: marcas de agua, desencadenantes y acumulación.
11.3. Laboratorio: secuencia de procesamiento de datos de flujo para datos de tráfico en vivo.

12. ANÁLISIS Y CUADROS DE MANDO DE STREAMING.
12.1. Streaming analytics: de datos a decisiones.
12.2. Consulta de datos de transmisión con BigQuery.
12.3. ¿Qué es Google Data Studio?
12.4. Laboratorio: construya un tablero en tiempo real para visualizar los datos procesados.

13. ALTO RENDIMIENTO Y BAJA LATENCIA CON BIGTABLE.
13.1. ¿Qué es Cloud Spanner?
13.2. Diseñando el esquema de Bigtable.
13.3. Ingerir en Bigtable.
13.4. Laboratorio: transmisión a Bigtable

• Estar registrado como empleado activo en la Seguridad Social, ya sea como trabajador por cuenta propia o ajena, o como solicitante de empleo en el Servicio Público de Empleo Estatal (SEPE). 
• Para cada curso al que el alumno quiera asistir, recopilar y devolver al centro de formación la documentación que se le solicitará.
• Atender al menos a un 75% de la extensión del curso para poder recibir el diploma de asistencia correspondiente.
• Contar con las habilidades necesarias para utilizar la plataforma virtual WEBEX, que se emplea en la formación.