Resumen Alineacion de Estrategias de negocios y TI

STORAGE (GSUTIL)

gsutil es una aplicación de Python que te permite acceder a Cloud Storage desde la línea de comandos. Puede usar gsutil para realizar una amplia gama de tareas de administración de objetos y depósitos, que incluyen:

• Creación y eliminación de buckets.
• Cargar, descargar y eliminar objetos.
• Listado de buckets and objetos.
• Mover, copiar y renombrar objetos.
• Edición de objetos y bucket ACLs.
• Trabajar con Buckets

Creating Storage Buckets

gsutil mb gs://[BUCKET_NAME]/

Optional

• -p: Especifica el proyecto con el que se asociará tu bucket.
• -c: Especifique la clase de almacenamiento por defecto de su bucket.
• -l: Especifica la ubicación de tu bucket.

gsutil mb -p [PROJECT_NAME] -c [STORAGE_CLASS] -l [BUCKET_LOCATION] gs://[BUCKET_NAME]/

Listing Buckets

gsutil ls

Getting Bucket Information

• Determinar el tamaño de un bucket (bytes)

gsutil du -s gs://[BUCKET_NAME]/

• Visualización de la ubicación de un bucket y la clase de almacenamiento predeterminada

gsutil ls -L -b gs://[BUCKET_NAME]/

Changing the Default Storage Class of a Bucket

gsutil defstorageclass set [STORAGE_CLASS] gs://[BUCKET_NAME]

Moving and Renaming Buckets

• Copiar

gsutil –m cp gs://[SOURCE_BUCKET]/fact_trx_*.csv gs://[DESTINATION_BUCKET]

• Mover

gsutil mv gs://[SOURCE_BUCKET_NAME]/[SOURCE_OBJECT_NAME] gs://[DESTINATION_BUCKET_NAME]/[DESTINATION_OBJECT_NAME]

• Borrar

• Con Bucket

gsutil rm -r gs://[SOURCE_BUCKET]

• Sin Bucket

gsutil rm -a gs://[SOURCE_BUCKET]/**

Eliminar Buckets

gsutil rm -r gs://[BUCKET_NAME]

Working with Objects

Subida de objetos

gsutil cp [LOCAL_OBJECT_LOCATION] gs://[DESTINATION_BUCKET_NAME]/

Listing Objects

gsutil ls -r gs://[BUCKET_NAME]/**

Downloading Objects

gsutil cp gs://[BUCKET_NAME]/[OBJECT_NAME] [OBJECT_DESTINATION]

Renaming, Copying, and Moving Objects

• Renombrar objeto

gsutil mv gs://[BUCKET_NAME]/[OLD_OBJECT_NAME] gs://[BUCKET_NAME]/[NEW_OBJECT_NAME]

• Copiar objeto

gsutil cp gs://[SOURCE_BUCKET_NAME]/[SOURCE_OBJECT_NAME] gs://[DESTINATION_BUCKET_NAME]/[NAME_OF_COPY]

• Mover objeto

gsutil mv gs://[SOURCE_BUCKET_NAME]/[SOURCE_OBJECT_NAME] gs://[DESTINATION_BUCKET_NAME]/[DESTINATION_OBJECT_NAME]

Changing Object Storage Classes

gsutil rewrite -s [STORAGE_CLASS] gs://[PATH_TO_OBJECT]

Viewing and Editing Object Metadata

• Visualización de metadatos de objetos

gsutil ls -L  gs://[BUCKET_NAME]/[OBJECT_NAME]

• Edición de metadatos de objetos

gsutil setmeta -h "[METADATA_KEY]:[METADATA_VALUE]" gs://[BUCKET_NAME]/[OBJECT_NAME]

Deleting Objects

gsutil rm gs://[BUCKET_NAME]/[OBJECT_NAME]

BIGQUERY (BQ)

Creating resources

Creating a dataset

bq --location=[LOCATION] mk --dataset --default_table_expiration [INTEGER] --default_partition_expiration [INTEGER2] --description [DESCRIPTION] [PROJECT_ID]:[DATASET]

• [LOCATION] es la ubicación del dataset. Después de crear un dataset, la ubicación no se puede cambiar. Puede establecer un valor predeterminado para la ubicación utilizando el archivo .bigqueryrc.
• [INTEGER] es la duración predeterminada (en segundos) para las tablas recién creadas. El valor mínimo es de 3600 segundos (una hora). La hora de caducidad se evalúa a la hora actual más el valor entero. Cualquier tabla creada en el dataset se elimina después de [INTEGER] segundos a partir de su tiempo de creación. Este valor se aplica si no establece un vencimiento de la tabla cuando se crea la tabla.
• [INTEGER2] es la duración predeterminada (en segundos) para las particiones en tablas particionadas recién creadas. La caducidad de la partición predeterminada no tiene un valor mínimo. El tiempo de caducidad se evalúa según la fecha de la partición más el valor entero. Cualquier partición creada en una tabla particionada en el conjunto de datos se elimina después de [INTEGER2] segundos a partir de la fecha de la partición. Si proporciona el indicador --time_partitioning_expiration al crear o actualizar una tabla particionada, la caducidad de la partición a nivel de tabla tiene prioridad sobre la caducidad de la partición predeterminada a nivel de conjunto de datos.
• [DESCRIPTION] Es una descripción del dataset entre comillas.
• [PROJECT_ID] es su ID de proyecto.
• [DATASET] es el nombre del dataset que estás creando.

Creating an empty table with a schema definition

bq mk --table --expiration [INTEGER] --description [DESCRIPTION] --label [KEY:VALUE, KEY:VALUE] [PROJECT_ID]:[DATASET].[TABLE] [SCHEMA]

• [INTEGER] es el tiempo de vida predeterminado (en segundos) para la tabla. El valor mínimo es de 3600 segundos (una hora). La hora de caducidad se evalúa a la hora actual más el valor entero. Si configura el tiempo de caducidad al crear una tabla, se ignora la configuración de caducidad de la tabla predeterminada del dataset.
• [DESCRIPTION] Es una descripción de la tabla entre comillas.
• [KEY:VALUE] es el par [clave:valor] que representa una etiqueta. Puede ingresar varias etiquetas usando una lista separada por comas.
• [PROJECT_ID] es su ID de proyecto.
• [DATASET] es un dataset en su proyecto.
• [TABLE] Es el nombre de la tabla que estás creando.
• [SCHEMA] Es una definición de esquema en línea en el formato [FIELD]:[DATA_TYPE],[FIELD]:[DATA_TYPE] o la ruta al archivo de esquema JSON en su máquina local.

Creating a table from a query result

bq --location=[LOCATION] query --destination_table [PROJECT_ID]:[DATASET].[TABLE] --use_legacy_sql=false '[QUERY]'

• [LOCATION] es el nombre de la ubicación utilizada para procesar la consulta. El flag --location es opcional. Por ejemplo, si está utilizando BigQuery en la región de Tokio, puede establecer el valor del flag en asia-northeast1. Puede establecer un valor predeterminado para la ubicación utilizando el archivo .bigqueryrc.
• [PROJECT_ID] es su ID de proyecto.
• [DATASET] es el nombre del dataset que contiene la tabla en la que está escribiendo los resultados de la consulta.
• [TABLE] es el nombre de la tabla en la que está escribiendo los resultados de la consulta.
• [QUERY] Es una consulta en sintaxis SQL estándar.

Creating an ingestion-time partitioned table

bq mk --table --expiration [INTEGER1] --time_partitioning_type=DAY --time_partitioning_expiration [INTEGER2] --description "[DESCRIPTION]" --label [KEY:VALUE, KEY:VALUE] [PROJECT_ID]:[DATASET].[TABLE] [SCHEMA]

• [INTEGER1] es el tiempo de vida predeterminado (en segundos) para la tabla. El valor mínimo es de 3600 segundos (una hora). La hora de caducidad se evalúa a la hora actual más el valor entero. Si configura el tiempo de caducidad de la tabla cuando crea una tabla particionada, se ignora la configuración de caducidad de la tabla predeterminada del. La configuración de este valor elimina la tabla y todas las particiones después del tiempo especificado.
• [INTEGER2] es el tiempo de vida predeterminado (en segundos) para las particiones de la tabla. No hay valor mínimo. El tiempo de caducidad se evalúa según la fecha de la partición más el valor entero. La caducidad de la partición es independiente de la caducidad de la tabla, pero no la reemplaza. Si establece una caducidad de la partición que es más larga que la caducidad de la tabla, la caducidad de la tabla tiene prioridad.
• [DESCRIPTION] Es una descripción de la tabla entre comillas.
• [KEY:VALUE] es el par [clave:valor] que representa una etiqueta. Puede ingresar varias etiquetas usando una lista separada por comas.
• [PROJECT_ID] es su ID de proyecto.
• [DATASET] es un dataset en su proyecto.
• [TABLE] es el nombre de la tabla particionada en el tiempo que estás creando.
• [SCHEMA] Es una definición de esquema en línea en el formato. [FIELD]:[DATA_TYPE],[FIELD]:[DATA_TYPE] o la ruta al archivo de esquema JSON en su máquina local.

Creating a view

bq mk --use_legacy_sql=false --view_udf_resource=[PATH_TO_FILE] --expiration [INTEGER] --description "[DESCRIPTION]" --label [KEY:VALUE, KEY:VALUE] --view '[QUERY]' --project_id [PROJECT_ID] [DATASET].[VIEW]

...