Google Cloud Cheat-Sheet

Summary :

1 - Les bases de données

2 - Le traitement de la donnée

3 - Surveillance de la plateforme

4 - Sécurité

 

Les bases de données :

Relationnelles :

Google Cloud SQL

Type : 

• On a Server

Technologies : 

• Mysql
• PostgreSQL

Utilité : 

• CMS
• ERP (progiciel de gestion intégré)
• CMR (gestion de la relation client)
• E-Comerce & Web
• Saas Applications

Commandes : 

gcloud sql

 

Spanner

Type : 

• On Compute Engine
• Cloud Native
• Large Scale
• Consistency --> Cohérence
• Haute disponibilité (99,999%)
• Transactions hautes performances
• RDBMS+ (système de gestion de base de données relationnelle)
• High availability --> Haute disponibilité

Avantages : 

• Évoluez selon vos besoins de manière illimitée
• Assurez la haute disponibilité de votre base de données à l'échelle mondiale
• Réduisez les tâches fastidieuses en facilitant l'expérience

Technologies : 

• Schémas
• Requêtes SQL
• Transactions ACID

Utilité : 

• Gaming
• Global Financial Ledger
• Supply Chain Inventory Management 

Commandes : 

/

BigQuerry

Type : 

• ServerLess
• Data WareHouse --> Entrepôt de données

Avantages : 

• Obtenez des insights avec des analyses prédictives en temps réel
• Protégez vos données et menez vos opérations en toute confiance
• Accédez aux données et partagez des insights en toute simplicité
• Exécutez des analyses à grande échelle, avec un coût total de possession sur trois ans inférieur de 27 % à celui des autres solutions d'entreposage de données cloud.
• Gérez vos données à n'importe quelle échelle (de l'octet au pétaoctet) sans que cela n'engendre de coûts opérationnels.

Technologies : 

• ML et modélisation prédictive avec BigQuery ML
• Analyse de données multicloud avec BigQuery Omni
• Analyse de données interactive avec BigQuery BI Engine
• Analyse géospatiale avec les SIG BigQuery

Exporter les données :

• Avro
  • Compression : DEFLATE, SNAPPY
• CSV
  • Compression : GZIP
• JSON
  • Compression : GZIP
• Parquet
  • Compression : SNAPPY, GZIP

Commandes : 

# General command
bq

# Estimate of the amount of data scanned
bq query <querry sommething> --dry_run

# Import Data
bq load --autodetect --source_format=[FORMAT] [DATASET].[TABLE]
[PATH_TO_SOURCE]

 

 

 

Non-Relationnelles : 

BigTable

Type : 

• On compute engine

Avantages : 

• Latence invariablement inférieure à 10 ms : traitez des millions de requêtes par seconde
• Idéal pour les cas d'utilisation comme la personnalisation, l'adtech, la fintech, les médias numériques et l'IoT
• Répondez parfaitement à l'évolution de vos besoins de stockage, sans temps d'arrêt pendant la reconfiguration
• Produit doté d'un moteur de stockage pour les applications de machine learning afin d'améliorer les prédictions

 

• Transparence du scaling et de la réplication
• Simplicité et intégration
• Rapidité et performances

Technologies : 

• Redimensionnement de cluster sans temps d'arrêt
• Haut débit à faible latence
• Réplication flexible et automatisée pour optimiser toutes les charges de travail
• CBT

Utilité : 

• Fraud Detection
• Analyse financière
• IoT
• Adtech

Commandes : 

gcloud bigtable

 

FireStore

Type : 

• ServerLess

Avantages : 

• Synchronisation en ligne et mode hors connexion
• Moteur de requêtes puissant
• Bibliothèques pour les langages courants
• Réplication multirégionale
• Mode Datastore

Utilité : 

• Nosql document database
• backend as a service
• global strong consistency  --> Cohérence
• 99.999% SLA

Commandes : 

/

 

DataStore

Type : 

• ServerLess

Avantages : 

• haute évolutivité pour vos applications Web et mobiles.

Fonctionnalités : 

• Tableau de bord administrateur complet
• Divers types de données
  • nombres entiers, les nombres à virgule flottante, les chaînes, les dates et les données binaires
• Plusieurs méthodes d'accès
  • Accédez à vos données via notre API JSON, des clients Open Source ou des ORM gérés par la communauté (comme Objectify ou NDB).
• Transactions ACID 
  • Garantissez l'intégrité de vos données en exécutant plusieurs opérations de base de données dans une seule transaction avec des caractéristiques ACID, de sorte que les opérations regroupées réussissent ou échouent toutes.

Info supprémentaire : 

Firestore est la dernière version de Datastore et introduit plusieurs améliorations par rapport à Datastore. Les utilisateurs Datastore existants peuvent accéder à ces améliorations en créant une nouvelle instance de base de données Firestore en mode Datastore. À l'avenir, toutes les bases de données Datastore existantes seront automatiquement mises à niveau vers Firestore en mode Datastore.

 

 

Autre : 

MemoryStore

Type : 

• On Compute Engine
• In memory and key-value store

Avantages : 

• Créez des caches d'applications pour accéder aux données en moins d'une milliseconde
• Migrez votre couche de mise en cache vers le cloud sans changement de code

Technologies : 

• Redis
• Memcached

Utilité : 

• Caching
• Gaming
• Session Store
• LeaderBoard
• Social Tchat 
• News Feed
• Haute disponibilité
• Submilisecond data access --> Accès aux données inférieur à la milliseconde

Commandes : 

/

 

 

Google Cloud Storage

Type : 

• ServerLess

Avantages : 

• Stockage d'objets pour les entreprises de toutes tailles. Stockez n'importe quelle quantité de données et récupérez-les aussi souvent que vous le souhaitez.
• Déployez de nouvelles capacités de stockage 99 % plus rapidement que dans des environnements sur site.

Types de stockage : 

• Standard
• Nearline
• ColdLine
• Archive

Commandes : 

# Coppy
gsutil cp

# Create a Bucket
gsutil mb

# Change Storage type 
gcloud storage objects update gs://BUCKET_NAME/OBJECT_NAME --storage-class=STORAGE_CLASS

 

 

 

 

 

 

 

 

 

 

 

 

Le traitement de la donnée :

DataFlow

Type : 

• ServerLess

Avantages : 

• Un traitement des données par flux et par lot sans serveur, à la fois rapide, unifié et économique.
• fully managed, serverless service for unified stream and batch data processing requirements

Technologies : 

• Apache Beam
  • defining both batch- and streaming-data parallel-processing pipelines

Utilité : 

• preprocessing for machine learning

Commandes : 

gcloud dataflow

 

 

DataProc

Type : 

• ServerLess

Avantages : 

• Dataproc est un service entièrement géré et hautement évolutif qui permet d'exécuter Apache Spark, Apache Flink, Presto et plus de 30 outils et frameworks Open Source. Entièrement intégré à Google Cloud, Dataproc vous permet de moderniser vos lacs de données, d'effectuer des tâches d'ETL et de sécuriser la science des données à l'échelle mondiale et pour un moindre coût.

Technologies : 

• Apache Hadoop
• Apache Spark
• Apache Flink
• Presto

Utilité : 

• Stream Processing
• Batch Processing
• Terative processing and notebooks
• Machine Learning With Spark ML
• Dataproc is a managed Spark and Hadoop service that lets you take advantage of open source data tools for batch processing, querying, streaming, and machine learning. Dataproc automation helps you create clusters quickly, manage them easily, and save money by turning clusters off when you don't need them. With less time and money spent on administration, you can focus on your jobs and your data.
• If you have a substantial investment in Apache Spark or Hadoop on-premise and considering moving to the cloud
• If you are looking at a Hybrid cloud and need portability across a private/multi-cloud environment
• If in the current environment Spark is the primary machine learning tool and platform In case the code depends on any custom packages along with distributed computing need

Commandes : 

gcloud dataproc

 

 

La Surveillance de la plateforme :

Monitoring : 

Used to notify DevOps engineers when resources are not functioning as expected

Trace :

Distributed tracing application that provides details on how long different parts of code run

Logging :

Logging is for collecting, storing, and viewing log data.

 

Debug :

Generate snapshots that provide a view of the status of an application at a particular point in its execution

 

 

Sécurité :

Google Cloud Armor :

Protégez vos applications et vos sites Web contre les attaques sur le Web et par déni de service.

Avantages : 

• Protection contre les attaques DDoS de niveau professionnel
• Atténuer les risques répertoriés dans le top 10 de l'OWASP
• Protection gérée

Fonctionnalités : 

• Adaptive Protection
  • Détectez et limitez automatiquement les nombreuses attaques DDoS de couche 7 à l'aide d'un système de ML entraîné localement sur vos applications.
• Solution compatible avec les déploiements hybrides et multicloud
  • Protégez-vous des attaques DDoS ou sur le Web et appliquez des stratégies de sécurité de couche 7, que votre application soit déployée sur Google Cloud ou sur une architecture hybride ou multicloud.
• Règles WAF préconfigurées
  • Règles prêtes à l'emploi basées sur les standards de l'industrie, permettant de réduire les failles courantes des applications Web et de protéger le système des dix risques les plus importants sur OWASP.
• Gestion des robots
  • Ce service fournit à vos applications une protection automatique contre les bots et permet d'empêcher la fraude en ligne et à la périphérie grâce à l'intégration native à reCAPTCHA Enterprise.
• Limitation de débit
  • Les règles basées sur le taux vous aident à protéger vos applications contre les attaques qui inondent vos instances avec un grand volume de requêtes afin de bloquer l'accès des utilisateurs légitimes.