GCP permet aux Data Engineers de gérer efficacement le pipeline de données avec des outils comme Facets pour l’analyse. Il ne remplace pas les experts, mais offre un environnement centralisé. Aqsone explore son utilisation pour évaluer ses avantages en termes de performance et d’architecture dans ses projets internes.
Aqsone
Knowledge Lunch Session de Juillet
Chaque mois, lors d’un KLS (Knowledge Lunch Session), un collaborateur Aqsone présente à tous les collaborateurs un sujet technique sur lequel il a travaillé ou est en train de se former.
Pour le mois de juillet, Matthieu Vinette, Data Engineer nous a présenté les avantages que pourrait tirer Aqsone à travailler avec la plateforme Google GCP.
La plateforme
En effet, cette plateforme offre la possibilité aux Data Engineers de pouvoir créer et gérer l’ensemble du Data Pipeline, de l’ingestion des données brutes à la mise à disposition des data nettoyées aux Data Scientist.
Par exemple, GCP met à disposition des outils avancés et interactifs d’analyse de données et de modèles comme Facets (open-source). Facets permet de visualiser ses données, caractéristique par caractéristique, et permet même de travailler avec des images de façon intuitive.
De tels outils sont un vrai plus dans l’accélération du processus de nettoyage et dé-biaisage des données.
Le métier de Data Engineer voué à être remplacé ?
Absolument pas!
GCP ne sonne pas la fin des Data Engineers. Bien au contraire, elle leur offre un nouvel environnement à appréhender qui centralise tous les outils indispensables à leur travail.
Nous comptons bien l’utiliser en tant que plateforme data science dans les travaux du le Lab d’Aqsone afin de pouvoir mesurer concrètement, sur des projets internes, ses possibles apports que ce soit en gain de performance ou en facilitant l’architecture de nos projets.
A voir absolument
