Observé chez
Data Platform Engineer AWS
Technologie
Informatique
AWS GlueApache SparkAmazon S3Apache IcebergDatabricksAmazon RedshiftPythonTerraformIAM
Python
TerraformRôle
Architecte et opérateur de plateformes de traitement de données analytiques sur AWS responsable de la conception et de l'évolution des pipelines de données des structures de tables et des fondations d'infrastructure pour supporter des charges de travail batch et analytiques à grande échelle.
Technologies
AWS GlueApache SparkAmazon S3Apache IcebergDatabricksAmazon RedshiftPythonTerraformIAM
Contextes
Fintech
Compétences
Conception de pipelines de donnéesModélisation de données analytiquesInfrastructure-as-codeTraitement de données distribuéesConception et opération IAMOptimisation de performance et coûtsSécurité et conformité des donnéesLeadership techniqueMonitoring et incident management
Challenges détectés
4 enjeux- Croissance
Supporter la croissance à grande échelle des workloads analytiques
- Optimisation
Optimiser les coûts et l'efficacité des plateformes AWS
- Conformité
Assurer la sécurité et la conformité des accès aux données
- Optimisation
Résoudre des problèmes complexes de performance et scalabilité