Expert Data Architect – Databricks
At a glance
Mid-level Data Engineering role at SQLI. Casablanca · full-time.
Pay not stated Data Architect salary
dataroles summary, based on the employer's posting.
What you'll do
- Build and tune data pipelines that process and transform information using Azure Databricks and Azure Data Lake
- Shape scalable data architectures and add automated checks to keep pipeline outputs dependable
- Improve Azure DevOps delivery workflows, and apply sound engineering practices throughout development
- Work with Data Product Owners and business teams to design solutions, then monitor processing with Datadog or similar tools
- Find ways to speed up Databricks workloads while lowering their operating costs
What you bring
- A graduate-level qualification in computing, engineering or a comparable discipline
- At least five years in data engineering, data architecture or Databricks, including project or team leadership
- Strong command of several of Python, PySpark, Scala and SQL, plus hands-on Databricks pipeline optimization
- You can use Spark UI to investigate complex workload performance and know Azure data services such as ADF and ADLS
- You have applied development standards including testing and CI/CD, and have advanced experience with dbt or a comparable framework
Who this fits
This role suits an experienced data engineer or architect who can set technical standards and coach teammates. It is based in Casablanca with a hybrid arrangement.
From the employer
We Elevate. Digitally.
SQLI, leader européen de l’expérience client et de la transformation digitale, aide les grandes marques internationales à créer de la valeur grâce à la technologie et à l’innovation digitale. De la stratégie au déploiement des actifs technologiques de nos clients, nous imaginons et construisons des architectures robustes et performantes ainsi que des expériences engageantes en combinant technologies de pointe, méthodologies éprouvées et expertise technologique approfondie.
Afin de renforcer nos équipes (2200 personnes, réparties dans 12 pays), nous recrutons des collaborateurs passionnés et qui partagent nos valeurs : " Creative spirit, Commitment, Forward thinking."
Au sein de la Direction des Technologies, le pôle BI/Data pilote et réalise les projets de Business Intelligence et de Data Engineering, en garantissant la qualité, la performance et la scalabilité des solutions.
Vous serez un acteur clé dans la conception, l’optimisation et la supervision de nos pipelines de données. Vous apporterez votre expertise Databricks pour améliorer l’architecture, la performance et la fiabilité de nos flux de données destinés aux clients internes.
Missions principales :
En tant que référent Databricks, vous serez amené(e) à intervenir sur les principaux sujets de conception, d’optimisation et d’évolution de la plateforme data :
Concevoir, développer et optimiser des pipelines de traitement et de transformation de données sur Azure Databricks et Azure Data Lake.
Définir et implémenter des architectures data robustes et scalables pour supporter la croissance des volumes de données.
Mettre en place des tests automatisés et garantir la qualité et la fiabilité des pipelines de données.
Participer à la définition et à l’optimisation des pipelines CI/CD via Azure DevOps.
Appliquer les meilleures pratiques de Data Engineering et de software engineering à toutes les étapes du développement.
Collaborer avec les Product Owners Data et les équipes métiers pour proposer des solutions innovantes adaptées aux besoins.
Superviser les traitements de données et assurer le monitoring via Datadog ou outils équivalents.
Identifier et implémenter des optimisations pour améliorer les performances et réduire les coûts sur Databricks.
Environnement technique principal :
- Langages : SQL, PySpark, Python, Scala.
- Outils & BI : Power BI, SSIS, SSAS, Business Objects, Datadog, Snyk.
- Cloud & Data : Azure Databricks, Azure Data Factory, ADLS Gen2.
- CI/CD & DevOps : Git, Azure DevOps.
Vos atouts pour faire la différence :
- Diplôme Bac+5 en informatique, ingénierie ou domaine équivalent.
- Minimum 5 ans d’expérience en Data Engineering, Data Architecture ou Databricks, avec expérience dans le pilotage d’équipe ou de projets.
- Maîtrise avancée de plusieurs langages : Python, PySpark, Scala, SQL.
- Expertise confirmée dans le développement et l’optimisation de pipelines Databricks, avec capacité à définir les standards techniques et bonnes pratiques.
- Maîtrise de Spark UI pour diagnostiquer et améliorer la performance des traitements complexes.
- Très bonne connaissance de l’écosystème Azure Cloud et de ses services orientés Data (ADF, ADLS, Databricks…).
- Expérience dans la mise en place des bonnes pratiques de développement : clean code, versioning, tests unitaires, CI/CD, et principes de modélisation BI.
- Pratique avancée de dbt ou frameworks similaires pour la transformation SQL et l’orchestration de données.
- Expérience du travail en méthodologie Agile, en collaboration avec Product Owners Data et équipes projet.
- Leadership et esprit d’équipe : capable de guider et coacher les membres de l’équipe, de prendre des décisions stratégiques et de proposer des solutions innovantes.
- Capacité d’adaptation rapide dans un environnement technique en constante évolution et force de proposition pour améliorer l’architecture et les processus.
Pourquoi rejoindre notre équipe ?
- Un environnement dynamique et innovant, au sein d’une équipe passionnée par les technologies de données.
- La possibilité de travailler sur des projets d’envergure, à la pointe des technologies cloud et Big Data.
- Des opportunités d’évolution et de formation continue pour développer vos compétences.
- Un cadre de travail flexible et des avantages attractifs.
Data Engineering work from LinkedIn, X, Reddit and Upwork, in one list.
Each morning you get everything that fits, strongest first.
Data Engineering
Find me workBy the team behind dataroles.