Data Engineer / Data Analyst (on-site)
At a glance
Mid-level Data Analysis & BI role at Sword Technologies N.V./S.A. Luxembourg, Luxembourg, Luxembourg · full-time.
Pay not stated Data Engineer salary
dataroles summary, based on the employer's posting.
What you'll do
- Build and maintain Azure Data Factory pipelines, then develop data processing and transformations in Databricks
- Manage Azure Data Lake Storage Gen2 structures and combine data from varied internal and external sources
- Create and improve ETL and ELT workflows using Delta Lake and Parquet formats
- Investigate pipeline, storage and processing issues, while monitoring workflows and improving their performance
- Set data quality checks, contribute to data models, and support analysts and Power BI developers with data needs
What you bring
- Hands-on experience with Databricks, Azure Data Factory and Azure Data Lake Storage Gen2, including access controls
- Strong SQL skills and good working ability in Python and/or PySpark
- You have designed, developed and maintained data pipelines, with ETL/ELT knowledge and experience using Delta Lake and Parquet
- You understand Lakehouse design, data modeling and BI needs, and can troubleshoot data and pipeline issues independently
- You can work in French and English, both spoken and written
Who this fits
This suits a hands-on, adaptable mid-level profile moving between data engineering, analytics and technical support. The role is on-site in Luxembourg.
From the employer
Chez Sword Technologies, nous accompagnons nos clients dans leurs projets de transformation digitale, en intervenant sur des missions à forte valeur ajoutée dans des environnements exigeants.
Nous accordons une attention particulière à la qualité des missions proposées ainsi qu’à l’accompagnement de nos collaborateurs dans leur évolution.
Dans le cadre de notre développement, nous recherchons des profils afin de renforcer nos équipes.
Nous recherchons un(e) Data Engineer / Data Analyst polyvalent(e) capable de concevoir, maintenir et optimiser des solutions data sur un environnement Microsoft Azure existant, tout en accompagnant les équipes analytiques au quotidien.
Mission :
Intégré(e) à une équipe Data & Analytics s'appuyant sur l'écosystème Microsoft Azure, vous interviendrez en tant que profil Data Engineer polyvalent avec une bonne sensibilité analytique. Votre rôle sera avant tout opérationnel : concevoir, développer et maintenir des pipelines de données avec Azure Data Factory, développer des traitements et transformations via Databricks, et gérer les structures de stockage dans Azure Data Lake Storage Gen2. Vous construirez et ferez évoluer des processus ETL / ELT robustes, en travaillant avec des formats tels que Delta Lake et Parquet, et en intégrant des données provenant de sources internes et externes variées.
Au-delà du développement, vous serez responsable du diagnostic et de la résolution des problèmes liés aux pipelines, au stockage et aux traitements de données. Vous superviserez et optimiserez les pipelines existants, mettrez en place des contrôles de qualité des données appropriés et participerez aux activités de modélisation des données. Vous développerez vos transformations principalement en SQL, Python et/ou PySpark, dans le respect des bonnes pratiques de l'architecture Lakehouse.
Vous collaborerez étroitement avec les équipes techniques ainsi qu'avec les interlocuteurs métiers, en apportant un support pragmatique aux Data Analysts et aux développeurs Power BI dans leurs besoins en données. Le profil attendu est résolument hands-on, autonome et adaptable : une personne capable de naviguer entre le Data Engineering, l'analyse de données et le support technique en fonction des priorités de l'équipe, plutôt qu'un profil cantonné à un périmètre purement architectural.
Environnement technique :
Must have :
Solide expérience pratique avec Databricks
Solide expérience pratique avec Azure Data Factory (ADF)
Solide expérience avec Azure Data Lake Storage Gen2 (ADLS Gen2), y compris les mécanismes de sécurité et de gestion des accès
Très bonnes compétences en SQL
Bonne maîtrise de Python et/ou PySpark
Maîtrise des concepts ETL / ELT et expérience avérée dans la conception, le développement et la maintenance de pipelines de données
Expérience avec Delta Lake et le format Parquet
Bonne compréhension des architectures Data Lake / Lakehouse
Bonne compréhension de la modélisation des données et des besoins analytiques et BI
Expérience dans l'intégration de sources de données variées et des principaux patterns d'intégration
Capacité à diagnostiquer de manière autonome les problématiques liées aux données, au stockage et aux pipelines
Maîtrise du français et de l'anglais (oral et écrit)
Nice to have :
Expérience avec Power BI et les Power BI Semantic Models
Pratiques CI/CD appliquées au Data Engineering
Connaissance des pratiques de Data Quality et notions de Data Governance
Expérience avec Azure DevOps
Expérience dans des environnements Azure d'entreprise à grande échelle
Maîtrise de l'allemand
Data Analysis & BI work from LinkedIn, X, Reddit and Upwork, in one list.
Each morning you get everything that fits, strongest first.
Data Analysis & BI
Find me workBy the team behind dataroles.