Pubblicato il 1 marzo
Descrizione
Descrizione del ruolo
WESTHOUSE è una societä leader che opera nel campo della ricerca e selezione del personale, gestione di progetti ed è autorizzata a tempo indeterminato per la somministrazione di lavoro con Autorizzazione Ministeriale Prot. n. 0000095 del 03/08/2018.
Per azienda finale attiva nel settore Energy&Utilities, fortemente improntata all'innovazione digitale, siamo alla ricerca di un/a Data Engineer.
Lavorerà a stretto contatto con i Data Scientist, specialisti di AI e team di business per garantire che i dati vengano acquisiti, elaborati, archiviati e serviti in modo efficiente e sicuro, utilizzando tecnologie all'avanguardia come Azure, Databricks e Delta Lake.
Nello specifico si occuperà di:
* Progettare e implementare pipeline di dati robuste utilizzando Azure Data Factory, garantendo l'integrazione senza problemi di più fonti di dati.
* Costruire e mantenere architetture Delta Lake (livelli Bronze, Silver, Gold) per gestire dati grezzi, puliti e arricchiti in modo efficiente;
* Sviluppare processi ETL per preparare e trasformare i dati per modelli di AI e strumenti di business intelligence e garantire che i dati sia strutturati e ottimizzati per il consumo attraverso dashboard e report costruite con Power BI;
* Supportare il deployment di modelli utilizzando Databricks, MLflow e Azure Cognitive Services, abilitando l'accesso ai dati in tempo reale.
* Creato, mantenere e ottimizzare le prestazioni di pipeline di dati e dell'archiviazione e garantire che le infrastrutture siano efficienti e scalabili, monitorando la qualità del dato;
* Collaborare con i team Agile della Digital Factory allo sviluppo della data platform aziendale, implementazione dei processi di gestione della qualità del dato, collaborare con gli sviluppatori per esporre servizi di dati e analisi tramite API Gateway, e coordinare e supportare eventuali fornitori esterni;
Requisiti principali
* Laurea in Ingegneria Informatica, Statistica, Matematica e/o simili
* Esperienza di almeno 3 anni nel ruolo di Data Engineer, avendo partecipato a progetti di trasformazione data-driven/AI-driven;
* Competenza nello sviluppo di processi ETL per la preparazione e trasformazione del dato;
* Competenza nell'uso di Power BI per la creazione di report e dashboard;
* Conoscenza ed esperienza pratica con database SQL e No SQL
* Esperienza con piattaforma Databricks per analisi big data;
* Esperienza con piattaforme di MLOps (MLflow)
* Esperienza con uno dei principali Provider Cloud (GCP, Azure, AWS)
* Conoscenza dei linguaggi di programmazione: Python, Pyspark, SQL
* Metodologia di sviluppo Waterfall e Agile
* Buona conoscenza della lingua inglese per contatti con colleghi e referenti esteri
Completano il profilo:
* Spiccato interesse per attività gestionali/progettuali, oltre che puramente tecniche
* Team working
* Ottime capacità di analisi e problem solving
* Buone capacità comunicative e di relazione
Sede lavorativa: Milano o Torino (modalità di lavoro ibrida)
I candidati ambosessi (D.lgs n. 198/2006) sono invitati a leggere l'informativa privacy ai sensi degli artt. 13 e 14 del Reg. EU 679/2016 al seguente indirizzo:
