Descrizione del ruolo
Stiamo cercando un/a Dataflow Engineer con esperienza nella progettazione, gestione e ottimizzazione di flussi di dati complessi. La persona selezionata dovrà implementare e mantenere pipeline di dati efficienti, utilizzando tecnologie moderne come Apache NiFi, e dovrà collaborare con i team tecnici per garantire il corretto trattamento, trasformazione e integrazione dei dati aziendali.
Responsabilità principali:
Progettare, sviluppare e mantenere pipeline di dati utilizzando Apache NiFi.
Lavorare con pipeline batch o in stream processing
Lavorare con database relazionali e non relazionali per integrare e gestire grandi volumi di dati.
Scrivere e ottimizzare codice in Java, Python, JavaScript e Groovy per personalizzare flussi e processi di trasformazione dei dati.
Monitorare e risolvere problematiche legate alla gestione dei dati e alle performance dei sistemi.
Collaborare con i team interni per raccogliere requisiti tecnici e fornire soluzioni di dataflow scalabili.
Assicurare la qualità e l’affidabilità dei dati attraverso test e validazioni accurati.
Requisiti:
Esperienza nell’utilizzo di Apache NiFi, Kafka, MQTT per la gestione dei flussi di dati.
Conoscenza approfondita di database relazionali (es. MySQL, PostgreSQL) e non relazionali (es. MongoDB, Cassandra).
Competenze solide di programmazione in Java e Python.
Conoscenza di JavaScript e Groovy per scripting e automazione.
Familiarità con le best practice di sicurezza e governance dei dati.
Capacità di analizzare e risolvere problemi complessi legati ai dati e ai flussi di elaborazione.
Laurea o diploma informatico
Costituiscono un plus:
Esperienza con strumenti di orchestrazione e gestione del workflow come Apache Airflow o Apache Kafka.
Conoscenza delle metodologie Agile/Scrum.
Familiarità con il cloud computing e servizi di data integration (AWS, GCP, Azure).
Certificazioni rilevanti nel campo dei dati o dello sviluppo software.
Familiarità con ambienti cloud e containerizzati (es. Docker, Kubernetes).