CTC004074 - Développeur Hadoop/ Data Engineer/Niv Sénior

Type d'emploi: Contract
Durée:
Mode de travail: On Site

Description

Mandat Développeur Hadoop

L’innovation, l'engagement, la solidarité et la création de connaissances avec les données sont au centre de notre quotidien. Si vous êtes à la recherche d'une équipe comme celle-là, ce poste est pour vous.

A propos du rôle

La BNC recherche plusieurs développeurs Hadoop qui se joindront à un projet au cœur de notre stratégie de donnée. Nous avons besoin de candidats créatifs en conception de solution analytique, capable de livrer des résultats concrets sous pression tout en respectant les engagements, et apte à collaborer avec plaisir et efficience au sein d’équipes multidisciplinaires.

Plus spécifiquement, la personne recherchée assumera les responsabilités suivantes :

• Participer au design d’un framework d’ingestion et de traitement de données financière

• Développer et tester des processus d’ingestion de données structurées et non structurées

• Participer aux activités de support de la plaforme big data

• Participer à l’administration des clusters Hadoop

• Participer au développement de scripts Shell (Linux) pour la gestion des ressources et de la sécurité du cluster Hadoop

• Communiquer efficacement avec les membres techniques et non techniques de l’équipe du projet.

• Gérer simultanément plusieurs tâches et projets

• Travailler dans un contexte agile/itératif

Profil recherché :

• Détenir au moins 5 ans d’expérience dans en Intelligence d’affaire ou tout autre domaine pertinent au traitement de données. Une expérience dans le domaine des ETL est un atout

• Bonne connaissance d’au moins un outil de cédule, idéalement TWS

• Expérience dans l’administration des clusters Hadoop est un atout

• Expérience dans le scripting Shell avancé (Linux /Redhat 6 .x et plus)

• Connaissance de Kerberos et LDAP est un atout

• Expérience en implémentation de politique de sécurité sur Hadoop est un atout

• Bonne connaissance des Framework d’ingestion de données (l’Ingestion de données vers des systèmes Hadoop est un atout)

• Expérience dans le traitement de grandes quantités de données structurées et non structurées (NoSql, HBase)

• Expérience avec l’ingestion de données en temps réel est un atout

• Maîtrise du développement de scripts Python, Spark et Scala

• Très bonne connaissance de Hadoop : MapReduce, HDFS, Ambari, Sqoop, Flume, Kafka, Pig, Hive et Spark

• Expérience avec l'intégration des données provenant de multiples sources de données (BD, fichiers plats et MainFrame)

• Avoir déjà travaillé dans un projet agile

• Avoir de bonnes habiletés de communication et de vulgarisation de concepts complexes

• Avoir de solides compétences pour la résolution de problèmes

• Être un bon collaborateur d’équipe

• Assurer une vigie pour se développer et maintenir son niveau de connaissances à jour

Notre barre latérale

Bienvenue sur le nouveau site web de la CTC.