Senior Data Engineer (Big Data)

TL;DR

Senior Data Engineer (Big Data): Разработка и оптимизация ETL-пайплайнов на базе Apache Spark, Hadoop и ClickHouse с акцентом на производительность обработки данных и построение витрин в Greenplum. Фокус на оптимизации сложных джобов, настройке памяти и обеспечении SLA-контроля потоков данных.

Локация: Офис или гибрид (Москва, Нижний Новгород, Санкт-Петербург)

Компания

CINIMEX — аккредитованная IT-компания, специализирующаяся на разработке программных решений для киноиндустрии.

Что делать

• Разрабатывать ETL-пайплайны с использованием Apache Spark, HDFS, ClickHouse, Hive и Greenplum.
• Проектировать и создавать витрины данных в Greenplum и ClickHouse.
• Оркестрировать и оптимизировать ETL-процессы, внедряя батчинг, ретраи и SLA-контроль.
• Взаимодействовать с DevOps-инженерами и BI-разработчиками для своевременной доставки данных в Superset.

Требования

• Экспертный опыт работы с Apache Spark от 4–5 лет (оптимизация джобов, настройка памяти и shuffle-операций).
• Опыт работы с ClickHouse и экосистемой Hadoop (HDFS, Hive).
• Навыки проектирования потоков данных и алгоритмов загрузки и обработки информации.
• Продвинутые знания SQL и опыт оптимизации SQL-кода.
• Готовность осваивать Java для использования в Spark.

Культура и преимущества

• Работа в аккредитованной IT-компании с гибким началом дня (с 08:00 до 11:00 по МСК).
• ДМС со стоматологией, телемедициной и полисом ВЗР.
• Система адаптации, регулярные ревью и индивидуальный план карьерного развития.
• Оплата профильных IT-конференций, курсов, тренингов и сертификаций.
• Корпоративное обучение английскому языку.
• Поддержка в развитии личного бренда: помощь в написании статей и подготовке к выступлениям на конференциях.