Разработчик (Scala, Python, Airflow, SQL)

25 Августа

Партнерские Вакансии

Компания "Иннотехнум, Группа компаний"

Вместе с нами ты будешь:

- Разработка dag airflow для автоматизации etl потоков;

- Устранение инцидентов;

- Оптимизация объектов хранения;

- Оптимизация и доработка методов загрузки scala/hadoop/spark;

- Разработка unuit тестов и интеграционных автотестов

- Security champion: анализ и устранение уязвимостей кода.

- Триггерная репликация: Создание модуля генератора дагов

- Безусловная репликация в DAPP изменений атрибутного состава ЦЕХ-объектов;

- Миграция на cloud-airflow;

- Разработка инструментов для процесса data quality

Какие знания и навыки для нас важны:

Языки программирования:

- Python (middle)

- Scala (middle)

- SQL (middle)

СУБД:

- Hive, Iceberg, Impala, Kyuubi

- GreenPlum

- PostgreSQL

- ClickHouse

- oracle

- ms sql

Инструменты разработки:

- Git

- IDE Intellij IDEA/Pycharm

- DBeaver

Технологии:

- Hadoop (hdfs, yarn)

- Spark (3.2+ версия)

- Airflow

- ozone, aws s3

- jdbc

- maven, pip

- k8s

- rest api

- Kafka

- Linux

- Grafana

- Victoria Metrics

- Docker

Понимание в области Big Data:

- Data Lake, Data Lakehouse, DWH

- ETL, ELT

- OLTP, OLAP

- Файловые форматы, табличные форматы

- Качество данных