Разработчик SQL

Обязанности

• Создавать и настраивать потоки данных, используя Apache NiFi
• Редактировать существующие процедуры и функции которые используются для формирования слоев RAW, ODS, DDS, DM
• Осуществлять разработку ETL (Extract, Transform, Load) процессов для загрузки данных в хранилище на основе принципов обеих методологий (Кимбалл, Инмон).
• Обновлять и поддерживать в актуальном состоянии компоненты на основе PXF Greenplum для интеграции с Postgres и Clickhouse
• Обновление компонентов Linux для поддержания в актуальном состоянии библиотек для работы PXF
• Поддержка в актуальном состоянии документации разработчика

Требования

• Блок 1. Теория баз данных: уровни изоляции баз данных, типы физических соединений данных, типы индексов, понимание систем (MPP, SMP,in-memory), понимание принципов работы СУБД.
• Блок 2. Архитектура: знание видов нормальных форм данных, типов реализации SCD, знание гибких методологии проектирования ХД (будет плюсом: опыт проектирования ХД с нуля, разработка собственных реализаций SCD).
• Блок 3. SQL: разработка процедур и функций, понимание и использование транзакций. Умение читать планы запроса. Умение создавать/инициировать создание необходимых индексов. Создание PowerBI/Tableau моделей c подключёнными источниками. Знание оконных функций. Создание таблиц, связей, индексов. Будет плюсом: навыки администрирования и понимание процесса репликации данных, блокировок, дедлоков; разбор и оптимизация чужого кода. Оптимизация запросов на MPP СУБД.
• Блок 4. ETL: умение разрабатывать ETL на любой из распространенных платформ или OpenSource решений. Будет плюсом: полный стек разработки ETL от коннекторов, экстракторов до пайплайна ETL с использованием оркестратора, разбор чужих наработок ETL, умение быстро находить узкие места.