Системно-технический инженер по Apache NiFi

Обязанности

• Проектирование и разработка потоков данных:
• - Создание и настройка потоков данных, используя Apache NiFi для обработки, маршрутизации и преобразования данных.
• - Определение архитектуры потоков данных с учетом требований бизнеса и специфики систем.
• Интеграция с различными источниками и целями данных:
• - Настройка подключений к источникам данных (БД, API, файловым системам и т. д.) и целевым системам (базы данных, хранилища данных, файловые системы).
• - Использование различных процессоров NiFi для интеграции с системами и форматами данных.
• Оптимизация потоков данных:
• - Проведение анализа производительности потоков данных для выявления узких мест.
• - Оптимизация настройки потоков и параметров NiFi для повышения производительности и надежности.
• Мониторинг и управление потоками:
• - Установка мониторинга для отслеживания состояния потоков данных в реальном времени.
• - Управление производительностью и доступностью потоков данных, включая решение возникающих проблем.
• Обеспечение безопасности данных:
• - Настройка механизмов аутентификации и авторизации для защиты потоков данных.
• - Реализация лучших практик безопасности (шифрование, контроль доступа и другие).

Требования

• Умение настраивать NiFi для работы с потоками данных: создавать потоки, используя различные процессоры NiFI.
• Опыт работы с NiFi для интеграции данных, преобразования форматов и маршрутизации.
• Знания о настройке сервисов, контроллеров и параметров конфигурации NiFi.
• Знания SQL и опыт работы с PostgreSQL, Greenplum, Clickhouse.
• Понимание принципов ETL, ELT и как их применяют в контексте Apache NiFi.
• Понимание и опыт работы с различными протоколами подключения, такими как JDBC, HTTP, Kafka, и другими.
• Умение интегрировать NIFI с API третьих сторон и потоковыми системами.
• Понимание форматов данных (JSON, XML, CSV и т. д.) и способность преобразовывать их с помощью NiFi.
• Опыт работы с процессорами NiFi для выполнения трансформаций данных.
• Знание методов оптимизации потоков данных в NiFi.
• Умение мониторить и диагностировать проблемы в потоках данных с помощью встроенных инструментов NiFi.
• Опыт работы с контейнерами (Docker).
• Опыт работы с системами контроля версий, Git.
• Способность документировать архитектуру потоков данных, процессы и политики обработки данных.