DataOps/DevOps (КШ)

Технологический стек:

- MLOps & Experiment Tracking: MLflow, ClearML, DVC, Rerun;

- Data Management & Storage: LakeFS, MinIO, DuckDB, PostgreSQL;

- Orchestration & Scheduling: Apache Airflow 2, Kubernetes, Docker;

- Visualization & BI: Apache Superset, Grafana, Prometheus;

- Development & Research Environment: JupyterHub, Conan, NVIDIA Isaac Sim/Lab, Mujoco, Llama;

- Настройка мониторинга, бэкапов, безопасности;

- Обучение команды работе с инфраструктурой;

- Поддержка и масштабирование;

- Поддержка и развитие инфраструктуры обработки данных с роботов;

- Написание DAG'ов;

- Оптимизация SQL-запросов к Data Lake;

- Создание дашбордов в Superset.

- Опыт в MLOps и управлении экспериментами;

- Глубокие знания MLflow или ClearML для трекинга экспериментов и управления реестром моделей;

- Опыт работы с DVC для версионирования данных.
Работа с данными и хранилищами;

- Опыт работы с объектными хранилищами (MinIO / S3);

- Опыт построения Data Lake решений с использованием LakeFS3;

- Оркестрация и инфраструктура;

- Экспертные знания Kubernetes;

- Уверенное владение Docker и написание оптимизированных образов;

- Мониторинг и BI;

- Настройка мониторинга системы и инфраструктуры: Prometheus + Grafana;

- Python (продвинутый уровень);

- Опыт написания production-кода, понимание особенностей работы с большими данными (эффективность операций, например, сложность append и альтернативы);

- Уверенная работа с библиотеками: pyarrow (создание/чтение таблиц, партицирование), duckdb (встраиваемый SQL-движок);

- Опыт использования многопроцессности (multiprocessing, concurrent.futures) для параллельной обработки данных.
SQL (средний уровень);

- Умение писать аналитические запросы (агрегации, оконные функции);

- Понимание разницы между DuckDB и Pandas для аналитических задач;

- Apache Airflow;

- Понимание архитектуры Airflow: DAG, операторы (Python, Bash, Docker), XCom;

- Практический опыт написания DAG'ов для ETL-процессов;

- Понимание, зачем используется Airflow;

- Docker и контейнеризация;

- Уверенное владение Docker CLI: inspect, system, ps, rm, exec и другими командами для диагностики;

- Знание docker compose: чтение и написание конфигураций, добавление новых сервисов, работа с сетями и томами;

- Навыки отладки внутри контейнеров (просмотр логов, проверка состояния файловой системы, запуск вспомогательных команд).;

- Хранение данных и форматы;

- Опыт работы с объектными хранилищами, совместимыми с S3 (MinIO или аналоги);

- Понимание, зачем используется Parquet (колоночное хранение, сжатие, эффективность запросов) и его преимущества перед построчными форматами;

- Визуализация данных (Apache Superset);

- Готовность заниматься рутинной работой по созданию и поддержке дашбордов;

- Понимание структуры Superset: виртуальные датасеты, SQL Lab 7.

- ​​​​​Работа в аккредитованной IT-компании;
- Гибридный формат работы в Москве и МО;
- Официальное оформление с первого дня работы и поддержка куратора во время адаптации;
- Прозрачная система развития: понятные грейды, внутреннее и внешнее обучение, индивидуальные планы развития и матрицы компетенций;
- Экологичная культура и адекватные руководители;
- Компенсация затрат на медицинские услуги, ментальное благополучие, спорт, тимбилдинги и использование AI-помощников;
- Бонус 15% с покупок во ВкусВилл;
- Социальная ответственность: поощряем донорство, оказываем материальную помощь при рождении ребёнка;
- Партнерская программа «Зелёный свет»: за рекомендации знакомых специалистов можно получить до 50 000 руб.