Компания SpectrumData — маркетплейс данных для бизнеса, который объединяет группу федеральных сервисов. Мы занимаемся сбором, агрегацией, обработкой и анализом данных и создаем продукты для компаний из разных отраслей.
Мы ищем Разарботчика DWH на наш продукт Кредитное бюро. Кредитное бюро хранит и обрабатывает миллионы кредитных историй. Данные ежедневно поступают из множества внешних источников и используются для построения финансовой отчётности, исполнения коммерческих запросов.
Мы готовимся к существенному увеличению количества кредитных историй в нашей базе (100+ млн записей), а также к повышению нагрузки по сценариям отчётности в связи с расширением клиентской базы. Поэтому пришло время обеспечить масштабирование и ускорение системы хранения и обработки данных.
Задачи, которые предстоит решать:
-
Разработка DWH с нуля;
-
Подготовка данных для быстрого построения отчётности, аналитики, исполнения запросов;
-
Формирование выгрузок, отчетов;
-
Оптимизация кластера OLTP (PostgreSQL);
-
Выполнение миграций.
Наши ожидания от кандидата:
-
Опыт построения систем распределённой обработки данных с использованием инструментов типа Hadoop, Spark, Airflow, YTsaurus;
-
Хорошее знание SQL, а также Python или другого языка программирования.
Твоим преимуществом будет: