Менторы по ETL

ETL: загрузите данные так, чтобы результат можно было проверить

Скопировать таблицу из источника недостаточно: важно понять, какие строки загрузились, как преобразовались поля и что произойдёт при повторном запуске. На занятии по ETL можно разобрать конкретный поток от извлечения данных до пригодной для анализа таблицы.

Зафиксируйте смысл и границы загрузки

Укажите источник, ключ записи, расписание и правило отбора изменений. Отдельно разберите обновления и удаления: загрузка только новых строк не отражает исправления старых данных. Если источник присылает время, согласуйте его часовой пояс и значение.

Сделайте преобразования наблюдаемыми

Для каждого существенного преобразования запишите вход и ожидаемый выход. Например, объединение справочника с продажами может размножить строки при неуникальном ключе. Сравнивайте количество записей и контрольные показатели до и после соединения.

Неподходящие значения стоит различать: отсутствие данных, неверный формат и допустимое исключение требуют разных решений. Замена всех случаев нулём может сделать отчёт внешне аккуратным, но изменить его смысл.

Подготовьте повторный запуск

Обсудите с наставником, как переобработать период после сбоя без дублей и потери уже загруженного. Полезный результат занятия: схема потока, проверки качества и понятный порядок восстановления. Сам оркестратор выбирайте с учётом существующей инфраструктуры.