6 ноября AWS объявила, что Glue Data Catalog поддерживает временные учётные данные, выдаваемые внешним каталогом при федерации Apache Iceberg REST. На Mentoring.digital объясняем, как разделяются полномочия каталога и системы управления доступом.
Откуда берутся учётные данные
Новая возможность позволяет читать внешние таблицы Iceberg из Athena, EMR, Redshift и Glue, опираясь на разрешения внешнего каталога. Он выдаёт временные security credentials, ограниченные префиксом хранилища Amazon S3. Приложению доступны только таблицы, которые разрешил этот каталог.
Ранее федерация Glue уже могла работать через настроенную AWS IAM role с доступом к S3. Анонс добавляет ещё один способ подключения. Его смысл в том, что разрешённый путь к данным определяется выданными каталогом временными полномочиями.
Какие ограничения сохраняются
AWS Lake Formation продолжает управлять доступом при запросе внешней таблицы через аналитические движки. Она позволяет дополнительно ограничивать конкретные строки и столбцы и предоставлять доступ к внешним таблицам между аккаунтами AWS.
В документации федерации также указан предел метаданных: до 5 MB на один вызов REST API. Доступность каталога и разрешение на таблицу не отменяют ограничений самого протокола и аналитического движка. Новая возможность заявлена для коммерческих регионов AWS, в которых поддерживаются Glue и Lake Formation.
Как проверить доступ к таблицам
Редакционная рекомендация: на тестовом наборе сопоставьте три вещи: разрешённые таблицы во внешнем каталоге, область выданных credentials в S3 и ограничения Lake Formation. Затем выполните запрос к разрешённой таблице и отдельно проверьте отказ для таблицы, на которую права не выдавались.
Для временных учётных данных предусмотрите проверку истечения срока и обработки ошибки приложением. Рабочие credentials не копируйте в отчёт или учебный репозиторий: сохраняйте безопасные идентификаторы и фактический результат проверки. Разобрать такую схему полномочий можно с наставником по облачной инфраструктуре.
