У меня есть кусок данных на s3 в формате orc. мое требование состоит в том, чтобы замаскировать определенные столбцы. Какой будет лучший подход с минимальными изменениями?
Могу ли я определить udf на уровне таблицы куста, и всякий раз, когда столбец ссылается из hive/preso по умолчанию, udf будет выполнять и маскировать данные на лету?
Ваш ответ будет оценен. Спасибо!
Это называется маскированием столбца. Для этого вы обычно используете Presto (или Hive) с защитой Ranger и настраиваете там маскирование столбцов.
Ranger определяет набор предопределенных масок (например, маскировать все символы/цифры, кроме последних 4, и т. д.).
Ranger также позволяет создавать собственные маски (выражение свободного стиля), но Presto пока не поддерживает их.
