Как разделить большую таблицу Hive на множество категорий

Я хочу разделить свою таблицу в улье, чтобы для каждого уникального элемента в строке он создавал раздел. Существует ~ 250 разделов для таблицы с 4 миллиардами строк, поэтому я хотел бы создать что-то вроде цикла for или отдельного. Вот мои мысли в коде (которые, очевидно, не сработали)

ИЗМЕНИТЬ ТАБЛИЦУ myTable ДОБАВИТЬ ЕСЛИ НЕ СУЩЕСТВУЕТ

РАЗДЕЛ (myColumn = отдельный myColumn);

или в Hive есть какая-то петля? Требуется ли для этого UDF? Если возможно, предпочтительнее использовать улей.

Спасибо.


person user1807096    schedule 17.07.2013    source источник


Ответы (1)


просто используйте динамические разделы
https://cwiki.apache.org/confluence/display/Hive/Tutorial#Tutorial-DynamicpartitionInsert

он делает создание раздела на ходу

person dimamah    schedule 18.07.2013