Свързани въпроси 'hadoop-partitioning'

Как да разделите голяма Hive таблица с много категории
Искам да разделя таблицата си в кошера, така че за всеки уникален елемент в реда да създава дял. Има ~250 дяла за таблица с около 4 милиарда редове, така че бих искал да направя нещо като for цикъл или distinct. Ето моите мисли в код (които очевидно...
3915 изгледи
schedule 06.02.2024

НЕУСПЕШНО: ParseException: не може да разпознае вход близо до 'обмен' 'низ' ',' в спецификацията на колоната
Използвам последната версия на AWS Hive 0.13.0 . FAILED: ParseException: cannot recognize input near 'exchange' 'string' ',' in column specification Получавам горната грешка, когато изпълнявам заявката по-долу (създаване на таблица)....
13199 изгледи

HIVE: Създават се празни кофи след разделяне в HDFS
Опитвах се да създам дял и кофи с помощта на HIVE. За настройка на някои от свойствата: set hive.enforce.bucketing = true; SET hive.exec.dynamic.partition = true; SET hive.exec.dynamic.partition.mode = nonstrict; По-долу е кодът за...
747 изгледи
schedule 25.05.2024

Вмъкване на разделени данни в разделена кошерна таблица
Съхраних данните в hdfs с помощта на Pig Multistorage с идентификатора на колоната. Така че данните се съхраняват като /output/1/part-0000 /output/2/ /output/3/ Сега създадох разделена таблица в кошера и искам да заредя данните от папката...
1409 изгледи