Свързани въпроси 'hadoop-partitioning'
Как да разделите голяма Hive таблица с много категории
Искам да разделя таблицата си в кошера, така че за всеки уникален елемент в реда да създава дял. Има ~250 дяла за таблица с около 4 милиарда редове, така че бих искал да направя нещо като for цикъл или distinct. Ето моите мисли в код (които очевидно...
3915 изгледи
schedule
06.02.2024
НЕУСПЕШНО: ParseException: не може да разпознае вход близо до 'обмен' 'низ' ',' в спецификацията на колоната
Използвам последната версия на AWS Hive 0.13.0 .
FAILED: ParseException: cannot recognize input near 'exchange' 'string' ',' in column specification
Получавам горната грешка, когато изпълнявам заявката по-долу (създаване на таблица)....
13199 изгледи
schedule
24.03.2024
HIVE: Създават се празни кофи след разделяне в HDFS
Опитвах се да създам дял и кофи с помощта на HIVE.
За настройка на някои от свойствата:
set hive.enforce.bucketing = true;
SET hive.exec.dynamic.partition = true;
SET hive.exec.dynamic.partition.mode = nonstrict;
По-долу е кодът за...
747 изгледи
schedule
25.05.2024
Вмъкване на разделени данни в разделена кошерна таблица
Съхраних данните в hdfs с помощта на Pig Multistorage с идентификатора на колоната.
Така че данните се съхраняват като
/output/1/part-0000
/output/2/
/output/3/
Сега създадох разделена таблица в кошера и искам да заредя данните от папката...
1409 изгледи
schedule
28.11.2022