Създавам ORC външна таблица на кошера (ORC файл, разположен на S3). Команда CREATE EXTERNAL TABLE Table1 (Id INT, Name STRING) STORED AS ORC LOCATION 's3://bucket_name' След изпълнение на заявката : Select * from Table1;...

Искам да заредя някои файлове в двоичен формат (например jpegs, но може да бъде всеки двоичен формат), да го манипулирам по някакъв начин и да го запиша обратно. Искам да направя това на hadoop и бих искал да го напиша върху Cascading framework....

Намирах причината, поради която клъстерът MAPR M7 EMR не попълва HBASE .META. маса. Опитах се да поправя и с помощта на командата hbck, но все още не успях. Всяка помощ ще бъде високо оценена

Бих искал да филтрирам всички низове, които съдържат вътрешни, но данните не са филтрирани. В моите свински скриптове имам: preload = load '$INPUT' as (textline:chararray); filterdata = FILTER preload BY SIZE(textline) > 100; filterInternal =...

Имам mrjob, който се състои от 3 стъпки. Втората стъпка очаква като вход резултатите от първата стъпка плюс малко повече съдържание от S3. Разбирам, че винаги мога да го „поточно предавам“ през първата стъпка, което означава, че излъчването е...

Изпълнявам задача на Hadoop върху куп входни файлове, компресирани с gzip. Hadoop трябва да се справи с това лесно... mapreduce в java - gzip входни файлове За съжаление в моя случай входните файлове нямат разширение .gz . Използвам...