Имам код, който чете файлове от FTP сървър и го записва в HDFS . Приложих персонализиран InputFormatReader , който задава свойството isSplitable на входа като false . Това обаче ми дава следната грешка. INFO mapred.MapTask: Record too large...

Искам да заредя някои файлове в двоичен формат (например jpegs, но може да бъде всеки двоичен формат), да го манипулирам по някакъв начин и да го запиша обратно. Искам да направя това на hadoop и бих искал да го напиша върху Cascading framework....

Следва заявката HIVE, която използвам, също използвам функция за класиране. Изпълнявам това на моята локална машина. SELECT numeric_id, location, Rank(location), followers_count FROM ( SELECT numeric_id, location, followers_count FROM...

Изпълнявам задача на Hadoop върху куп входни файлове, компресирани с gzip. Hadoop трябва да се справи с това лесно... mapreduce в java - gzip входни файлове За съжаление в моя случай входните файлове нямат разширение .gz . Използвам...