Вопросы по теме 'elastic-map-reduce'

Чтение больших файлов с помощью mapreduce в Hadoop
У меня есть код, который читает файлы с FTP-сервера и записывает их в HDFS . Я реализовал настроенный InputFormatReader , который устанавливает свойство isSplitable ввода как false . Однако это дает мне следующую ошибку. INFO mapred.MapTask:...
1923 просмотров

Как я могу читать и записывать двоичные файлы в Cascading?
Я хочу загрузить некоторые файлы в двоичном формате (например, jpeg, но это может быть любой двоичный формат), как-то обработать его и записать обратно. Я хочу сделать это на хаупе, и я хотел бы написать это поверх каскадной структуры. Существуют...
577 просмотров
schedule 15.12.2023

FAILED: NullPointerException null в HIVE QUERY
Ниже приведен запрос HIVE, который я использую, я также использую функцию ранжирования. Я запускаю это на своей локальной машине. SELECT numeric_id, location, Rank(location), followers_count FROM ( SELECT numeric_id, location, followers_count...
20575 просмотров

Используйте входной кодек gzip для файлов без расширения .gz в Hadoop
Я запускаю задание Hadoop для набора входных файлов, сжатых с помощью gzip. Hadoop должен легко справиться с этим... mapreduce в java - входные файлы gzip К сожалению, в моем случае входные файлы не имеют расширения .gz . Я использую...
861 просмотров