Вопросы по теме 'elastic-map-reduce'
Чтение больших файлов с помощью mapreduce в Hadoop
У меня есть код, который читает файлы с FTP-сервера и записывает их в HDFS . Я реализовал настроенный InputFormatReader , который устанавливает свойство isSplitable ввода как false . Однако это дает мне следующую ошибку.
INFO mapred.MapTask:...
1923 просмотров
schedule
24.11.2022
Как я могу читать и записывать двоичные файлы в Cascading?
Я хочу загрузить некоторые файлы в двоичном формате (например, jpeg, но это может быть любой двоичный формат), как-то обработать его и записать обратно. Я хочу сделать это на хаупе, и я хотел бы написать это поверх каскадной структуры.
Существуют...
577 просмотров
schedule
15.12.2023
FAILED: NullPointerException null в HIVE QUERY
Ниже приведен запрос HIVE, который я использую, я также использую функцию ранжирования. Я запускаю это на своей локальной машине.
SELECT numeric_id, location, Rank(location), followers_count
FROM (
SELECT numeric_id, location, followers_count...
20575 просмотров
schedule
30.01.2024
Используйте входной кодек gzip для файлов без расширения .gz в Hadoop
Я запускаю задание Hadoop для набора входных файлов, сжатых с помощью gzip. Hadoop должен легко справиться с этим... mapreduce в java - входные файлы gzip
К сожалению, в моем случае входные файлы не имеют расширения .gz . Я использую...
861 просмотров
schedule
11.03.2024