Свързани въпроси 'hadoop-streaming'

hadoop стрийминг: как да видя регистрационните файлове на приложението?
Мога да видя всички файлове на hadoop по моя път /usr/local/hadoop/logs но къде мога да видя регистрационни файлове на ниво приложение? например : mapper.py import logging def main(): logging.info("starting map task now") // --...
6296 изгледи

Как да включите FileName в Pig Latin Script с помощта на XMLLoader?
Използвам XMLLoader, за да заредя XML в моя свински латински скрипт. И след това да го анализирам с моя UDF. Проблемът е, че искам да включа името на входния файл в моя UDF. Нещо като име на файл = (низ)input.get(1); Ето моят латински код за...
581 изгледи
schedule 05.10.2022

hadoop входен формат за hadoop стрийминг. Формат за въвеждане на Wikihadoop
Чудя се дали има някакви разлики между InputFormats за hadoop и hadoop стрийминг. Входните формати за стрийминг на hadoop работят ли и за hadoop и обратно? Питам това, защото намерих специален входен формат за дъмп файловете на wikipedia, wikihadoop...
300 изгледи
schedule 06.12.2023

Задача за поточно предаване на Python MapReduce Hadoop, която изисква множество входни файлове?
Имам два файла в моя клъстер File A и File B със следните данни - Файл А #Format: #Food Item | Is_A_Fruit (BOOL) Orange | Yes Pineapple | Yes Cucumber | No Carrot | No Mango | Yes Файл Б #Format: #Food Item | Vendor Name Orange...
14598 изгледи
schedule 22.03.2024

XML File Input Map/Reduce Hadoop Windows Server
Работя върху платформата Hadoop (от HortonWorks), инсталирана на Windows Server и кодирам Map/Reduce файлове в C#. Имам входна папка със 100k xml файла. Искам да прочета всеки xml файл и да напиша всеки етикет в един ред. Моля, следвайте примера...
2078 изгледи