Свързани въпроси 'hadoop-streaming'
hadoop стрийминг: как да видя регистрационните файлове на приложението?
Мога да видя всички файлове на hadoop по моя път /usr/local/hadoop/logs
но къде мога да видя регистрационни файлове на ниво приложение? например :
mapper.py
import logging
def main():
logging.info("starting map task now")
// --...
6296 изгледи
schedule
25.09.2022
Как да включите FileName в Pig Latin Script с помощта на XMLLoader?
Използвам XMLLoader, за да заредя XML в моя свински латински скрипт. И след това да го анализирам с моя UDF. Проблемът е, че искам да включа името на входния файл в моя UDF.
Нещо като
име на файл = (низ)input.get(1);
Ето моят латински код за...
581 изгледи
schedule
05.10.2022
hadoop входен формат за hadoop стрийминг. Формат за въвеждане на Wikihadoop
Чудя се дали има някакви разлики между InputFormats за hadoop и hadoop стрийминг. Входните формати за стрийминг на hadoop работят ли и за hadoop и обратно? Питам това, защото намерих специален входен формат за дъмп файловете на wikipedia, wikihadoop...
300 изгледи
schedule
06.12.2023
Задача за поточно предаване на Python MapReduce Hadoop, която изисква множество входни файлове?
Имам два файла в моя клъстер File A и File B със следните данни -
Файл А
#Format:
#Food Item | Is_A_Fruit (BOOL)
Orange | Yes
Pineapple | Yes
Cucumber | No
Carrot | No
Mango | Yes
Файл Б
#Format:
#Food Item | Vendor Name
Orange...
14598 изгледи
schedule
22.03.2024
XML File Input Map/Reduce Hadoop Windows Server
Работя върху платформата Hadoop (от HortonWorks), инсталирана на Windows Server и кодирам Map/Reduce файлове в C#.
Имам входна папка със 100k xml файла. Искам да прочета всеки xml файл и да напиша всеки етикет в един ред. Моля, следвайте примера...
2078 изгледи
schedule
08.05.2024