Я вижу все журналы Hadoop на моем пути /usr/local/hadoop/logs но где я могу увидеть журналы уровня приложения? Например : картограф.py import logging def main(): logging.info("starting map task now") // -- do some task -- //...

У меня есть hadoop cluster of three machines , где одна машина действует и как ведущая, и как ведомая. Когда я запускаю wordcount-example , он запускает задачи карты на двух машинах — worker1 и worker2 . Но когда я запускаю свой...

Я использую XMLLoader для загрузки XML в мой свиной латинский скрипт. А затем анализирую его с помощью своего UDF. Проблема в том, что я хочу включить имя входного файла в свой UDF. Что-то типа имя_файла = (строка) input.get(1); Вот мой...

Интересно, есть ли какие-либо различия между InputFormats для потоковой передачи Hadoop и Hadoop. Работают ли входные форматы для потоковой передачи Hadoop также для Hadoop и наоборот? Я спрашиваю об этом, потому что нашел специальный формат ввода...

Я работаю над платформой Hadoop (от HortonWorks), установленной на Windows Server, и кодирую файлы Map/Reduce на С#. У меня есть входная папка с файлами 100k xml. Я хочу прочитать каждый файл xml и записать каждый тег в одну строку. Пожалуйста,...

У меня есть два файла в моем кластере File A и File B со следующими данными: Файл А #Format: #Food Item | Is_A_Fruit (BOOL) Orange | Yes Pineapple | Yes Cucumber | No Carrot | No Mango | Yes Файл B #Format: #Food Item | Vendor...

Недавно я попробовал классификатор изображений Google Inception на своем ПК с операционной системой Win10. По сути, я прошел через это учебник/руководство . Вкратце шаги были такими: Установить Докер Установить Тензорфлоу Получить...

Я пробовал это практически, чтобы понять концепцию, но мне все еще не ясно. например, fs.trash.interval=9min и fs.trash.checkpoint.interval=2min Теперь я удаляю файл1 в 10:00 и файл2 в 10:03. Он говорит, что он перемещен в...

В приведенной ниже программе я пытаюсь сделать это в Apache Pig как есть и с неструктурированными данными. i) У меня есть набор данных, который содержит название улицы, город и штат: ii) Группировка по штатам iii) Я беру COUNT(*) состояний в...

Я хотел получить данные, хранящиеся в кластере Hadoop Cloudera, через Hive, Spark или SQL. У меня есть SQL-запрос, который должен получать данные из кластера. Но перед этим я хочу понять, как настроить соединение /Курсор с кластером, чтобы он знал,...

Я запускаю простую программу MapReduce на Hadoop, вычисляя минимальное, максимальное, медианное и стандартное отклонение значений из столбца набора данных. Когда я запускаю это локально на своем компьютере, я получаю окончательный результат,...

Я настроил oozie 4.3.1 с Hadoop 2.7.3. oozie успешно настроен и работает и может видеть веб-консоль http://localhost:11000/oozie/ . а также подтвердите, используя команду статуса oozie. Проблема 1: при запуске примеров oozie после изменения...