Вопросы по теме 'cloudera-cdh'
Настройте формат вывода Sqoop2 TEXT_FILE
Я использую Sqoop2 (Sqoop 1.99.3-cdh5.1.0) для импорта данных из базы данных postgresql. Задание успешно завершается и создает текстовые файлы в HDFS. Выходные файлы представляют собой CSV с одинарными кавычками, я хотел бы настроить вывод так,...
503 просмотров
schedule
07.11.2022
Определение слота уменьшения карты
Я на пути к тому, чтобы стать администратором Cloudera Hadoop. С самого начала я много слышал о вычислительных слотах для каждой машины в кластере Hadoop, например, об определении количества слотов карт и уменьшении слотов.
Я искал в Интернете...
6447 просмотров
schedule
31.10.2023
Ошибка балансировщика CDH5 hdfs
при запуске «балансировщика hdfs», я вижу, что он показывает установленную топологию стойки, чрезмерно используемые и недостаточно используемые узлы, он говорит: «Необходимо переместить 5 ТБ, чтобы сделать кластер сбалансированным» и «Решено...
2100 просмотров
schedule
30.11.2023
Трекер вакансий не запускается
Я устанавливаю CDH4.6.0 с помощью jps
Namenode
Datanode
Secondary Namenode
Tasktracker
2.html. " rel="nofollow">этот сайт Я запускаю start-all.sh для запуска служб.
/etc/init.d/hadoop-hdfs-namenode start...
1428 просмотров
schedule
25.03.2024
Как проверить версию Spark
как указано, как узнать, какая версия spark была установлена в CentOS?
В текущей системе установлен cdh5.1.0.
111405 просмотров
schedule
07.11.2023
PIG: столбцы в строки
У меня есть файл, содержащий это:
id_v^id_f^id_s1,id_s2,id_s3,id_s4
id_v1^id_f1^id_s2,id_s3,id_s4
id_v2^id_f2^id_s2,id_s1,id_s4
этот файл представляет собой CSV-файл с разделителями "^". я хочу нормализовать его таким образом, используя...
49 просмотров
schedule
22.02.2024
Основной класс [org.apache.oozie.action.hadoop.SqoopMain], код выхода [1]
когда я пытаюсь запустить рабочий процесс sqoop в cloudera CDH-5.3, он дает следующую ошибку
Основной класс [org.apache.oozie.action.hadoop.SqoopMain], код выхода [1]
Я пытаюсь вставить данные в hdfs из базы данных Mysql. Я скопировал...
1215 просмотров
schedule
30.10.2023
Убедитесь, что моментальный снимок HBase захватил все данные
При создании моментальных снимков в HBase я получил сообщение об ошибке «Снимок «имя_снимка» не был завершен в ожидаемое время: 60000 мс.
Однако, когда я затем перечисляю свои текущие снимки, я вижу, что снимок, который вернул ошибку, говорящую о...
914 просмотров
schedule
07.11.2023
Как использовать регулярное выражение в OOZIE?
Я хочу проверить, существует ли файл в указанном месте HDFS.
Мы можем проверить, существует файл или нет в заданном месте HDFS с помощью fs:exists, т.е.
Если имя файла test_25082016 , с помощью задания согласования мы можем получить значение...
817 просмотров
schedule
25.02.2024
Запустите Spark Job через Uber Jar с Oozie и Hue
В настоящее время я изучаю, как использовать Apache Oozie для запуска заданий Spark в CDH 5.8, но, похоже, обнаружил проблемы.
Я компилирую свою искровую работу с помощью IntelliJ> Build Artifact (в Uber JAR / Fat JAR), а затем удаляю его файл...
1481 просмотров
schedule
09.03.2024
Как координатор Oozie реагирует на базовое изменение рабочего процесса?
У меня есть вопрос об Apache Oozie и, в частности, о дистрибутиве CDH.
Что происходит с координатором, когда используемый им рабочий процесс был изменен? Например, рабочий процесс теперь использует дополнительный параметр, который автоматически...
1019 просмотров
schedule
14.11.2022
Oozie's Spark Submit использует метод ivy 2.4, отсутствующий в CDH 5.9.2.
Средство запуска рабочего процесса oozie иногда дает сбой (статус KILLED) из-за порядка загрузки пути к классам. В SparkSubmit существует вызов метода в ivy 2.4.0, но этого конкретного метода нет в ivy 2.0.0-rc2. Рабочий процесс обычно проходит...
435 просмотров
schedule
13.03.2024
Обновление отдельных компонентов CDH в Community Edition с помощью «Установщика в один клик»
Может ли кто-нибудь сообщить мне, возможно ли обновить отдельный компонент CDH до версии 5.13 с версии 5.7 с помощью «1 Click Installer» для Community Edition?
Например, допустим, я хочу обновить только hadoop-hdfs-datanode до последней версии на...
51 просмотров
schedule
07.12.2023
Могу ли я установить второй Hadoop с CDH, если я уже установил Hadoop с Ambari? На тех же машинах
Могу ли я иметь второй кластер Hadoop с CDH, если у меня уже установлен кластер Hadoop с Ambari на тех же трех машинах? Если да, как я могу перенести данные из исходного кластера в новый кластер? Спасибо.
93 просмотров
schedule
24.05.2024
Разница между двумя отметками времени в Hive через запрос
У меня есть таблица кустов со следующими столбцами
session Timestamp
1 2018-05-18T00:00:00.000Z
1 2018-05-18T00:01:00.000Z
1 2018-05-18T00:02:00.000Z
1 2018-05-18T00:03:00.000Z
2...
5065 просмотров
schedule
01.04.2024
подключение PBI к импале
Я создал кластер cloudera (ENTERPRISE DATA HUB) на Azure. Я могу использовать DNSname:7180 для просмотра и управления кластером. Однако мне не удалось подключиться к Impala из PowerBI Desktop. Я попробовал оба имени виртуальных машин с расширением...
540 просмотров
schedule
02.03.2024
