Вопросы по теме 'hortonworks-data-platform'
Подключение к HDP 2.0 (Hortonworks Hadoop) с помощью клиента пряжи
Я скачал и запустил HDP 2.0 в VirtualBox, а затем попытался подключиться с Java с помощью YarnClient.
YarnClient client = YarnClient.createYarnClient();
client.init(new Configuration());
client.start();...
1325 просмотров
schedule
12.11.2022
Запуск Yarn в управляемом режиме
Я пытаюсь запустить приложение simple-yarn по адресу https://github.com/hortonworks/simple-yarn-app в управляемом режиме.
Я скопировал банку с локального на hdfs, например
$ hadoop fs -copyFromLocal simple-yarn-app-1.0-SNAPSHOT.jar...
288 просмотров
schedule
15.12.2023
Настройка окружения. переменная HADOOP_STREAMING для RStudio
Я установил RStudio 3.1 на Horton Hadoop.
В настоящее время моя переменная среды Hadoop Streaming установлена с использованием этого пути export HADOOP_STREAMING=/usr/lib/hadoop-mapreduce/hadoop-streaming.jar
Я получаю сообщение об ошибке при...
1347 просмотров
schedule
01.11.2022
Установка Ambari 1.7 не может зарегистрировать хост - запись хоста не существует в базе данных
Я пытаюсь установить HDP 2.2 через Ambari 1.7 на узле Centos 6.5.
Я должен признать, что инструкции по установке немного запутаны, но я считаю, что сделал все необходимые шаги, чтобы мастер установки Ambari заработал. Настройка сервера Ambari...
2895 просмотров
schedule
04.12.2022
Использование Pig в песочнице Hortonworks
Я пытался использовать CurrentTime() в песочнице, предоставленной Hortonworks, и не могу заставить ее работать.
Это все, что у меня есть в скрипте Pig:
<code>
REGISTER zookeeper.jar
REGISTER piggybank.jar
REGISTER...
2251 просмотров
schedule
21.09.2022
Рабочий процесс Oozie с действием Hive завершился неудачно, возникла проблема с разрешением
У нас есть кластер Hadoop, на котором работает HDP 2.2.0.0.
У нас есть еще один кластер Hadoop, на котором работает HDP 2.2.4.2.
У нас есть рабочий процесс Oozie с действием Hive, который отлично работает в первом кластере с HDP 2.2.0.0.
Но...
582 просмотров
schedule
07.01.2024
Проблема с доступом к Hive JDBC через Knox и настройкой Hive в Ranger
У нас есть кластер HDP-2.2 с настроенным FreeIPA. Но когда мы пытаемся получить доступ к hive jdbc через knox, мы сталкиваемся с проблемой. Ниже приведен URI JDBC, который мы используем:...
1270 просмотров
schedule
24.10.2022
интеграция hbase с pyspark
Я пытаюсь получить доступ к hbase из pyspark в HDP 2.3. Сейчас я просто пытаюсь выполнить пример программы, указанный в каталоге spark, с помощью следующей команды:
spark-submit --driver-class-path...
1358 просмотров
schedule
14.02.2024
Ambari — выполнить скрипт при добавлении узла в кластер
Можно ли (и как) указать где-нибудь сценарий оболочки, который будет выполняться каждый раз, когда новый узел добавляется в кластер Ambari?
Для этого я использую HDP Ambari, и я хотел бы добавить некоторые символические ссылки, когда установка...
102 просмотров
schedule
11.10.2022
Перестроить Accumulo после того, как сбой namenode повредит корневой блок
в нашем разрабатываемом кластере HDP произошло отключение питания, которое повредило некоторые системные блоки HDFS, используемые Accumulo, теперь кластер находится в безопасном режиме, и ambari не перезапускается.
Будучи коробкой DEV, HDFS имеет...
157 просмотров
schedule
03.05.2024
Как сохранить потоковые данные из локального кластера Hadoop в AWS S3
Мы запускаем приложение для потоковой передачи в реальном времени на Hortonworks, используя Kafka и Spark Streaming в локальной настройке кластера.
У нас есть требование, когда нам нужно передать некоторые данные, инициированные событием, из Spark...
140 просмотров
schedule
10.05.2024
Ограничение Spark SQL
Env: искра 1.6 с использованием Hadoop. Платформа данных Hortonworks 2.5
У меня есть таблица с 10 миллиардами записей, и я хотел бы получить 300 миллионов записей и переместить их во временную таблицу.
sqlContext.sql("select ....from my_table...
12517 просмотров
schedule
12.02.2024
как выполняется запрос улья в HADoop
Мне нужно знать, как выполняется запрос куста в распределенной системе, такой как Hadoop. Я проверил другие вопросы, но ни один из них не объяснил подробно.
Ищу полный процесс исполнения. Я хочу знать, почему запросы на соединение улья занимают...
3196 просмотров
schedule
16.03.2024
добавочный импорт из задания sqoop через oozie не обновляет incremental.last.value в хранилище метаданных sqoop
Пытаясь выполнить добавочный импорт из mysql в куст путем создания задания sqoop, он отлично работает из командной строки, но когда я пытаюсь сделать то же самое с oozie, он не обновляет incremental.last.value в хранилище метаданных sqoop.
339 просмотров
schedule
01.03.2024
Запустить java-программу из nifi с параметрами
Я хочу взять некоторые термины из базы данных cassandra, а затем отправить их в качестве параметра в java-программу, которая выведет некоторые данные, которые мне нужно будет сохранить в базе данных cassandra.
Возможно ли это с nifi, если да, то...
2736 просмотров
schedule
11.03.2024
Установите параметр Zookeeper Node (znode) в клиенте HappyBase HBase.
Я хочу подключиться к защищенной базе данных Kerberos HBase через HappyBase (python).
Соединение работало для другого незащищенного кластера со следующими настройками:
import happybase
connection = happybase.Connection("host1.domain.de",...
708 просмотров
schedule
02.02.2024
Пример использования модели базы данных Sentry
У Sentry есть две модели. Одна — это модель на основе файлов, а вторая — модель базы данных. В настоящее время у меня есть сопоставление групп-> роли-> разрешений в файле глобальной политики, как показано ниже:
[groups]
mapr = admin_role
analysts...
276 просмотров
schedule
13.01.2024
Вычислить процент в логическом столбце
Предполагая, что мои данные имеют следующую структуру:
Year | Location | New_client
2018 | Paris | true
2018 | Paris | true
2018 | Paris | false
2018 | London | true
2018 | Madrid | true
2018 |...
564 просмотров
schedule
29.04.2024
Как динамически читать значения из файла для свойства в updateAttribute?
Я добавил некоторые пользовательские свойства в процессор updateAttribute с помощью кнопки «+». Например: я объявил свойство 'DBConnectionURL' и дал значение как 'jdbc:mysql://localhost:3306/test'. Затем в контроллере службы «DBCPConnectionPool» я...
1458 просмотров
schedule
24.12.2023
shc-core: NoSuchMethodError org.apache.hadoop.hbase.client.Put.addColumn
Я пытаюсь использовать shc-core для сохранения фрейма данных spark в hbase через spark. Мои версии:
hbase: 1.1.2.2.6.4.0-91
искра: 1,6
скала: 2.10
шк: 1.1.1-1.6-s_2.10
hdp: 2.6.4.0-91
Конфигурация выглядит так:
val schema_array...
351 просмотров
schedule
09.12.2023
