Вопросы по теме 'hadoop2'
Узел имен Hadoop 2.2 работает, но узел данных не работает
Я впервые устанавливаю hadoop v2.2 из этого руководства ( ссылка ).
Мой узел имен работает нормально на http://localhost:50070/ Но мой узел данных не работает : http://localhost:50030/ .
Скажите, пожалуйста, нужен ли вам вывод какой-либо...
6703 просмотров
schedule
20.04.2024
Ошибка запуска сервера Hadoop-2.4.0 HBase-0.19.18 Region
Недавно я установил hadoop-2.4.0 и hbase-0.95.18, скомпилированные с помощью
sudo mvn clean package assembly:assembly -DskipTests -Dhadoop.profile=2.4
используя приведенные ниже параметры pom.xml....
564 просмотров
schedule
06.10.2022
Ошибка HDFS: «ввод»: нет такого файла или каталога
Я установил hadoop 2.6.0 и играю с ним. Я пробую псевдораспределенную установку и следую инструкциям на http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#Execution Я застрял на 5-м шаге, т.е. когда я...
22198 просмотров
schedule
24.10.2022
Дамп строки или кортежа (строка, целое число) в pig
У меня есть простой скрипт свиньи, я смог прочитать данные и сбросить данные. Однако мне не удалось вывести строку или кортеж (string, int). Просто интересно, что мне здесь не хватает? Большое спасибо!
dataset = LOAD '/Users/me/input' USING...
2594 просмотров
schedule
23.11.2022
Исключение в основном потоке при форматировании namenode в hadoop
satya@ubuntu:~/hadoop/bin$ hadoop namenode -format
УСТАРЕЛО: Использование этого скрипта для выполнения команды hdfs устарело. Вместо этого используйте для этого команду hdfs.
Exception in thread "main"...
3645 просмотров
schedule
28.01.2024
как контролировать dfs.namenode.handler.count с помощью grafana (opensdb)?
как это? изображение
мой вопрос в том, есть ли такая же метрика, как в Red Mashine. как это называется? или если я должен определить метрику? как это сделать? спасибо вам!
486 просмотров
schedule
02.11.2022
Sqoop Неверный URL-адрес подключения SQL Server
Когда я пытаюсь запустить sqoop, я получаю следующую ошибку:
java.lang.IllegalArgumentException: Invalid connection URL url jdbc:sqlserver://{host}:{port}
Моя команда:
sqoop list-databases \
--connect jdbc:sqlserver://{host}:{port}...
301 просмотров
schedule
05.03.2024
Оконная функция Spark плотности_ранка — без предложения partitionBy
Я использую Spark 1.6.2, Scala 2.10.5 и Java 1.7.
Наш вариант использования требует, чтобы мы выполнили плотности_rank() для набора данных из более чем 200 миллионов строк без использования предложения partitionBy, используется только предложение...
2192 просмотров
schedule
09.11.2023
Не удается запустить apache apex cli
Я пытаюсь запустить Apache Apex cli, но не могу этого сделать. документ говорит, что просто введите apex в командной строке, но там написано No command 'apex' found
Есть ли какие-то предварительные шаги, которые мне нужно выполнить, прежде чем...
134 просмотров
schedule
02.03.2024
Получить идентификатор приложения пряжи из отправленного задания mapreduce
Мне нужно получить идентификатор приложения пряжи из задания mapreduce. Я не могу найти API для этого. Пример моей работы mapreduce:
Configuration conf = new Configuration();
Job job = Job.getInstance(conf, "word count");...
598 просмотров
schedule
10.12.2023
Предложение DISTRIBUTE BY в HIVE
Я не могу понять, что делает это предложение DISTRIBUTE BY в Hive . Я знаю определение, в котором говорится, что если у нас есть DISTRIBUTE BY (city) , это отправит каждый город в другой reducer , но я не получаю того же самого. Рассмотрим...
25301 просмотров
schedule
19.12.2023
Как работает интервал проверки корзины в Hadoop? а зачем нужен checkpoint_intereval?
Я пробовал это практически, чтобы понять концепцию, но мне все еще не ясно.
например, fs.trash.interval=9min и fs.trash.checkpoint.interval=2min
Теперь я удаляю файл1 в 10:00 и файл2 в 10:03. Он говорит, что он перемещен в...
785 просмотров
schedule
23.12.2023
Проблемы с темой __consumer_offsets в Kafka 0.10.2.0
У меня была установка kafka с одним узлом. Он работал нормально. Затем я добавил еще одного брокера и создал кластер кафки с двумя узлами. Я не устанавливал отдельный zookeeper и не использовал тот же zookeeper, который поставляется с пакетом...
739 просмотров
schedule
08.01.2024
Проблемы развертывания Ambari на виртуальных машинах
Я работаю над созданием производственного кластера Hadoop/Spark на нашем предприятии, но сначала провожу тестирование. Просто чтобы получить некоторую семантику:
Рабочая ОС: RHEL 7 ЦП: 8-ядерный Оперативная память: 64 ГБ Количество узлов: 12 Тип:...
172 просмотров
schedule
15.05.2024
Hadoop 2: почему для каждой задачи сопоставления или сокращения используются два процесса Linux?
Мы пытаемся перенести наши задания на Hadoop 2 (Hadoop 2.8.1, одноузловой кластер, если быть точным) с Hadoop 1.0.3. Мы используем YARN для управления нашими заданиями по уменьшению карты. Одно из замеченных нами отличий - это наличие двух процессов...
198 просмотров
schedule
20.02.2024
Hive: тип столбца Decimal (12,9) создает исключение NullPointerException с JSONSerDe
У меня есть внешняя таблица, которая указывает на данные json. Я использую serde org.apache.hive.hcatalog.data.JsonSerDe . Я создал представление поверх этой внешней таблицы с помощью DDL:
CREATE VIEW `my_table` AS SELECT
a.col1,
a.col2,
......
391 просмотров
schedule
02.04.2024
Импорт Sqoop из Oracle завершился с ошибкой Exception in thread main java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/InputFormat
При попытке импортировать данные из Oracle в Hadoop с помощью Sqoop происходит сбой с ошибкой "Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/InputFormat"
Выполнено с этим Вызвано:...
267 просмотров
schedule
13.01.2024
Является ли редьюсер узким местом в структуре MR
Я хочу понять, что делать в следующем случае. Например, у меня есть 1 ТБ текстовых данных, и давайте предположим, что 900 ГБ из них — это слово «Привет». После каждой операции сопоставления у меня будет коллекция пар ключ-значение ‹"Hello",1>.
Но...
48 просмотров
schedule
13.01.2024
