Вопросы по теме 'hdfs'
Метод перетасовки/сортировки MapReduce
Несколько странный вопрос, но кто-нибудь знает, какой тип сортировки использует MapReduce в части сортировки в случайном порядке/сортировке? Я бы подумал о слиянии или вставке (в соответствии со всей парадигмой MapReduce), но я не уверен.
3520 просмотров
schedule
11.12.2022
Разница между hadoop fs -put и hadoop fs -copyFromLocal
-put и -copyFromLocal задокументированы как идентичные, хотя в большинстве примеров используется подробный вариант -copyFromLocal. Почему?
То же самое для -get и -copyToLocal
54194 просмотров
schedule
13.12.2023
Запись в HDFS: файл перезаписывается
Я пишу в файловую систему hadoop. Но каждый раз, когда я что-то добавляю, он перезаписывает данные, а не добавляет их в существующие данные/файл. Код, который это делает, приведен ниже. Этот код вызывается снова и снова для разных данных. Является...
3092 просмотров
schedule
19.01.2024
Использование FileInputFormat.addInputPaths для рекурсивного добавления пути HDFS
У меня есть структура HDFS что-то вроде
a/b/file1.gz
a/b/file2.gz
a/c/file3.gz
a/c/file4.gz
Я использую классический шаблон
FileInputFormat.addInputPaths(conf, args[0]);
чтобы установить мой входной путь для работы по уменьшению...
5103 просмотров
schedule
26.02.2024
Узлы данных не запущены
Я пытаюсь настроить Hadoop версии 0.20.203.0 в псевдораспределенной конфигурации, используя следующее руководство:
http://www.javacodegeeks.com/2012/01/hadoop-modes-explained-standalone.html
После запуска сценария start-all.sh я запускаю...
76308 просмотров
schedule
17.12.2023
Различия между hflush и hsync API в HDFS
Может ли кто-нибудь выделить технические детали и когда их использовать.
4124 просмотров
schedule
12.06.2024
Пример вторичного индекса Hbase 0.92.1
Я работаю над миллионами строк и столбцов в hbase 0.92.1. Теперь я хочу знать, как создать вторичный индекс с помощью сопроцессора. Приведите несколько примеров программы для этого. Пожалуйста, дайте программу, которая поддерживает hbase 0.92.1.
1547 просмотров
schedule
23.05.2024
Файловая система дистрибутива Hadoop
Я хотел бы изменить способ разделения входного файла на блоки и его хранения в распределенной файловой системе Hadoop (например, файл разбивается на основе размера блока, но мое приложение требует разделения файла на основе содержимого файла)....
469 просмотров
schedule
06.10.2022
Могу ли я прочитать вывод редуктора, когда редуктор все еще работает?
Я пытаюсь уменьшить задержку задания mapreduce в своем потоке данных и хочу постоянно следить за выводом файла редуктора part-xxxx, используя hdfs-api, вместо того, чтобы читать его после завершения задания. но мне интересно, это безопасно для работы...
336 просмотров
schedule
21.03.2024
Обработка обновленных записей в Hadoop
Каждый день пользовательская таблица из оракула сбрасывается в HDFS. Дамп содержит только последние изменения (вставки и обновления), которые были сделаны после предыдущего дампа. Теперь я хотел загрузить все ежедневные дампы, используя PIG, в...
427 просмотров
schedule
01.12.2023
Высокая пропускная способность против низкой задержки в HDFS
Я попытался своими словами определить, что означает высокая пропускная способность и низкая задержка в HDFS, и пришел к следующему определению:
HDFS оптимизирован для более быстрого доступа к пакетам наборов данных (высокая пропускная...
24056 просмотров
schedule
17.02.2024
HDFS из Java — указание пользователя
Я с радостью подключаюсь к HDFS и перечисляю свой домашний каталог:
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://hadoop:8020");
conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
FileSystem fs =...
17662 просмотров
schedule
02.03.2024
контрольная точка: всегда ли fsimage копируется из namenode
В контрольно-пропускных пунктах Definitive Guides говорят
1. The secondary asks the primary to roll its edits file, so new edits goes to a new file
2. The secondary retrieves fsimage and edits from primary (using HTTP GET)
и в конце...
1040 просмотров
schedule
30.10.2023
Проблема с безопасным режимом HDFS
Столкнулся с проблемой HDFS. Ошибка приведена ниже:
Проблема с доступом к /nn_browsedfscontent.jsp. Причина:
Невозможно выдать токен делегирования. Узел имени находится в безопасном режиме. Сообщенные блоки 428 нуждаются в...
3089 просмотров
schedule
17.01.2024
Нежелательные символы, записанные из java REST-API в HadoopDFS с использованием FSDataOutputStream
Мы создали java REST-API для получения данных о событиях (например, при нажатии на кнопку покупки) и записи этих данных в HDFS. По сути, мы открываем потоки для каждого хоста, который отправляет данные (в формате JSON), или используем существующие,...
960 просмотров
schedule
04.02.2024
среда автоматизации системного тестирования для кластеров Hadoop
Я ищу систему тестирования системы для кластеров Hadoop. Поддерживаемые варианты использования должны включать системный тест для HDFS, задания сокращения карт и запросы кустов. Я нашел один из apache, который называется herriot , но я не уверен,...
1784 просмотров
schedule
23.02.2024
Hadoop в локальной файловой системе
Я запускаю Hadoop на псевдораспределенном. Я хочу читать и писать из локальной файловой системы, абстрагируя HDFS для своей работы. Я использую параметр file:/// . Я перешел по этой ссылке.
Это содержимое файла core-site.xml ,...
10533 просмотров
schedule
09.12.2022
Сбой отправки задания Hive MapReduce Целью является каталог
Я играл с Hadoop и его дочерними проектами, и у меня было несколько проблем на этом пути, но я, наконец, столкнулся с одной, на которую не могу найти ответ:
У меня есть таблица кустов, хранящаяся на hdfs в виде текстового файла с разделителями...
1549 просмотров
schedule
07.05.2024
Считывает ли команда DFS ls пространство имен из файла fsimage или и того, и другого (журнал редактирования и fsimage)?
Я новичок в хаупе. Я знаю, что hdfs не будет физически создавать каталог вместо сохранения пространства имен. Мы можем перечислить каталог с помощью команды FS. Мой вопрос: будет ли команда ls читать только из файла fsimage или также редактировать...
199 просмотров
schedule
24.01.2024
Зависимости сторонних библиотек Hadoop от локальных файлов
Итак, я работаю над проектом Hadoop, в котором широко используются некоторые сторонние библиотеки, которые полагаются на наличие небольших локальных файлов. Многие из них являются конфигурационными файлами, хотя один из них представляет собой файл...
85 просмотров
schedule
16.12.2023
