Публикации по теме 'mapreduce'
Разработка и развертывание приложений MapReduce с помощью Microsoft Azure
Из предыдущей статьи мы увидели несколько сред программирования и то, как они позволяют разработчикам приложений развертывать свои пользовательские приложения в облаке. Теперь мы увидим, как можно физически развернуть эти приложения с помощью MapReduce, взяв в качестве примера Microsoft Azure.
Первым шагом будет создание учетной записи в Azure. При бесплатном использовании нам предоставляется 200 долларов, а использование любого сервиса на Azure будет стоить денег. Обязательно завершите..
Вопросы по теме 'mapreduce'
MongoDB MapReduce намного медленнее, чем чистая обработка Java?
Я хотел посчитать все ключи моих документов (включая встроенные) коллекции. Сначала я написал клиент Java, чтобы решить эту проблему. На отображение результата ушло менее 4 секунд. Затем я написал функцию map / reduce. Результат был прекрасным, но...
5761 просмотров
schedule
20.10.2022
Что мы можем сделать с OpenCL?
Я читал об OpenCL и нашел эту строку:
OpenCL предоставляет любому приложению доступ к графическому процессору для неграфических вычислений.
Допустим, мне нужно выполнить операцию с интенсивным использованием ЦП или алгоритм на Java или...
2399 просмотров
schedule
23.09.2022
Метод перетасовки/сортировки MapReduce
Несколько странный вопрос, но кто-нибудь знает, какой тип сортировки использует MapReduce в части сортировки в случайном порядке/сортировке? Я бы подумал о слиянии или вставке (в соответствии со всей парадигмой MapReduce), но я не уверен.
3520 просмотров
schedule
11.12.2022
Как запустить задание mapreduce из cron на GAE Python
У меня есть задание mapreduce, определенное в mapreduce.yaml:
mapreduce:
- name: JobName
mapper:
input_reader: google.appengine.ext.mapreduce.input_readers.DatastoreInputReader
handler: handler_name
params:
- name: entity_kind...
1044 просмотров
schedule
26.10.2023
CouchDB для запросов с фиксированными категориями
У меня есть такие документы в CouchDB:
{
"_id": "0cb35be3cc73d6859c303fa3200011d2",
"_rev": "1-f6e356bbf6ab09290aae11132af50d66",
"adresse": "Bohrgaß 10 /",
"plz": 56814,
"ort": "Faid /",
"kw": 2.32,
"traeger": "SOL"
...
}...
141 просмотров
schedule
09.10.2022
Группировка с использованием Map и Reduce
У меня есть несколько документов с полем «статус» «Зеленый», «Красный», «Желтый».
Я уверен, что можно использовать MapReduce для получения сгруппированного ответа, содержащего три ключа (по одному для каждого статуса), каждый со значением,...
172 просмотров
schedule
27.09.2022
MapReduceBase и Mapper устарели
public static class Map extends MapReduceBase implements Mapper
MapReduceBase , Mapper и JobConf устарели в Hadoop 0.20.203 .
Что мы должны использовать сейчас?
Редактировать 1 - для Mapper и MapReduceBase я обнаружил, что нам...
9856 просмотров
schedule
26.04.2024
Потоковая передача Hadoop: как посмотреть журналы приложений?
Я вижу все журналы Hadoop на моем пути /usr/local/hadoop/logs
но где я могу увидеть журналы уровня приложения? Например :
картограф.py
import logging
def main():
logging.info("starting map task now")
// -- do some task -- //...
6296 просмотров
schedule
25.09.2022
кластер hadoop: задача сопоставления выполняется только на одной машине, а не на всех
У меня есть hadoop cluster of three machines , где одна машина действует и как ведущая, и как ведомая.
Когда я запускаю wordcount-example , он запускает задачи карты на двух машинах — worker1 и worker2 . Но когда я запускаю свой...
1256 просмотров
schedule
30.05.2024
Рассчитать среднее значение и стандартное отклонение по столбцам в Hadoop
Я хочу рассчитать средние значения и стандартное отклонение по столбцам в Hadoop.
Я просто использую однопроходный алгоритм Naïve для MapReduce. Я протестировал его на многомерных наборах данных 455000x90 и 650000x120 и получил ускорение ниже, еще...
3377 просмотров
schedule
26.05.2024
Map/Reduce: какие-либо теоретические основы, кроме как?
Некоторое время я думал, что вам просто нужна карта для моноида, а затем сокращение будет выполнять сокращение в соответствии с умножением моноида.
Во-первых, это не совсем так, как работают моноиды, а во-вторых, это не совсем то, как map/reduce...
736 просмотров
schedule
19.05.2024
Написание кода MApreduce для подсчета количества записей
Я хочу написать код mapreduce для подсчета количества записей в данном CSV-файле. Я не понимаю, что делать с картой и что делать с сокращением, как мне решить эту проблему, может ли кто-нибудь что-нибудь предложить?
10401 просмотров
schedule
21.11.2022
Как найти процессорное время, затрачиваемое задачей Map/Reduce в Hadoop
Я пишу планировщик Hadoop. Мое планирование требует определения процессорного времени, затрачиваемого каждой задачей Map/Reduce.
Я знаю это:
Класс TaskInProgress поддерживает значения execStartTime и execFinishTime, которые являются временем...
3442 просмотров
schedule
17.11.2023
Указание выходного uri для задания Disco mapreduce
Я хотел бы, чтобы выполненная работа Disco записывалась непосредственно в mongodb. Есть ли простой способ указать выходной URL-адрес для Disco для отправки своих данных?
183 просмотров
schedule
13.11.2023
как отправить много заданий mapreduce в один терминал?
Я использую mapreduce для запуска программы, чтобы отправить одно задание: я могу использовать следующий формат ./hadoop jar аргументы program.jar
в одном терминале это может отправить одно задание, но что, если я хочу отправить 100 заданий?...
1057 просмотров
schedule
22.01.2024
Hadoop для обработки данных от Apache solr
Мне нужно обработать огромное количество данных. Я бы хотел, чтобы они обрабатывались с использованием распределенных вычислений (масштабируемых). Я получаю данные от apache Solr. При передаче определенного ввода я получаю огромный набор данных от...
563 просмотров
schedule
22.01.2024
Распределенный кэш Hadoop
Я прочитал учебные пособия от Apache и Yahoo по DistributedCache. Я все еще смущен одной вещью, хотя. Предположим, у меня есть файл, который я хочу скопировать на все узлы данных. Итак, я использую DistributedCache.addCacheFile(new...
1338 просмотров
schedule
10.11.2023
Map-Reduce Query для подсчета тегов
У меня есть база данных документов, помеченных ключевыми словами. Я пытаюсь найти (а затем подсчитать) уникальные теги, которые используются рядом друг с другом. Итак, для любого данного тега я хочу знать, какие теги использовались вместе с этим...
438 просмотров
schedule
28.10.2023
Установка значения счетчика MapReduce на определенное значение
Я не вижу простого способа установить значение счетчика задания MapReduce в самом начале? Также является ли атомарная операция увеличения счетчика среди задач карты/уменьшения?
1283 просмотров
schedule
15.06.2024
map уменьшить выходные файлы: part-r-* и part-*
У меня есть несколько вопросов о выходных файлах частей сокращения карты.
1> What are the differences between part-r-* files and part-* files in map reduce output? part-r-* is output from mapper and part-* is from reducer?
2> If reducer doesn't...
4527 просмотров
schedule
30.03.2024
