Публикации по теме 'distributed-computing'


Понимание Celery Workers: Concurrency, Prefetching и Heartbeats
При использовании Celery в Python одной из самых важных концепций для понимания является рабочий процесс Celery. Рабочие процессы отвечают за асинхронное выполнение задач, и их можно настроить для обработки задач различными способами. В этом сообщении блога мы углубимся в три ключевых понятия, связанных с воркерами Celery: параллелизм, предварительная выборка и такты. параллелизм Параллелизм относится к способности работника обрабатывать несколько задач одновременно. По умолчанию..

Представляем RavDL версии 2 для Ravenverse!
Обучение моделей машинного обучения и глубокого обучения в Ravenverse теперь происходит быстрее, чем когда-либо прежде. Новая и оптимизированная версия нашей библиотеки глубокого обучения RavDL, а также различные новые операции машинного обучения позволяют разработчикам обучать большие модели за считанные минуты! Новый и улучшенный RavDL Последний выпуск нашей библиотеки глубокого обучения, RavDL, позволяет разработчикам получить доступ к RavDL.v2, который использует недавно..

Вопросы по теме 'distributed-computing'

Использование облачных/распределенных вычислений для разделения процессорного времени — возможности и методы
Мой вопрос — это вопрос, который я обдумывал, когда работал над ресурсоемким сетевым приложением, которое явно распределяло бы задачу по сети, используя сервер для назначения задания каждому компьютеру в отдельности и распределения нагрузки. Я...
773 просмотров

Linpack иногда запускается, иногда нет, но ничего не изменилось
Я установил Linpack на кластер из 2 узлов с процессорами Xeon. Иногда, если я запускаю Linpack с помощью этой команды: mpiexec -np 28 -print-rank-map -f /root/machines.HOSTS ./xhpl_intel64 linpack запускается и печатает вывод, иногда я...
1203 просмотров

Кластерные MDB с Spring
У меня есть существующее приложение Spring/JPA и часть бизнес-логики, которую я хочу запустить параллельно. Несколько лет назад в телекоммуникационном приложении у меня было аналогичное требование, и мы справились с этим, выполнив параллельный код на...
234 просмотров

Распределенный Erlang: узнайте об удаленном хосте и функции запуска
Я пытаюсь реализовать очень простой пример, чтобы получить первое представление о распределенном Erlang . Итак, я запускаю две ноды на одной машине: erl -sname dilbert erl -sname dogbert Задача состоит в том, что dogbert делает dilbert...
308 просмотров
schedule 11.06.2024

Распределенный кеш с зависимостями кеша
Существует ли распределенная система кэширования (в идеале с клиентом .NET), которая имеет программные зависимости кэша из коробки? В своем исследовании я нашел только распределенные кеши со сроком действия кеша на основе времени.
210 просмотров

Каковы накладные расходы матлабпула?
Может ли кто-нибудь указать мне, каковы накладные расходы на запуск matlabpool? Я начал матлабпул: matlabpool open 132procs 100 Starting matlabpool using the '132procs' configuration ... connected to 100 labs. И следили за использованием...
271 просмотров

Эластичная топология Storm / сосуществование Storm и Hadoop
Мы оцениваем возможность развертывания преследования Storm, но меня это немного беспокоит. В настоящее время мы запускаем Hadoop MapReduce и хотели бы перенести часть нашей обработки с процессов MapReduce на процессы Storm. Обратите внимание, что...
2567 просмотров

Как освободить ссылку в DCOM сервера, когда клиент разрывает соединение
В среде клиент/сервер, где сервер реализует COM-интерфейс, бывают случаи, когда соединение по какой-либо причине теряется (клиент падает), но экземпляр потока остается активным на сервере, потребляя память до тех пор, пока приложение не будет...
275 просмотров

Будет ли mapreduce использовать узел, на котором находится большая часть gzip-файла?
У меня есть кластер HDFS с большими файлами gzip . Я убедился, что все блоки этих gzip файлов находятся в одном и том же узле данных, записав их в HDFS из этого узла данных. for i in {1..10}; do scp file$i.gz datanode1: ssh...
103 просмотров
schedule 06.06.2024

Как я могу реализовать многоузловой барьер в Java?
Я создаю многоузловую (распределенную) экспериментальную установку на Java для академического проекта. Я использую скрипт для запуска приложения на всех узлах. После запуска приложения и запуска всех модулей эти узлы начинают некоторые операции с...
251 просмотров
schedule 10.11.2023

apache spark, не удалось создать локальный каталог
Я пытаюсь настроить Apache-Spark на небольшом автономном кластере (1 главный узел и 8 подчиненных узлов). Я установил «предустановленную» версию Spark 1.1.0, построенную поверх Hadoop 2.4. Я установил SSH без пароля между узлами и экспортировал...
7685 просмотров

Как хранить данные и получать данные из файлов сопоставления памяти с помощью CopyMemory в VBA?
Я пытаюсь создать распределенную вычислительную систему, которая использует файлы сопоставления памяти для координации работы между несколькими сетевыми ПК через VBA. Иными словами, я хочу, чтобы группа компьютеров, объединенных в сеть, одновременно...
5410 просмотров

Максимальное количество зерна Microsoft Orleans на силос
Я тестирую Microsoft Orleans на предмет возможности использования в качестве среды распределенных вычислений. Похоже, это может сработать, однако мне было интересно, как установить максимальное количество активных зерен в данном бункере? Мои...
1460 просмотров

Физические часы: правильность против точности
В контексте подготовки к классу по распределенным системам я наткнулся на следующие непонятные мне определения: Пусть C(t) — идеальные часы. Часы Ci(t) называются правильными в момент времени t , если Ci(t) = C(t) . Часы Ci(t)...
258 просмотров

Можно ли манипулировать графом, загруженным в память Giraph?
Я прочитал , что Giraph — это фреймворк для анализа графов, но возможно ли добавить, удалить или обновить узлы и ребра графа, загруженного в память Giraph?
48 просмотров

Следует ли при использовании MDA различать идемпотентные и неидемпотентные обработчики событий?
Вопрос предполагает использование Event Sourcing. При восстановлении текущего состояния путем воспроизведения событий обработчики событий должны быть идемпотентными. Например, когда пользователь успешно обновляет свое имя пользователя, может быть...
313 просмотров

Генерация уникальных порядковых номеров в браузере для логирования
При создании распределенных систем одной из основных проблем является отладка того, где и как возникают проблемы, и часто единственным инструментом, который у вас есть для проведения вскрытия, являются доступные журналы. Одним из способов объединения...
42 просмотров

Как распределить код между jvm
Некоторые распределенные вычислительные механизмы, такие как Spark или Flink, могут распределять код между компьютерами и jvm, например (в scala со spark): sc.parallelize(1 to 10).map(i => i+1).collect Здесь i => i+1 сериализуется,...
113 просмотров
schedule 15.12.2023

Какое программное обеспечение следует использовать для распределенного хранения и обработки графов?
Коротко о проблеме: Существует огромное количество входных данных в формате JSON. Например, сейчас он составляет около 1 ТБ, но он будет расти. Мне сказали, что у нас будет кластер. Мне нужно обработать эти данные, сделать из них график и...
123 просмотров

Hadoop/Spark: как связаны коэффициент репликации и производительность?
Не обсуждая все другие факторы производительности, дисковое пространство и объекты узла Name, как фактор репликации может улучшить производительность MR, Tez и Spark. Если у нас есть, например, 5 datanades, лучше ли механизму выполнения установить...
963 просмотров