Вопросы по теме 'gnu-parallel'
Bashscript с параллельной операцией curl
У меня есть список с URL-адресами, которые мне нравится загружать с помощью CURL и выполнять некоторые операции с результатом с помощью сценария bash. Поскольку это почти 100 тысяч запросов, мне нравится запускать их параллельно. Я уже изучил...
5187 просмотров
schedule
08.02.2024
GNU Parallel запускает Makefile с разными уровнями оптимизации
Не существует оптимального уровня -O. Мой подход, чтобы найти самое быстрое выполнение для моего конкретного кода, состоит в том, чтобы скомпилировать тот же код с обычными уровнями оптимизации (т.е. -O0, -Ofast, -O1, -O2, -O3, -march=native) и...
327 просмотров
schedule
25.01.2024
Команда терминала для запуска тестов с использованием GNU Parallel
У меня есть папка с проблемами, которая выглядит так:
problem1, domain 1
problem2, domain 2
problem3, domain 3
Я хочу использовать GNU Parallel для решения таких задач. Это короткая версия того, что я пробовал:
seq 01 20 | parallel...
90 просмотров
schedule
25.10.2022
Параллельное наследование переменной среды GNU при выполнении локального скрипта
Предположим, у меня есть foo.sh , который вызывает bar.sh , используя параллель:
# foo.sh
#! /bin/bash
parallel -N 3 bar.sh ::: $(seq 10)
Мой bar.sh работает следующим образом: если установлена переменная среды (например, DEBUG=1),...
1278 просмотров
schedule
13.06.2024
Параллельный обход GNU с отсутствующими столбцами
У меня есть программа, которая принимает переменное количество аргументов, и я хочу запустить программу параллельно с одним экземпляром для каждой строки входного файла. Входной файл разделен запятыми с некоторыми отсутствующими столбцами в конце...
529 просмотров
schedule
20.11.2023
Как использовать аргументы из `xargs` в качестве индекса массива
Я хочу использовать аргументы из xargs в качестве индекса этого массива, это скрипты:
1 #!/bin/bash
2 array[0]=x
3 array[1]=y
4 echo array : ${array[0]}, ${array[1]}
5 echo -n {0..1} | xargs -I index -d" " echo index,${array[index]}
и это...
1880 просмотров
schedule
27.10.2023
использовать GNU parallel для распараллеливания многопоточной команды
Я только что написал скрипт на Python, который включает в себя многопоточность, например:
python myScript.py -cpu_n 5 -i input_file
Чтобы запустить команду для моих сотен входных файлов, я создаю список (commands.list) команд для каждого...
1342 просмотров
schedule
27.04.2024
Gnu Parallel и аргумент --link
Привет, я очень новичок в Linux и учусь использовать терминал и bash. в настоящее время я просматриваю GNU Parallel Tutorial. Я пришел к разделу, в котором рассказывается о связывании аргументов с --link :::+
если я попытаюсь использовать ссылку,...
1061 просмотров
schedule
07.10.2022
Запускать следующее задание с помощью GNU Parallel, только если заданное пользователем условие истинно
Я запускаю несколько экземпляров программы, использующей GNU Parallel, и каждый из них требует некоторого места во вторичной памяти. Бывает, что позже в моей текущей настройке все экземпляры завершаются с ошибкой, потому что на устройстве не осталось...
73 просмотров
schedule
28.12.2023
Поиск файлов с помощью gnu parallel
Я понимаю, что с помощью следующей команды
find . -name "*.foo" | parallel grep bar
будет выполняться в 2 шага:
1) выполнить поиск всех файлов, соответствующих "*.foo" .
2) Затем в этом наборе файлов он будет выполнять параллельный...
775 просмотров
schedule
20.05.2024
Запуск скрипта цикла bash curl с помощью GNU Parallel
Совсем недавно начал программировать на bash и наткнулся на GNU Parallel, это как раз то, что мне нужно для моего проекта. Имейте базовый сценарий цикла, который предназначен для циклического просмотра списка IP-адресов и пинга каждый раз. Список с...
4759 просмотров
schedule
06.12.2023
Как сделать сравнения с плавающей запятой в операторе if в параллельном блоке GNU?
Я хочу запустить пакетный процесс параллельно. Для этого я передаю список parallel . Когда у меня есть оператор if, который сравнивает два числа с плавающей запятой (взятые в форме ">здесь ), код больше не запускается. Как это можно решить....
195 просмотров
schedule
12.12.2023
GNU параллель и управление ресурсами
Я хотел бы использовать параллельную командную строку gnu в качестве простого механизма планирования.
в моем случае у меня есть N графических процессоров в системе, и я хотел бы эффективно поставить в очередь список заданий на эти графические...
73 просмотров
schedule
04.04.2024
вложение GNU Parallel для обработки нескольких огромных файлов и разделения данных каждого файла для обработки в виде очереди
У меня есть каталог с почти 100 файлами журналов, каждый из которых весит 10–15 ГБ. Требование состоит в том, чтобы читать каждый файл построчно (порядок не имеет значения), очищать строку json и выгружать ее во внутреннее хранилище elasticsearch для...
184 просмотров
schedule
04.01.2024
Как использовать gnu_parallel для запуска нескольких исполняемых и/или bash-скриптов?
Недавно я пытался запускать свои сценарии параллельно более удобным способом, чем открывать несколько экземпляров терминала и выполнять сценарии отдельно.
Я пытался научиться использовать gnu_parallel в течение последних нескольких дней, и я все...
100 просмотров
schedule
03.03.2024
Запуск цикла по нескольким типам файлов с использованием bcftools и awk для разделения файлов
Уважаемое сообщество переполнения стека,
У меня есть 100 файлов .VCF (тип файла txt). В столбце «ID» есть различные вызовы структурных вариантов:
MantaINS
MantaINV
MantaDEL
MantaBND
MantaDUP
Canvas:REF
Canvas:GAIN
Canvas:LOSS
(рядом с...
241 просмотров
schedule
18.11.2022
Как поднять KeyboardInterrupt до скриптов Python после прерывания GNU Parallel?
Я использую GNU Parallel для запуска скрипта Python для списка различных аргументов. Внутри скрипта Python я пишу данные в файл (на самом деле имя файла является аргументом скрипта). Сценарий Python записывает данные в файл после обработки N...
33 просмотров
schedule
28.10.2022
