SED или AWK заменить все шаблонами из другого файла

Контрольные показатели для дальнейшего использования

Тестовая среда:

Используя файлы примеров patterns.txt с 50 000 строк и contents.txt также с 50 000 строк.

Все строки из patterns.txt загружаются во все решения, но проверяются только первые 1000 строк из contents.txt.

Тестируемый ноутбук оснащен двухъядерным 64-разрядным процессором Intel(R) Celeron(R) N3050 с тактовой частотой 2,16 ГГц, 4 ГБ ОЗУ, 64-разрядной версией Debian 9. Тестирование, gnu sed 4.4 и gnu awk 4.1.4

Во всех случаях выходные данные отправляются в новый файл, чтобы избежать медленных накладных расходов на печать данных на экране.

Полученные результаты:

<сильный>1. RavinderSingh13 1-е решение awk

$ time awk 'FNR==NR{a[$1]=$2;next}   {for(i in a){match($0,i);val=substr($0,RSTART,RLENGTH);if(val){sub(val,a[i])}};print}' patterns.txt  <(head -n 1000 contents.txt) >newcontents.txt

real    19m54.408s
user    19m44.097s
sys 0m1.981s

<сильный>2. Решение EdMorton 1st awk

$ time awk 'NR==FNR{map[$1]=$2;next}{for (old in map) {gsub(old,map[old])}print}' patterns.txt <(head -n1000 contents.txt) >newcontents.txt

real    20m3.420s
user    19m16.559s
sys 0m2.325s

<сильный>3. Sed (мой sed) решение

$ time sed -f <(printf 's/%s/%s/g\n' $(<patterns.txt)) <(head -n 1000 contents.txt) >newcontents.txt

real    1m1.070s
user    0m59.562s
sys 0m1.443s

<сильный>4. Решение Cyrus sed

$ time sed -f <(sed -E 's|(.*) (.*)|s/\1/\2/|g' patterns.txt) <(head -n1000 contents.txt) >newcontents.txt

real    1m0.506s
user    0m59.871s
sys 0m1.209s

<сильный>5. RavinderSingh13 2-е решение awk

$ time awk 'FNR==NR{a[$1]=$2;next}{for(i in a){match($0,i);val=substr($0,RSTART,RLENGTH);if(val){sub(val,a[i]);print;next}};}1' patterns.txt  <(head -n 1000 contents.txt) >newcontents.txt

real    0m25.572s
user    0m25.204s
sys     0m0.040s

Для небольшого количества входных данных, например 1000 строк, решение awk кажется хорошим. Давайте сделаем еще один тест с 9000 строками, на этот раз, чтобы сравнить производительность

6.RavinderSingh13 2-е решение awk с 9000 строками

$ time awk 'FNR==NR{a[$1]=$2;next}{for(i in a){match($0,i);val=substr($0,RSTART,RLENGTH);if(val){sub(val,a[i]);print;next}};}1' patterns.txt  <(head -9000 contents.txt) >newcontents.txt

real    22m25.222s
user    22m19.567s
sys      0m2.091s

<сильный>7. Решение Sed на 9000 строк

$ time sed -f <(printf 's/%s/%s/g\n' $(<patterns.txt)) <(head -9000 contents.txt) >newcontents.txt

real    9m7.443s
user    9m0.552s
sys     0m2.650s

<сильный>8. Параллельное решение Seds на 9000 строк

$ cat sedpar.sh
s=$SECONDS
sed -f <(printf 's/%s/%s/g\n' $(<patterns.txt)) <(head -3000 contents.txt) >newcontents1.txt &
sed -f <(printf 's/%s/%s/g\n' $(<patterns.txt)) <(tail +3001 contents.txt |head -3000) >newcontents2.txt &
sed -f <(printf 's/%s/%s/g\n' $(<patterns.txt)) <(tail +6001 contents.txt |head -3000) >newcontents3.txt &
wait
cat newcontents1.txt newcontents2.txt newcontents3.txt >newcontents.txt && rm -f newcontents1.txt newcontents2.txt newcontents3.txt
echo "seconds elapsed: $(($SECONDS-$s))"

$ time ./sedpar.sh
seconds elapsed: 309

real    5m16.594s
user    9m43.331s
sys     0m4.232s

Разделение задачи на большее количество команд, таких как три параллельных sed, может ускорить процесс.

Для тех, кто хотел бы повторить тесты на своем ПК, вы можете скачать файлы contents.txt и patterns.txt либо по ссылкам OP, либо с моего github:

contents.txt

patterns.txt

Попробуйте этот. Должно быть быстро.

$ sed -f <(printf 's/%s/%s/g\n' $(<patterns.txt)) contents.txt

Это форматирует данные `patterns.txt, как показано ниже, без фактического изменения реального содержимого Patterns.txt:

$ printf 's/%s/%s/g\n' $(<patterns.txt)
s/1000000001/9000000003/g
s/1000000002/2000000001/g
s/1000000003/3000000001/g
s/1000000004/4000000001/g
s/1000000005/5000000001/g

Все вышеперечисленное затем дается с заменой процесса <(...) на простой sed в виде файла сценария с использованием
sed -f переключателя = читать команды sed из файла

$ sed -f <(printf 's/%s/%s/g\n' $(<patterns.txt)) contents.txt
288Y2RZDBPX9000000003dhana
JP2F64EI2000000001d
EU9V3IXI3000000001dfg9000000003dfdfds
XATSSSSFOO4dhanaUXIBB7TF74000000001adf
10Q1W4ZEAV18LXNPSPGRTTIDHBN5000000001egw

Не могли бы вы попробовать подписаться на awk и дайте мне знать, если это поможет вам.

Решение 1.

awk 'FNR==NR{a[$1]=$2;next}   {for(i in a){match($0,i);val=substr($0,RSTART,RLENGTH);if(val){sub(val,a[i])}};print}' patterns.txt  sample_content.txt

Вывод будет следующим.

288Y2RZDBPX9000000003dhana
JP2F64EI2000000001d
EU9V3IXI3000000001dfg9000000003dfdfds
XATSSSSFOO4dhanaUXIBB7TF74000000001adf
10Q1W4ZEAV18LXNPSPGRTTIDHBN5000000001egw

Объяснение решения 1 : Добавление объяснения здесь:

awk '
FNR==NR{                           ##FNR==NR is a condition which will be TRUE when only first Input_file patterns.txt is being read.
                                   ##FNR and NR both represents line number of Input_file(s) where FNR value will be RESET when a new Input_file is getting read on the other hand NR value will be keep increasing till all Input_file(s) read.
  a[$1]=$2;                        ##creating an array a whose index is first field of line and value is 2nd field of current line.
  next                             ##next will skip all further statements for now.
}
{
for(i in a){                       ##Starting a for loop which traverse through array a all element.
  match($0,i);                     ##Using match function of awk which will try to match index if array a present in variable i.
  val=substr($0,RSTART,RLENGTH);   ##Creating a variable named val which contains the substring of current line substring starts from value of variable RSTART till RLENGTH value.
  if(val){                         ##Checking condition if variable val is NOT NULL then do following:
    sub(val,a[i])}                 ##using sub function of awk to substitute variable val value with array a value of index i.
};
  print                            ##Using print here to print the current line either changed or not changed one.
}
' patterns.txt  sample_content.txt ##Mentioning the Input_file(s) name here.

Решение 2-е: без постоянного перехода к массиву, как первое решение, выходящее из массива, когда совпадение найдено следующим образом:

awk '
FNR==NR{                           ##FNR==NR is a condition which will be TRUE when only first Input_file patterns.txt is being read.
                                   ##FNR and NR both represents line number of Input_file(s) where FNR value will be RESET when a new Input_file is getting read on the other hand NR value will be keep increasing till all Input_file(s) read.
  a[$1]=$2;                        ##creating an array a whose index is first field of line and value is 2nd field of current line.
  next                             ##next will skip all further statements for now.
}
{
for(i in a){                       ##Starting a for loop which traverse through array a all element.
  match($0,i);                     ##Using match function of awk which will try to match index if array a present in variable i.
  val=substr($0,RSTART,RLENGTH);   ##Creating a variable named val which contains the substring of current line substring starts from value of variable RSTART till RLENGTH value.
  if(val){                         ##Checking condition if variable val is NOT NULL then do following:
    sub(val,a[i]);print;next}                 ##using sub function of awk to subsitute variable val value with array a value of index i.
};
}
1
' patterns.txt  sample_content.txt ##Mentioning the Input_file(s) name here.

Простой подход:

$ cat tst.awk
NR==FNR {
    map[$1] = $2
    next
}
{
    for (old in map) {
        gsub(old,map[old])
    }
    print
}

$ awk -f tst.awk patterns.txt sample_content.txt
288Y2RZDBPX9000000003dhana
JP2F64EI2000000001d
EU9V3IXI3000000001dfg9000000003dfdfds
XATSSSSFOO4dhanaUXIBB7TF74000000001adf
10Q1W4ZEAV18LXNPSPGRTTIDHBN5000000001egw

Так же, как и другие решения, опубликованные до сих пор, это применяет каждую замену ко всей строке, и, таким образом, если файл sample_content.txt содержит xay, а шаблоны.txt включает a b и b c, тогда инструменты будут выводить xcy, а не xby.

В качестве альтернативы вы можете попробовать это:

$ cat tst.awk
NR==FNR {
    map[$1] = $2
    re = re sep $1
    sep = "|"
    next
}
{
    head = ""
    tail = $0
    while ( match(tail,re) ) {
        head = head substr(tail,1,RSTART-1) map[substr(tail,RSTART,RLENGTH)]
        tail = substr(tail,RSTART+RLENGTH)
    }
    print head tail
}

$ awk -f tst.awk patterns.txt sample_content.txt
288Y2RZDBPX9000000003dhana
JP2F64EI2000000001d
EU9V3IXI3000000001dfg9000000003dfdfds
XATSSSSFOO4dhanaUXIBB7TF74000000001adf
10Q1W4ZEAV18LXNPSPGRTTIDHBN5000000001egw

Такой подход имеет несколько преимуществ:

1. Он выведет xby (это то, что, как я подозреваю, вам действительно нужно, если возникнет такая ситуация) в случае, о котором я упоминал выше.
2. Он выполняет столько сравнений регулярных выражений на строку sample_content.txt, сколько может совпадать, вместо 1 на строку Patterns.txt для каждой строки sample_content.txt.
3. Он работает только с тем, что осталось от строки после предыдущей замены, поэтому тестируемая строка продолжает сжиматься.
4. Он не изменяет $0, поэтому awk не нужно перекомпилировать и повторно разбивать эту запись при каждой подстановке.

поэтому он должен быть намного быстрее, чем исходный скрипт, если предположить, что регулярное выражение, созданное из Pattern.txt, не настолько велико, что вызывает снижение производительности только из-за его размера.