Подсчет строк, игнорируемых grep

Обратите внимание, что сумма проигнорированных строк и показанных строк НЕ может составлять общее количество строк... "строка1 и строка2 здесь" будет подсчитана дважды.

#!/usr/bin/perl
use warnings;
use strict;

local @ARGV = 'ignore.txt';
chomp(my @pats = <>);

foreach my $pat (@pats) {
    print "$pat: ", qx/grep -c $pat input.txt/;
}

Согласно unix.stackexchange

grep -o pattern file | wc -l

подсчитывает общее количество заданного шаблона в файле. Решение, учитывая это и информацию о том, что вы уже используете скрипт, состоит в том, чтобы использовать несколько экземпляров grep для фильтрации и подсчета шаблонов, которые вы хотите игнорировать.

Тем не менее, я бы попытался создать более удобное решение с использованием языка сценариев, например, например. питон.

Этот сценарий будет подсчитывать совпадающие строки путем поиска хэша и сохранять строки для печати в @result, где вы можете обрабатывать их по своему усмотрению. Чтобы эмулировать grep, просто напечатайте их.

Я сделал скрипт, чтобы он мог распечатать пример. Чтобы использовать с файлами, раскомментируйте код в скрипте и прокомментируйте те, которые помечены # example line.

Код:

use strict;
use warnings;
use v5.10;
use Data::Dumper;  # example line

# Example data. 
my @ignore = ('line1' .. 'line9'); # example line
my @input  = ('line2' .. 'line9', 'fo' .. 'fx', 'line2', 'line3'); # example line

#my $ignore = shift;  # first argument is ignore.txt
#open my $fh, '<', $ignore or die $!; 
#chomp(my @ignore = <$fh>);
#close $fh;

my @result;

my %lookup = map { $_ => 0 } @ignore;
my $rx = join '|', map quotemeta, @ignore;

#while (<>) {  # This processes the remaining arguments, input.txt etc
for (@input) { # example line
    chomp;     # Required to avoid bugs due to missing newline at eof
    if (/($rx)/) {
        $lookup{$1}++;
    } else {
        push @result, $_;
    }
}

#say for @result;       # This will emulate grep
print Dumper \%lookup;  # example line

Вывод:

$VAR1 = {
          'line6' => 1,
          'line1' => 0,
          'line5' => 1,
          'line2' => 2,
          'line9' => 1,
          'line3' => 2,
          'line8' => 1,
          'line4' => 1,
          'line7' => 1
        };

while IFS= read -r pattern ; do
        printf '%s:' "$pattern"
        grep -c -v "$pattern" input.txt
done < ignore.txt

grep с -c подсчитывает совпадающие строки, но с добавлением -v подсчитывает не совпадающие строки. Итак, просто переберите шаблоны и посчитайте один раз для каждого шаблона.

Это напечатает количество проигнорированных совпадений вместе с соответствующим шаблоном:

grep -of ignore.txt input.txt | sort | uniq -c

Например:

$ perl -le 'print "Coroline" . ++$s for 1 .. 21' > input.txt
$ perl -le 'print "line2\nline14"'               > ignore.txt

$ grep -of ignore.txt input.txt | sort | uniq -c
      1 line14
      3 line2

То есть строка, соответствующая «line14», была проигнорирована один раз. Строка, соответствующая "строке2", была проигнорирована 3 раза.

Если вы просто хотите подсчитать общее количество игнорируемых строк, это сработает:

grep -cof ignore.txt input.txt 

Обновление: изменен приведенный выше пример, чтобы использовать строки, чтобы вывод был немного яснее.

Это может сработать для вас:

# seq 1 15 | sed '/^1/!d' | sed -n '$='
7

Объяснение:

Удалите все строки, кроме тех, которые совпадают. Передайте эти совпадающие (игнорируемые) строки другой команде sed. Удалите все эти строки, но покажите номер только последней строки. Таким образом, в этом примере игнорируются строки с 1 по 15, строки с 1, 10 по 15 — всего 7 строк.

РЕДАКТИРОВАТЬ:

Извините, неправильно прочитал вопрос (все еще немного запутался!):

 sed 's,.*,sed "/&/!d;s/.*/matched &/" input.txt| uniq -c,' ignore.txt | sh

Это показывает количество matches для каждого шаблона в ignore.txt

 sed 's,.*,sed "/&/d;s/.*/non-matched &/" input.txt | uniq -c,' ignore.txt | sh

Это показывает количество non-matches для каждого шаблона в ignore.txt

При использовании GNU sed это тоже должно работать:

sed 's,.*,sed "/&/!d;s/.*/matched &/" input.txt | uniq -c,;e' ignore.txt

or

sed 's,.*,sed "/&/d;s/.*/non-matched &/" input.txt | uniq -c,;e' ignore.txt

Н.Б. Ваш успех с шаблонами может варьироваться, например, заранее проверьте метасимволы.

Поразмыслив, я подумал, что это можно улучшить до:

sed 's,.*,/&/i\\matched &,;$a\\d' ignore.txt | sed -f - input.txt | sort -k2n | uniq -c

or

sed 's,.*,/&/!i\\non-matched &,;$a\\d' ignore.txt | sed -f - input.txt | sort -k2n | uniq -c

Но НЕТ, на больших файлах это на самом деле медленнее.

И ignore.txt, и input.txt отсортированы?

Если это так, вы можете использовать команду comm!

$ comm -12 ignore.txt input.txt

Сколько строк игнорируется?

$ comm -12 ignore.txt input.txt | wc -l

Или, если вы хотите сделать больше обработки, объедините comm с awk.:

$ comm ignore.txt input.txt | awk '
    END {print "Ignored lines = " igtotal " Lines not ignored = "commtotal " Lines unique to Ignore file = " uniqtotal}
    {
       if ($0 !~ /^\t/) {uniqtotal+=1}
       if ($0 ~ /^\t[^\t]/) {commtotal+=1}
       if ($0 ~ /^\t\t/) {igtotal+=1}
    }'

Здесь я использую вкладки, которые помещаются в вывод командой comm: * Если нет вкладок, строка находится только в ignore.txt. * Если есть одна вкладка, то она только в input.txt * Если есть две вкладки, строка есть в обоих файлах.

Кстати, не все строки в ignore.txt игнорируются. Если строки нет и в input.txt, нельзя сказать, что она игнорируется.

По предложению Денниса Уильямсона

comm ignore.txt input.txt | awk '
   !/^\t/ {uniqtotal++}
   /^\t[^\t]/ {commtotal++}
   /^\t\t/ {igtotal++}
     END {print "Ignored lines = " igtotal " Lines not ignored = "commtotal " Lines unique to Ignore file = " uniqtotal}'