Можем ли мы использовать AWK и gsub() для обработки данных с несколькими двоеточиями: Как?

Вот еще вариант...

$ awk -v OFS='\t' '{for(i=1;i<NF;i+=2)                  # iterate over name: value pairs
                     {c=$i;                             # copy name in c to modify
                      sub(/:/,"",c);                    # remove colon
                      a[NR,c]=$(i+1);                   # collect data by row number, name
                      cols[c]}}                         # save name
                END{n=asorti(cols,icols);               # sort names
                    for(j=1;j<=n;j++) printf "%s", icols[j] OFS;   # print header 
                    print ""; 
                    for(i=1;i<=NR;i++)                  # print data
                      {for(j=1;j<=n;j++) 
                         {v=a[i,icols[j]];             
                          printf "%s", (v?v:"NaN") OFS} # replace missing data with NaN
                       print ""}}' file | column -t     # pipe to column for pretty print

Col_01   Col_20  Col_21     Col_22      Col_23      Col_25
14:a:47  25:i:z  23432:6:b  639142:4:x  NaN         NaN
8:z      25:i:4  NaN        25134:u:0   243344:5:6  NaN
17:7:z   NaN     75:u:q     NaN         79876:u:0   634534:8:1

У меня тоже был ответ Каракфы. Если имя столбца не отделено от значения пробелом (например, если у вас есть Col_01:14:a:47), вы можете сделать это (используя GNU awk для расширенной функции match)

  {
      for (i=1; i<=NF; i++) {
          match($i, /^([^:]+):(.*)/, m)
          a[NR,m[1]] = m[2]
          cols[m[1]]
     }
  }

Блок END такой же

Использование Lisp TXR реализация макросов парадигмы Awk:

(awk (:set ft #/-?\d+/)  ;; ft is "field tokenize" (no counterpart in Awk)
     (:let (tab (hash :equal-based)) (max-col 1) (width 8))
     ((ff (mapcar toint) (tuples 2))  ;; filter fields to int and shore up into pairs
      (set max-col (max max-col [find-max [mapcar first f]]))
      (mapdo (ado set [tab ^(,nr ,@1)] @2) f)) ;; stuff data into table
     (:end (let ((headings (mapcar (opip (format nil "Col~,02a")
                                         `@{@1 width}`)
                                   (range 1 max-col))))
             (put-line `@{headings " "}`))
           (each ((row (range 1 nr)))
             (let ((cols (mapcar (opip (or [tab ^(,row ,@1)] "NaN")
                                       `@{@1 width}`)
                                 (range 1 max-col))))
               (put-line `@{cols " "}`)))))

Меньшие образцы данных:

Col_01: 14  Col_04: 25    Col_06: 23432    Col_07: 639142
Col_02: 8   Col_03: 25    Col_05: 25134    Col_06: 243344
Col_01: 17
Col_06: 19  Col_07: 32425

Бежать:

$ txr reformat.tl data-small
Col01    Col02    Col03    Col04    Col05    Col06    Col07
14       NaN      NaN      25       NaN      23432    639142
NaN      8        25       NaN      25134    243344   NaN
17       NaN      NaN      NaN      NaN      NaN      NaN
NaN      NaN      NaN      NaN      NaN      19       32425

P.S. opip — это макрос, который загружается из op макрос для приложений с частичными функциями; opip неявно распределяет op в свои выражения аргументов, а затем связывает полученные функции вместе в функциональный конвейер: отсюда «op-pipe». В каждом элементе конвейера можно ссылаться на его собственные пронумерованные неявные аргументы: @1, @2, ..., если они отсутствуют, то частично примененная функция неявно получает передаваемый по конвейеру объект в качестве своего крайнего правого аргумента.

Синтаксис ^(,row ,@1) — это обратная цитата TXR Lisp. Обратная кавычка, которую основные диалекты Лиспа используют для обратной кавычки, уже используется для строковых квазикавычек. Это эквивалентно (list row @1): создайте список, состоящий из значения row и неявного, op/do сгенерированного аргумента функции @1. В качестве хеш-ключей используются списки из двух элементов, которые имитируют двумерный массив. Для этого хэш должен быть :equal-based. Списки (1 2) (1 2) не являются eql, если они представляют собой отдельные экземпляры, а не один и тот же объект; они сравниваются равными по функции equal.

Просто ради интереса, какой-то непонятный перл

perl -aE'%l=%{{@F}};while(($k,$v)=each%l){$c{$k}=1;$a[$.]{$k}=$v}END{$,="\t";say@c=sort keys%c;for$i(1..$.){say map{$a[$i]{$_}//"NaN"}@c}}' input

(Вики сообщества, чтобы скрыть свой позор...)

Поиграл в гольф несколько символов:

perl -aE'while(@F){$c{$k=shift@F}=1;$data[$.]{$k}=shift@F}END{$,="\t";say@c=sort keys%c;for$i(1..$.){say map{$data[$i]{$_}//"NaN"}@c}}' input