попълване на празнини, докато обединявате данни в python

тук е моят проблем: започвам от няколко матрици, към които извличам данни, за да изградя нова и обща матрица. Първата стъпка е да прочетете файловете с csv модул и да извлечете стойности на „позиция“ (съхранени в ред [1]), които ще бъдат използвани като заглавки на колони в крайната матрица. Всеки infile съдържа подмножество от общите "позиции", които понякога присъстват в повече от един infile. Така че първо изграждам подреден списък (от по-малко към по-голямо цяло число) от сливането на всички стойности на "позиция", игнорирайки повтарящите се. Ето как го правя:

for infile in glob.glob('passed_*.vcf'):
    infilen=open(infile)
    inf = csv.reader(infilen,delimiter='\t')
    for row in inf:
        if row[1] in pos:
            continue
        else:
            pos.append(row[1])
    infilen.close()
pos.sort(key=int)
head=str('\t'.join(pos))
of=open('trial.txt', 'a')   
print>>of,head

След като направя това, се връщам към оригиналните файлове и чета за друга стойност (в ред [3] този път), която искам да добавя под съответния хедър, създаден по-горе (т.е. „позиция“). Тъй като всеки infile носи подмножество от общите позиции, ще трябва да запълня празнините, когато крайната позиция на матрицата (съхранена в списъка "pos") не присъства в ред [1] на отделния infile. Ето кода, който опитвам:

for infile in glob.glob('passed_*.vcf'):
    infilen=open(infile)
    inf = csv.reader(infilen,delimiter='\t')
    seq=[]
    for row in inf:
        if row[1] in pos:
            seq.append(row[3])  
        else:
            seq.append('N')

Излишно е да казвам, че съм заседнал. Мислех да използвам while цикъл, но тъй като нямам много опит, ви моля за съвет от всякакъв вид.

примерни данни

вход (проба 1):

1   2025    blah    A   .   blah    PASS    AC=0    GT:DP   0/0:61
2   2027    blah    C   .   blah    blah    AC=0    GT:DP   0/0:61
3   2028    blah    T   .   blah    PASS    AC=0    GT:DP   0/0:61

вход (проба n):

1   2025    blah    G   .   blah    PASS    AC=0    GT:DP   0/0:61
2   2026    blah    A   .   blah    blah    AC=0    GT:DP   0/0:61
3   3089    blah    T   .   blah    PASS    AC=0    GT:DP   0/0:61

изход (единична матрица с входен ред[1] като променливи и ред[3] като стойности. всеки ред е различна проба, т.е. различен входен файл):

          2025    2026    2027    2028  ...  3089
sample1    A       NaN     C       T         NaN
samplen    G        A     NaN     NaN         T

python csv gaps-and-islands matrix
person cometarossa    schedule 14.05.2012    source източник
comment
Вероятно искате да използвате pandas за зареждане, сливане и нарязване на зарове вашите матрици.   -  person Maxim Egorushkin    schedule 14.05.2012
comment
Благодаря, вече знаех за това - но тъй като стигнах до този момент (който, повярвайте ми, за моите умения в python е наистина вълнуващ), търсех независим начин да завърша кода си.   -  person cometarossa    schedule 14.05.2012
comment
Можете ли да добавите кратки примери (поне 2 vcf проби и желан резултат)? Ще бъде много по-лесно да разберете какво искате да правите...   -  person Emmanuel    schedule 14.05.2012

Отговори (1)


arrow_upward
0
arrow_downward 

>>> from collections import defaultdict
>>> import glob
>>> pos = defaultdict(dict)
>>> for index, infile in enumerate(glob.glob('D:\\DATA\\FP12210\\My Documents\\Temp\\Python\\sample*.vcf'), 1):
    for line in open(infile):
        # Convert value in integer already
        val, letter = int(line.split()[1]), line.split()[3]
        pos[val][index] = letter


>>> def print_pos(pos):
    """ Formats pos """
    # Print header by sorting keys of pos
    values = sorted(pos.keys())
    print '          ',
    for val in range(values[0], values[-1] + 1):
        print '{0:5}'.format(val),
    print

    # pos has keys according to row1, create pos2 with keys = sample #
    pos2 = defaultdict(dict)
    for val, d in pos.iteritems():
        for index, letter in d.iteritems():
            pos2[index][val] = letter

    # Now easier to print lines
    for index in sorted(pos2.keys()):
        print ' sample{0:2} '.format(index),
        for val in range(values[0], values[-1] + 1):
            if val in pos2[index]:
                print '   {0} '.format(pos2[index][val]),
            else:
                print ' NaN ',
        print


>>> print_pos(pos)
            2025  2026  2027  2028  2029  2030  2031  2032
 sample 1     A   NaN     C     T   NaN   NaN   NaN   NaN 
 sample 2     G     A   NaN   NaN   NaN   NaN   NaN     T 
>>>

Използвам pos за събиране на стойности, използвам също pos2, който съдържа същите данни, подредени по различен начин за печат, защото:

  • pos е ориентиран към стойността, полезно е да има диапазон от стойности
  • pos2 е ориентиран към извадка, полезно е да имате стойности, дадени на примерен номер

За да не имам твърде голям диапазон, използвах стойности:

-sample1.vcf:

1   2025    blah    A   .   blah    PASS    AC=0    GT:DP   0/0:61
2   2027    blah    C   .   blah    blah    AC=0    GT:DP   0/0:61
3   2028    blah    T   .   blah    PASS    AC=0    GT:DP   0/0:61

-sample2.vcf:

1   2025    blah    G   .   blah    PASS    AC=0    GT:DP   0/0:61
2   2026    blah    A   .   blah    blah    AC=0    GT:DP   0/0:61
3   2032    blah    T   .   blah    PASS    AC=0    GT:DP   0/0:61
person Emmanuel    schedule 15.05.2012
comment
Благодаря, Емануел, не се сетих за речниковия подход преди. Ще тествам това решение с огромното количество данни, с които работя. - person cometarossa; 15.05.2012