numpy възможна грешка? правене на времеделти на колони

Моят проблем е прост. Имам данни за времеви отпечатъци от Twitter. Всеки ред е потребител, всяка колона показва последния път, когато потребителят е туитнал.

time_0                  time_1            time_2             time_3     
21/03/2014 16:17    21/03/2014 15:40    21/03/2014 14:55    21/03/2014 12:50         
21/03/2014 16:29    21/03/2014 16:26    21/03/2014 16:23    21/03/2014 16:21    
04/07/2012 13:43    04/07/2012 13:37    04/07/2012 13:34    04/07/2012 13:29        
19/03/2014 01:41    18/03/2014 01:19    17/03/2014 00:50    05/03/2014 22:30

Това, което бих искал да направя, е да получа часови разлики. За всяка колона бих искал да заменя датата и часа с времето от последната публикация. Например, ако първата ми публикация е в 20:00 часа, а втората ми публикация в 8 45, искам да получа „45 минути“ в първата си колона. В идеалния случай изходът ми е такъв (разликата се изчислява в секунди)

time_0  time_1     time_2       time_3
2220    2700       7500         43860
180     180        120            0
360     180        300           300
87720   88140   -4138800       5794500
60        0         0             0
74340   1800        0            540

Аз го правя така:

df = pandas.read_csv("testtimedelta.csv",header=0,parse_dates=column_names)
df=df.dropna()#get rid of not complete rows

column_names=[]
for i in range(100):
    column_names.append('time_'+str(i))

deltadatas=df[column_names]
for i in range(len(column_names)-1): 
    deltadatas[column_names[i]]=deltadatas[column_names[i]]-deltadatas[column_names[i+1]]/ np.timedelta64(1,'s')

Това изглежда правилно, с изключение на определени клетки, връща резултат, който няма нищо общо с входа, например 4 милиона секунди, където трябва да е 1 милион. Понякога дори връща отрицателен резултат, както можете да видите в моя изходен пример по-горе.

Някой може ли да обясни какво се случи? Предложете по-добър начин да го направите?

Използвам numpy версия 1.8.0 и pandas версия 0.13.0

РЕДАКТИРАНЕ: пример за това, което не е наред.

state   followers   friends tweets_number   time_0                  source_0        time_1                   source_1          time_2                source_2        time_3
Bot     3890        2222        1211        19/03/2014 01:41        twitterfeed     18/03/2014 01:19        twitterfeed     17/03/2014 00:50        twitterfeed     05/03/2014 22:30

В този пример time2-time3 ще ми даде -47 дни, което е невъзможно, и ако направя това, което @Jeff предложи по-долу, отново 47 дни.

Благодаря много за всяка помощ!!


python pandas numpy datetime timedelta
person Barnabe    schedule 28.03.2014    source източник
comment
Вашият примерен код е непълен, тъй като нито column_names, нито pd (=pandas.io.parsers?) са дефинирани.   -  person aepsil0n    schedule 28.03.2014
comment
моля, публикувайте версия на pandas/numpy. трябва да използвате поне numpy 1.7.1 (numpy 1.6 е напълно бъги)   -  person Jeff    schedule 28.03.2014
comment
благодаря за отбелязването, променям това веднага.   -  person Barnabe    schedule 28.03.2014
comment
добре, промених кода си и добавих версии на библиотеките, които използвам: 1.8.0 за numpy и 0.13.0 за pandas. Благодаря отново.   -  person Barnabe    schedule 28.03.2014

Отговори (1)


arrow_upward
1
arrow_downward

Документите за Timedelta са тук

In [29]: df1 = DataFrame(dict([ ("t{0}".format(i),date_range('20130101 01:0{0}'.format(i*3),periods=5,freq='T')) for i in range(2) ]))

In [30]: df2 = DataFrame(dict([ ("t{0}".format(i+3),date_range('20130101 01:0{0}'.format(i*5),periods=5,freq='T')) for i in range(2) ]))

In [31]: df = df1.join(df2)

In [32]: df
Out[32]: 
                   t0                  t1                  t3                  t4
0 2013-01-01 01:00:00 2013-01-01 01:03:00 2013-01-01 01:00:00 2013-01-01 01:05:00
1 2013-01-01 01:01:00 2013-01-01 01:04:00 2013-01-01 01:01:00 2013-01-01 01:06:00
2 2013-01-01 01:02:00 2013-01-01 01:05:00 2013-01-01 01:02:00 2013-01-01 01:07:00
3 2013-01-01 01:03:00 2013-01-01 01:06:00 2013-01-01 01:03:00 2013-01-01 01:08:00
4 2013-01-01 01:04:00 2013-01-01 01:07:00 2013-01-01 01:04:00 2013-01-01 01:09:00

[5 rows x 4 columns]

In [33]: (df.T-df.T.shift()).T.astype('timedelta64[s]')
Out[33]: 
   t0   t1   t3   t4
0 NaN  180 -180  300
1 NaN  180 -180  300
2 NaN  180 -180  300
3 NaN  180 -180  300
4 NaN  180 -180  300

[5 rows x 4 columns]

IIRC astype изисква pandas 0.13.1 (но винаги можете да df.apply(lambda x: x/np.timedelta64(1,'s'))

person Jeff    schedule 28.03.2014
comment
Джеф, благодаря много за отговора, но това ми дава същите противоречиви резултати както преди (напр. някои отрицателни стойности). Възможно ли е данните ми да са грешни по някакъв начин? Добавям ги към въпроса си за повече яснота. - person Barnabe; 28.03.2014
comment
може да имате нужда от dayfirst=True, тъй като изглежда, че вашите дати не са в общ формат. Правилно ли изглеждат датите, когато ги разпечатате? - person Jeff; 28.03.2014
comment
струва ми се, че дните вече са на първо място, в примера, който пуснах във въпроса си, или... ? - person Barnabe; 28.03.2014
comment
Добре, добавянето на dayfirst=True изглежда решава проблема. Много благодаря! Спасяваш живота ми за втори път тази седмица! - person Barnabe; 28.03.2014