Как S3 присвоява времево клеймо при качване?

Имаме процес на качване на файлове в S3. Всъщност това е косвено. Използваме Amazon Elastic MapReduce (EMR), а Hadoop предава файловете към S3 от много различни възли на задачи. След това, след като тази задача на Hadoop приключи успешно, друга част от процеса използва FileSystem.createNewFile() на Hadoop, за да създаде някои файлове от главния възел.

Файловете, които са създадени от тези различни машини, имат времеви отпечатъци в S3. Предполагаме, че времевите марки на файловете, ангажирани от възлите на задачите, са преди файловете, създадени от главния възел.

Вярвам, че понякога не е вярно, но защо?

Какво присвоява клеймото за време на S3 файл? Клиентът на Amazon EMR Hadoop ли е или някаква S3 машина?

Ако имам две машини, които качват в S3, чийто локален часовник се различава с 30 минути, времевите клейма ще бъдат ли на 30 минути?


amazon-s3 amazon-emr
person dfrankow    schedule 30.05.2013    source източник

Отговори (2)


arrow_upward
1
arrow_downward

Не можете сами да зададете стойностите Last-Modified. S3 ги решава:

https://forums.aws.amazon.com/thread.jspa?messageID=209241

person sethwm    schedule 07.06.2013
comment
Така че вероятно това е някакъв S3 сървър, но може да е различен за всеки файл. - person dfrankow; 28.06.2013
comment
Ако разбирам правилно коментара ви, тогава да. Нямате контрол върху това кой сървър да ударите или точната стойност на часовника на този сървър. - person sethwm; 29.06.2013

arrow_upward
1
arrow_downward

Единственият времеви печат в S3 изглежда е метаданните „Последна промяна“. Вярвам, че последната модифицирана дата/час се актуализира от самата система S3 и отразява времето, когато файлът е завършил пълното качване в S3 (S3 няма да показва непълни трансфери.)

Така че не би трябвало да има значение от кой възел качвате файл, клеймото за „последна промяна“ на S3 трябва да бъде постоянно същото, когато го посочите в S3.

person Suman    schedule 04.06.2013
comment
Същото е, когато го изброя, но когато кача два файла в реда A, B, понякога времевите клейма показват реда B, A. Така че, тъй като има множество машини, включени в S3, се чудя дали клиентът или сървърът определя клеймото за време. - person dfrankow; 05.06.2013