Различия между hflush и hsync API в HDFS

Может ли кто-нибудь выделить технические детали и когда их использовать.


api hadoop hdfs filesystems
person Inder Singh    schedule 12.04.2012    source источник

Ответы (1)


arrow_upward
8
arrow_downward

В текущей реализации HDFS(0.23.3) hflush и hsync совпадают. hsync вызывает hflush. hflush гарантирует, что сброшенные данные станут видны новым читателям. Не гарантируется, что данные были сброшены в постоянное хранилище на узле данных. Таким образом, использование hflush может привести к потере некоторых данных, если произойдет сбой узла данных. hsync разработан, чтобы гарантировать запись всех данных на дисковое устройство, но сейчас не реализован.

В альфа-версии HDFS 2.0.* hsync реализован правильно.

Дополнительные сведения см. в разделе HBase, HDFS и надежных синхронизировать.

person zsxwing    schedule 25.12.2012