API HDF5 указывает, что существует четыре основных фильтра (т. , gzip, szip, N-bit и scale-offset) можно использовать для сжатия данных. Интересно, каковы их основные отличия друг от друга с точки зрения их многоядерной производительности?
Чем отличаются фильтры сжатия данных в HDF5
Ответы (1)
Согласно этому: https://www.hdfgroup.org/hdf5-quest.html#pneed сжатие не поддерживается в параллельном формате HDF5. Если вы имеете в виду многопоточность JAVA под «многоядерностью», то я пробовал это только с интерфейсом NetCDF4 (который построен на HDF5), и там многопоточность на самом деле вызывает больше проблем, чем решает. Предоставление примера кода может фактически прояснить ваш вопрос.
person
kakk11
schedule
03.11.2015
У меня был общий вопрос относительно многоядерных характеристик фильтров, которые можно использовать для сжатия данных в последовательном HDF5. Таким образом, я не писал никакого кода для этого. Ваше здоровье.
- person xeroqu; 04.11.2015
Хорошо понял. В этом случае (многоядерная) производительность библиотек сжатия должна быть независима от самого HDF5, не так ли? Многопоточность, похоже, плохо поддерживается в HDF5, ввод-вывод выполняется последовательно даже для разных файлов, по крайней мере, в коде JAVA.
- person kakk11; 05.11.2015
