Вопросы по теме 'hdf5'
Разбивка данных HDF5 DataSet и размер плиты
Мы оцениваем производительность HDF5 в отношении наборов данных по фрагментам. В частности, мы пытаемся выяснить, возможно ли чтение из разных смежных блоков и как это влияет на производительность? Например. у нас есть набор данных с размером блока...
892 просмотров
schedule
11.11.2022
Чтение одномерного набора данных соединений HDF5 в структуре C параллельно
У меня есть очень простой составной набор данных, около 1 миллиона строк составного типа данных:
1 длинная, 3 двойных.
Я хотел бы прочитать его параллельно с MPI, используя коллективный вызов, равномерно распределенный по всем процессорам....
393 просмотров
schedule
17.11.2023
HDF5 для Python: интерфейсы высокого и низкого уровня. h5py
Я работал с файлами HDF5 с C и Matlab , используя один и тот же способ чтения и записи в наборы данных:
открыть файл с помощью h5f
открыть набор данных с h5d
выберите пробел с помощью h5s
и так далее...
Но сейчас я работаю с...
899 просмотров
schedule
03.05.2024
Как преобразовать 2D-массивы HDF5 в 1D в NumPy?
У меня есть массив 2d (480 * 640), нарезанный из файла HDF5, как я могу преобразовать его в массив 1d с помощью NumPy?
2178 просмотров
schedule
13.06.2024
добавить библиотеки hdf5 (java и c++) в общедоступный репозиторий maven?
Есть ли общедоступный репозиторий maven, куда я или кто-то другой может поместить библиотеки HDF java и HDF C++? У меня нет репозитория maven, и я не хочу настраивать его только для этих сторонних библиотек. Больше людей должно использовать...
792 просмотров
schedule
21.05.2024
Android NDK: скомпилируйте библиотеку HDF5 с исходным кодом
Теперь у меня есть сторонняя библиотека (HDF5) в исходном коде. Но эта библиотека написана на C++. Можно ли использовать Android NDK для его компиляции? Как? Нужно ли мне писать собственный make-файл для его настройки ИЛИ использовать android.mk...
667 просмотров
schedule
15.10.2022
Python 2.7: добавление данных в таблицу в Pandas
Я читаю данные из файлов изображений и хочу добавить эти данные в один файл HDF. Вот мой код:
datafile = pd.HDFStore(os.path.join(path,'imageData.h5'))
for file in fileList:
data = {'X Position' : pd.Series(xpos, index=index1),...
2251 просмотров
schedule
06.12.2022
Параллельный ввод-вывод в R с rhdf5
У меня есть большой объем данных в кадрах данных R, которые я хотел бы записать в файл HDF5 параллельно. В моих первоначальных экспериментах файл hdf5 был поврежден, предположительно, из-за того, что параллельный ввод-вывод не включен в rhdf5. Можно...
337 просмотров
schedule
04.04.2024
Заголовки HDF5 отсутствуют при установке модуля netCDF4 для Python
Я уже несколько раз пытался установить модуль netCDF4 и все время получаю ту же ошибку:
Traceback (most recent call last):
File "<string>", line 17, in <module>
File...
3400 просмотров
schedule
01.05.2024
h5py не может прочитать файл fast5
Я пытаюсь записать данные из файла fast5 в текстовый файл. Я могу сделать это, перейдя в каталог, где находятся файлы, и используя этот код:
for filename in os.listdir(os.getcwd()):
if filename.endswith('.fast5'):
with...
1027 просмотров
schedule
05.10.2022
Чем отличаются фильтры сжатия данных в HDF5
API HDF5 указывает, что существует четыре основных фильтра (т. , gzip, szip, N-bit и scale-offset) можно использовать для сжатия данных. Интересно, каковы их основные отличия друг от друга с точки зрения их многоядерной производительности?
113 просмотров
schedule
18.05.2024
Ошибка чтения HDF5 с использованием h5py
Я сохранил свой набор данных в этой форме, как указано на следующем изображении (формат HDF5). Итак, у меня есть разные группы, т.е. 4, 2, 40 и т. д., и для каждой группы у меня есть 2 набора данных Annotation и Features . Я успешно сохранил их,...
9397 просмотров
schedule
28.11.2022
CLion Создание неизвестной структуры без ссылки, но компилируется нормально
Я пытался настроить свой проект cmake с помощью HDF5 в Windows 10 (64-разрядная версия), используя редактор CLion и MinGW. После уймы времени, пытаясь правильно настроить файл CMakeLists, у меня что-то работает — код компилируется, никаких ошибок от...
7599 просмотров
schedule
16.09.2022
Случайный поиск в больших разреженных массивах?
Я использую HDF5 для хранения массивных разреженных массивов в формате координат (в основном, массив M x 3, который хранит значение, индекс x и индекс y для каждого ненулевого элемента).
Это отлично подходит для итеративной обработки всего набора...
367 просмотров
schedule
30.10.2023
что быстрее для загрузки: pickle или hdf5 в python
Учитывая список фреймов данных pandas размером 1,5 ГБ, какой формат является самым быстрым для загрузки сжатых данных : pickle (через cPickle), hdf5 или что-то еще в Python?
Меня интересует только максимальная скорость загрузки данных в память...
41893 просмотров
schedule
25.11.2022
Проблемы компоновщика с HDF5 C++
Я начал изучать HDF5 и не могу решить следующую проблему с HDF5 C++.
(Справочная информация: я установил hdf5 через Homebrew на OSX El Capitan. Мне удалось запустить несколько программ, использующих общий C API и модуль Python h5py, но C++ API не...
857 просмотров
schedule
15.11.2023
Найдите полное имя уникального набора данных в файле HDF5 (matlab)
У меня есть папка, полная файлов HDF5 (расширение .h5 ), которые я хотел бы открыть с помощью Matlab. Каждый файл содержит ровно один набор данных: матрицу. Я могу перебирать файлы, однако, чтобы открыть их с помощью h5read , мне нужно знать имя...
84 просмотров
schedule
21.11.2022
Могу ли я сохранить файл (файл HDF5) в другом файле с сериализацией?
У меня есть файл HDF5 и список объектов, которые мне нужно сохранить для сохранения функциональности. Для простоты я хочу создать только один файл сохранения. Могу ли я сохранить файл H5 в моем файле сохранения, который я создаю с сериализацией...
219 просмотров
schedule
08.11.2023
Происхождение даты R для времени в секундах
У меня ежедневно есть временной ряд в секундах с момента запуска задания (00:00 UTC). Поскольку я хочу построить временные ряды других данных, я хочу преобразовать временные ряды в секундах в даты. Все данные поступают из файла hdf5, прочитанного с...
1226 просмотров
schedule
11.11.2022
Как читать атрибуты в файле HDF5 с помощью интерфейса C++
У меня есть файл HDF5, в котором атрибуты находятся в формате ниже
ATTRIBUTE "dtype" {
DATATYPE H5T_STRING {
STRSIZE 8;
STRPAD H5T_STR_NULLPAD;
CSET H5T_CSET_ASCII;
CTYPE H5T_C_S1;
}
DATASPACE...
388 просмотров
schedule
03.04.2024
