как сжать списки/вложенные списки в hdf5

Это более общий ответ для вложенных списков, где каждый вложенный список имеет разную длину. Это также работает для более простого случая, когда вложенные списки имеют одинаковую длину. Есть 2 решения: одно с h5py и одно с PyTables.

Пример h5py
h5py не поддерживает неоднородные массивы, поэтому вам нужно создать набор данных на основе самой длинной подстроки и добавить элементы в короткие подстроки. Вы получите 'None' (или подстроку) в каждой позиции массива, которая не имеет соответствующего значения во вложенном списке. Будьте осторожны с записью dtype=. Здесь показано, как найти самую длинную строку в списке (как slen=##) и использовать ее для создания dtype='S##'

import h5py
import numpy as np

test_list = [['a01','a02','a03','a04','a05','a06'], 
             ['a11','a12','a13','a14','a15','a16','a17'], 
             ['a21','a22','a23','a24','a25','a26','a27','a28']]

# arrlen and test_array from answer to SO #10346336 - Option 3:
# Ref: https://stackoverflow.com/a/26224619/10462884    
slen = max(len(item) for sublist in test_list for item in sublist)
arrlen = max(map(len, test_list))
test_array = np.array([tl+[None]*(arrlen-len(tl)) for tl in test_list], dtype='S'+str(slen))
  
with h5py.File('example_nested.h5', 'w') as f:
     f.create_dataset('test3', data=test_array, compression='gzip')

Пример PyTables
PyTables поддерживает рваные двумерные массивы как VLArrays (переменной длины). Это позволяет избежать сложности добавления значений «Нет» для коротких подстрок. Также не нужно заранее определять длину массива, так как количество строк не определяется при создании VLArray (ряды добавляются после создания). Опять же, будьте осторожны с записью dtype=. Здесь используется тот же метод, что и выше.

import tables as tb
import numpy as np

test_list = [['a01','a02','a03','a04','a05','a06'], 
             ['a11','a12','a13','a14','a15','a16','a17'], 
             ['a21','a22','a23','a24','a25','a26','a27','a28']]
   
slen = max(len(item) for sublist in test_list for item in sublist)

with tb.File('example_nested_tb.h5', 'w') as h5f:        
    vlarray = h5f.create_vlarray('/','vla_test', tb.StringAtom(slen) ) 
    for slist in test_list:
        arr = np.array(slist,dtype='S'+str(slen))
        vlarray.append(arr)

    print('-->', vlarray.name)
    for row in vlarray:
        print('%s[%d]--> %s' % (vlarray.name, vlarray.nrow, row))

Вы близки. Аргумент data= предназначен для работы с существующим массивом NumPy. Когда вы используете список, за кулисами он преобразуется в массив. Он работает для списка чисел. (Обратите внимание, что списки и массивы — это разные классы объектов Python.)

Вы столкнулись с проблемой преобразования списка строк. По умолчанию для dtype задан тип Unicode NumPy (в вашем случае «U2»). Это проблема для h5py (и HDF5). Согласно документации h5py: HDF5 не поддерживает широкие символы. Вместо того, чтобы пытаться обойти это и «притворяться», что поддерживает его, h5py выдаст ошибку, если вы попытаетесь сохранить данные этого типа. Полная информация о NumPy и строках доступна по этой ссылке: документ h5py: Строки в HDF5

Я немного изменил ваш пример, чтобы показать, как вы можете заставить его работать. Обратите внимание, что я явно создал массив строк NumPy и объявил dtype='S2', чтобы получить желаемый тип строки. Я добавил пример со списком целых чисел, чтобы показать, как список работает с числами. Однако массивы NumPy являются предпочтительным объектом данных.

Я удалил оператор f.close(), так как он не требуется при использовании менеджера контекста (структура with / as:)

Также будьте осторожны с уровнем сжатия. Вы получите (немного) большее сжатие с compression_opts=9 по сравнению с compression_opts=1, но вы будете платить за время обработки ввода-вывода каждый раз, когда вы получаете доступ к набору данных. Предлагаю начать с 1.

import h5py
import numpy as np

test_array = np.array(['a1','a2','a1','a2','a1','a2', 'a1','a2', 
                       'a1','a2','a1','a2','a1','a2', 'a1','a2', 
                       'a1','a2','a1','a2','a1','a2', 'a1','a2'], dtype='S2')

data_list = [ 1, 2, 3, 4, 5, 6, 7, 8, 9 ]

with h5py.File('example_file.h5', 'w') as f:
     f.create_dataset('test3', data=test_array, compression='gzip', compression_opts=9) 

     f.create_dataset('test4', data=data_list, compression='gzip', compression_opts=1)