Изменение формы представления Numpy без копирования (2d движущееся / скользящее окно, полосы, маскированные структуры памяти)

Ваша задача невозможна, используя только шаги, но NumPy поддерживает один вид массива, который выполняет эту работу. С помощью strides и masked_array вы можете создать желаемое представление ваших данных. Однако не все функции NumPy поддерживают операции с masked_array, поэтому возможно, что scikit-learn не справляется и с ними.

Давайте сначала по-новому взглянем на то, что мы пытаемся здесь сделать. Рассмотрим входные данные вашего примера. По сути, данные - это всего лишь одномерный массив в памяти, и это будет проще, если мы подумаем о том, как с этим справиться. Массив только кажется двумерным, потому что мы определили его форму. Используя шаги, фигуру можно определить так:

from numpy.lib.stride_tricks import as_strided

base = np.arange(9)
isize = base.itemsize
A = as_strided(base, shape=(3, 3), strides=(3 * isize, isize))

Теперь цель состоит в том, чтобы сделать base такими шагами, чтобы он упорядочивал числа, как в конечном массиве, B. Другими словами, мы запрашиваем целые числа a и b такие, что

>>> as_strided(base, shape=(4, 4), strides=(a, b))
array([[0, 1, 3, 4],
       [1, 2, 4, 5],
       [3, 4, 6, 7],
       [4, 5, 7, 8]])

Но это явно невозможно. Ближайшее представление, которое мы можем получить таким образом, - это скользящее окно над base:

>>> C = as_strided(base, shape=(5, 5), strides=(isize, isize))
>>> C
array([[0, 1, 2, 3, 4],
       [1, 2, 3, 4, 5],
       [2, 3, 4, 5, 6],
       [3, 4, 5, 6, 7],
       [4, 5, 6, 7, 8]])

Но разница здесь в том, что у нас есть лишние столбцы и строки, от которых мы хотели бы избавиться. Таким образом, фактически мы просим скользящее окно, которое не является непрерывным, а также совершает скачки через равные промежутки времени. В этом примере мы хотим, чтобы каждый третий элемент был исключен из окна и перескакивал через один элемент после двух строк.

Мы можем описать это как masked_array:

>>> mask = np.zeros((5, 5), dtype=bool)
>>> mask[2, :] = True
>>> mask[:, 2] = True
>>> D = np.ma.masked_array(C, mask=mask)

Этот массив содержит именно те данные, которые нам нужны, и это только представление исходных данных. Мы можем подтвердить, что данные равны

>>> D.data[~D.mask].reshape(4, 4)
array([[0, 1, 3, 4],
       [1, 2, 4, 5],
       [3, 4, 6, 7],
       [4, 5, 7, 8]])

Но, как я сказал в начале, весьма вероятно, что scikit-learn не понимает замаскированные массивы. Если он просто преобразует это в массив, данные будут неверными:

>>> np.array(D)
array([[0, 1, 2, 3, 4],
       [1, 2, 3, 4, 5],
       [2, 3, 4, 5, 6],
       [3, 4, 5, 6, 7],
       [4, 5, 6, 7, 8]])