Python: обработка большого набора данных. Scipy или Rpy? И как?

Как заметил @gsk3, для этого отлично подходит пакет bigmemory, а также пакеты biganalytics и bigtabulate (есть и другие, но их стоит проверить). Есть также ff, хотя им не так легко пользоваться.

Общим для R и Python является поддержка HDF5 (см. пакеты ncdf4 или NetCDF4 в R), что делает очень быстрым и простым доступ к массивным наборам данных на диске. Лично я в основном использую bigmemory, хотя это специфично для R. Поскольку HDF5 доступен в Python и работает очень, очень быстро, вероятно, это будет ваш лучший выбор для Python.

Ни Rpy, ни Scipy не нужны, хотя numpy может сделать это немного проще. Эта проблема кажется идеально подходящей для построчного синтаксического анализатора. Просто откройте файл, прочитайте строку в строку, отсканируйте строку в массив (см. numpy.fromstring), обновите свои текущие суммы и перейдите к следующей строке.

Файловый ввод-вывод Python не имеет плохой производительности, поэтому вы можете просто использовать модуль file напрямую. Посмотреть, какие функции в нем доступны, можно, набрав help (file) в интерактивном интерпретаторе. Создание файла является частью основных функций языка и не требует от вас import file.

Что-то типа:

f = open ("C:\BigScaryFinancialData.txt", "r");
for line in f.readlines():
    #line is a string type
    #do whatever you want to do on a per-line basis here, for example:
    print len(line)

Отказ от ответственности: это ответ Python 2. Я не уверен на 100%, что это работает в Python 3.

Я оставлю это вам, чтобы выяснить, как показать первые 10 строк и найти суммы строк. Это можно сделать с помощью простой программной логики, что не должно быть проблемой без каких-либо специальных библиотек. Конечно, если строки имеют какое-то сложное форматирование, затрудняющее анализ значений, вы можете использовать какой-то модуль для анализа, например re (введите help(re) в интерактивном интерпретаторе).

Насколько велики ваши данные, они больше, чем память вашего ПК? Если его можно загрузить в память, вы можете использовать numpy.loadtxt() для загрузки текстовых данных в массив numpy. Например:

import numpy as np
with file("data.csv", "rb") as f:
   title = f.readline()  # if your data have a title line.
   data = np.loadtxt(f, delimiter=",") # if your data splitted by ","
   print np.sum(data, axis=0)  # sum along 0 axis to get the sum of every column

Я ничего не знаю о Rpy. Я знаю, что SciPy используется для серьезной обработки чисел с действительно большими наборами данных, поэтому он должен работать для вашей проблемы.

Как заметил зефир, вам может не понадобиться ни один из них; если вам просто нужно сохранить некоторые текущие суммы, вы, вероятно, можете сделать это в Python. Если это файл CSV или другой распространенный формат файла, проверьте и посмотрите, есть ли модуль Python, который проанализирует его для вас, а затем напишите цикл, который суммирует соответствующие значения.

Я не уверен, как получить первые десять строк. Можете ли вы собирать их на лету или вам нужно вычислить суммы, а затем выбрать строки? Чтобы собрать их, вы можете использовать словарь для отслеживания текущих 10 лучших строк и использовать ключи для хранения метрики, которую вы использовали для их ранжирования (чтобы было легко найти и выбросить строку, если другая строка заменяет ее). ). Если вам нужно найти строки после завершения вычислений, поместите все данные в массив numpy.array или просто выполните второй проход по файлу, чтобы извлечь десять строк.

Поскольку у этого есть тег R, я дам несколько решений R:

• Обзор http://www.r-bloggers.com/r-references-for-handling-big-data/
• bigmemory пакет http://www.cybaea.net/Blogs/Data/Big-data-for-R.html
• Формат XDF http://blog.revolutionanalytics.com/2011/03/analyzing-big-data-with-revolution-r-enterprise.html
• Интерфейсы Hadoop для R (RHIPE и т. д.)