Слишком большой запрос Google BigQuery

Прошло некоторое время с тех пор, как у меня была возможность поработать над модулем Pandas GBQ, но я заметил, что один из наших регрессионных тестов теперь терпит неудачу.

Рассматриваемый тест:

https://github.com/pydata/pandas/blob/master/pandas/io/tests/test_gbq.py#L254-L267

Короче говоря, тест пытается создать таблицу с 5 столбцами (типы: Boolean, Float, String, Integer, Timestamp) и 1 000 001 строкой в ​​каждой. Вставка этих строк блоками по 10 000 строк завершается ошибкой с ответом «Слишком большой запрос».

Я чувствую, что это, вероятно, будет иметь аналогичный ответ на Слишком большой запрос в BigQuery - но, учитывая, как этот тест работал в предыдущий раз, мне интересно, есть ли проблема с серверной частью, которую необходимо решить. Также возможно, что API был изменен, когда я не смотрел!

Версия TLDR: что насчет того, что наша вставка слишком велика, и есть ли задокументированные ограничения, на которые мы можем ссылаться?


person Jacob Schaer    schedule 07.01.2015    source источник
comment
Каков приблизительный размер данных, которые вы пытаетесь вставить? (за кусок?)   -  person Jabberwockey    schedule 07.01.2015


Ответы (1)


Задокументированные ограничения здесь:

https://cloud.google.com/bigquery/streaming-data-into-bigquery#quota

Ответ TL;DR: хотя в настоящее время BQ строго не применяет максимальное количество строк на запрос 500 строк/вставка, в других местах стека API есть некоторые другие ограничения, связанные с общим размером запроса, которые препятствуют успешному выполнению вызова.

person shollyman    schedule 07.01.2015
comment
Да, Pandas использует потоковую загрузку с API Big Query и даже упоминает, что вы можете получать ошибки в зависимости от размера: pandas.pydata.org/pandas-docs/stable/generated/ - person Jabberwockey; 07.01.2015
comment
Мы знали об ограничениях при написании оригинальной библиотеки GBQ и соответствующей документации. Просто казалось странным, что тест, который ранее проходил, вдруг имеет проблемы. Меня особенно беспокоят эти 500 строк/вставка за раз. Интересно, что при повторной попытке сегодня это сработало (по крайней мере, впервые за хороший месяц). Интересно, было ли что-то исправлено. - person Jacob Schaer; 08.01.2015