Запросы Bigquery Java API меньше задокументированного лимита.

Я делаю запрос к таблице BigQuery, которая должна возвращать около 11 тысяч строк. Однако я не могу получить более 2400 строк в одном GetQueryResultsResponse, доступ к другим строкам должен осуществляться через разбиение на страницы.

Я проверил документ, и в нем говорится, что ответ может иметь размер до 64 КБ строк или 10 МБ JSON, а мои ответы намного ниже этого (1 МБ JSON и 2400 строк), поэтому я не понимаю, почему мои результаты выгружаются.

Есть ли в Java API скрытый параметр, ограничивающий количество строк?

С уважением, Дэвид


google-bigquery
person David    schedule 07.09.2012    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Вы передаете параметр maxResults, описанный здесь? Похоже, что документы немного вводят в заблуждение в этом отношении, поскольку они указывают, что мы возвращаем максимальный размер по умолчанию. Для экономии трафика по умолчанию мы возвращаем только 512 строк. Это основано на предположении, что большинство людей на самом деле не заинтересованы во всем результате, и если да, они могут использовать параметр maxResults или просмотреть результаты.

person Jordan Tigani    schedule 07.09.2012
comment
Привет, Джордан, спасибо за ответ. Я фактически настроил maxResults на 64000 строк, но это ничего не изменило, общий результат был по-прежнему 2400 строк. Чтобы убедиться, что я правильно использую API, я протестировал со значениями ‹2400, и он действительно отправил мне хорошее количество строк (например, 2000). Тем не менее, нет возможности перейти больше 2400. - person David; 10.09.2012
comment
Чтобы проверить, связано ли это с Java API, я использовал площадку OAuth и CURL для выполнения одного и того же запроса и обнаружил точно такое же поведение: я не могу пройти более 2935 строк. Размер несжатого ответа в Windows составляет 3,9 МБ. - person David; 10.09.2012
comment
2935 строк занимают 3,9 МБ? Если так, то это не удивительно. Мы используем приблизительное значение, когда вычисляем размер результата (чтобы ограничить его 10 МБ), и округляем до наихудшего случая кодирования. Я исследую, являются ли наши расчеты более пессимистичными, чем необходимо. - person Jordan Tigani; 10.09.2012