Как выбрать большой набор результатов из Google BigQuery с помощью клиентской библиотеки .NET api без разбивки на страницы

Я пытаюсь выбрать большой набор результатов (~ 200 КБ) из Google BigQuery, используя клиентскую библиотеку .net.

Я могу получить только ~ 4K строк за один снимок (запрос и ответ), Google BigQuery предлагает PageToken для получения следующего набора результатов. Я могу выбрать все строки из большого запроса с помощью нескольких запросов в Google Bigquery (~ 50 запросов и ответов).

Мой вопрос: Есть ли возможность выбрать большой набор результатов в одном ответе? если да, пожалуйста, поделитесь своим кодом (даже код JAVA тоже подойдет).


google-bigquery google-api-dotnet-client
person selva kumar    schedule 25.06.2015    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Невозможно запустить запрос и выбрать большой ответ за один раз. Вы можете либо разбить результаты на страницы, либо, если вы можете создать задание для экспорта в файлы, затем использовать файлы, созданные в вашем приложении. Экспорт бесплатный.

Шаг, чтобы выполнить большой запрос и экспортировать результаты в файлы, хранящиеся в GCS:

1) Установите для параметра allowLargeResults значение true в конфигурации задания. Вы также должны указать целевую таблицу с помощью флага allowLargeResults.

Пример:

"configuration": 
  {
    "query": 
    {
      "allowLargeResults": true,
      "query": "select uid from [project:dataset.table]"
      "destinationTable": [project:dataset.table]

    }
  }

2) Теперь ваши данные находятся в заданной вами целевой таблице. Вам необходимо создать новое задание и установить свойство export, чтобы иметь возможность экспортировать таблицу в файл (ы). Экспорт бесплатный, но вам нужно активировать Google Cloud Storage, чтобы туда помещать полученные файлы.

3) В конце концов, вы загружаете свои большие файлы из GCS.

person Pentium10    schedule 25.06.2015