API больших запросов Google возвращает слишком много свободных байтов запроса, отсканированных для этого проекта

Я использую большой API запросов Google для получения результатов из их набора данных n-грамм. Поэтому я отправляю несколько запросов «ВЫБРАТЬ ngram из trigram_dataset, где ngram == 'обработка естественного языка'».

В основном я использую тот же код, что и здесь (https://developers.google.com/bigquery/bigquery-api-quickstart) заменен моим оператором запроса.

При каждом запуске программы я должен получать новый код авторизации и вводить его в консоли, которая дает моей программе разрешение на отправку запросов в большой запрос Google под моим идентификатором проекта. Однако после отправки 5 запросов он просто возвращает «сообщение»: «Превышена квота: для этого проекта просканировано слишком много свободных байтов запроса».

Согласно политике Google Big Query, их бесплатная квота составляет 100 ГБ в месяц, и я не думаю, что даже приблизился к их квоте. Кто-то предложил в предыдущем потоке, что я должен включить платежную информацию, чтобы использовать их бесплатную квоту, что я и сделал, но все равно выдает ту же ошибку. Есть ли способ проверить оставшуюся квоту или как решить эту проблему? Большое спасибо!


google-bigquery google-api
person pandagrammer    schedule 23.02.2014    source источник

Ответы (1)


arrow_upward
2
arrow_downward

Упомянутый вами запрос сканирует 1,12 ГБ данных, поэтому вы сможете выполнить его 89 раз в месяц.

Принцип работы квоты заключается в том, что вы начинаете с ежемесячной квоты 100 ГБ - если вы ее израсходуете, вам не нужно ждать целый месяц, но вы получаете на 3,3 больше квоты каждый день.

Я предполагаю (пожалуйста, подтвердите), что вы выполнили несколько запросов и израсходовали свою ежемесячную бесплатную квоту в 100 ГБ, затем подождали день и смогли выполнить только несколько запросов, прежде чем достигнуть предела квоты. Если это не так, дайте мне знать и укажите идентификатор вашего проекта, и я смогу просмотреть журналы.

Также обратите внимание, что это не самое эффективное использование bigquery; вариант - объединить несколько запросов вместе. В этом случае вы можете сделать что-то вроде:

SELECT ngram 
FROM trigram_dataset 
WHERE ngram IN (
  'natural language processing',
  'some other trigram',
  'three more words')
person Jordan Tigani    schedule 24.02.2014