Зависание заданий потока данных — никаких предупреждений или ошибок не выдается

У нас есть конвейер потока данных, который считывает данные из BigQuery. Он пытается прочитать ~ 10 миллионов записей. Все выглядит нормально - ни ошибок, ни предупреждений. Но задание просто зависает при попытке чтения из BigQuery. Мы оставили его на 15 минут, но все равно прочитано 0 записей. В итоге нам пришлось отменить работу.

Некоторые примеры идентификаторов заданий

  • 2015-06-24_17_55_06-15252989544958442335
  • 2015-06-24_18_11_43-5648996119225591199

Что-то не так с сервисом сейчас?


google-cloud-dataflow
person Graham Polley    schedule 25.06.2015    source источник
comment
IIRC несколько месяцев назад, когда я пытался читать из BigQuery, он не показывал никакого прогресса, пока не были прочитаны все данные, так что, возможно, стоит немного подождать. 10M записей звучит как довольно много данных.   -  person G B    schedule 25.06.2015
comment
У нас есть другие конвейеры, считывающие миллиарды строк из BQ, и они показывают чтение записей в течение нескольких минут. 10М для нас не так уж и много.   -  person Graham Polley    schedule 26.06.2015

Ответы (1)


arrow_upward
1
arrow_downward

Это была проблема с правами доступа при чтении из таблицы BigQuery. Однако ошибок в работе не было видно. Когда мы включили ведение журнала в облаке, задание не удалось, и появились ошибки. Инженеры Google выясняют, почему задание зависает, когда ведение журнала в облаке не включено, и когда возникает ошибка.

person Graham Polley    schedule 07.07.2015