Задачите на потока от данни висят - не са дадени предупреждения или грешки

Имаме тръбопровод за поток от данни, който чете от BigQuery. Опитва се да прочете ~10 милиона записа. Всичко изглежда нормално - няма грешки или предупреждения. Но задачата просто виси, когато се опитвате да четете от BigQuery. Оставихме го за 15 минути, но все още не се четат 0 записа. В крайна сметка трябваше да прекратим работата.

Някои примерни идентификатори на работа

  • 2015-06-24_17_55_06-15252989544958442335
  • 2015-06-24_18_11_43-5648996119225591199

Има ли нещо нередно с услугата в момента?


google-cloud-dataflow
person Graham Polley    schedule 25.06.2015    source източник
comment
IIRC преди няколко месеца, когато се опитах да прочета от BigQuery, не показа напредък, докато не бъдат прочетени всички данни, така че може би си струва да изчакате още малко. 10 милиона записа звучат като доста много данни.   -  person G B    schedule 25.06.2015
comment
Имаме други конвейери, които четат милиарди редове от BQ, и те показват четене на записите в рамките на няколко минути. 10 милиона всъщност не са много за нас.   -  person Graham Polley    schedule 26.06.2015

Отговори (1)


arrow_upward
1
arrow_downward

Това беше проблем с разрешението при четене от таблица на BigQuery. Грешките обаче не се виждаха в работата. Когато активирахме регистриране в облака, задачата се провали и грешките се появиха. Инженерите на Google проучват защо заданието спира, когато регистрирането в облак не е активирано и когато възникне грешка.

person Graham Polley    schedule 07.07.2015