У меня есть вариант использования, в котором мне нужно прочитать выбранные данные из BigQuery, применив левые соединения к 20 различным таблицам BQ, применить преобразования к этим данным и, наконец, выполнить дамп в окончательную таблицу BQ. У...

Я столкнулся с проблемой «Невозможно предоставить кодер для org.apache.hadoop.hbase.client.Mutation». используя HbaseIO с FlinkRunner. Исключение ниже: Exception in thread "main" java.lang.IllegalStateException: Unable to return a default Coder...

Есть ли способ использовать результат из приемника, т. е. PDone , для дальнейшей обработки, например отправки сообщения в Pub/Sub только после того, как данные были полностью записаны в GCS или все строки были записаны в BigQuery?

Я использую Google Cloud Dataflow для Python SDK для чтения более 200 000 сущностей из хранилища данных с помощью функции ReadFromDatastore() в запросе без каких-либо фильтров. def make_example_entity_query(): """ make an unfiltered...

невозможно сериализовать DoFnWithExecutionInformation{doFn=com.orderly.dataflow.RosterFileReader@60ec7684, mainOutputTag=Tag, sideInputMapping={}, schemaInformation=DoFnSchemaInformation{elementConverters=[]}} java.lang.IllegalArgumentException:...