Ние изграждаме тръбопровод, използвайки Apache Beam и DirectRunner като бегач. В момента се опитваме да създадем прост тръбопровод, чрез който: Изтеглете данни от Google Cloud Pub/Sub (в момента използвате емулатора за локално изпълнение)...

Използвам Google Cloud Dataflow за Python SDK, за да чета в 200k+ обекта от хранилище за данни, като използвам функцията ReadFromDatastore() на заявка без никакви филтри. def make_example_entity_query(): """ make an unfiltered query on...

Някой се е сблъсквал с тази грешка в приставката на Eclipse „Проектът не е активиран за Cloud Dataflow“. Опитвам се да създам нов проект за поток от данни, предоставящ „Акаунт“ и „Идентификационен номер на проект за платформа за облаци“ и той се...

По принцип това, което се опитвам да направя, е да създам GCS кофа въз основа на tenantID (идва като част от събитието) и да запиша тези събития с помощта на FileIO.writeDynamic, използвайки динамично именуване на файлове в задание на google dataflow....

Пиша облачен поток от данни, който чете съобщения от Pubsub и ги съхранява в BigQuery. Искам да използвам разделена таблица (по дата) и използвам Timestamp , свързан със съобщението, за да определя в кой дял трябва да влезе съобщението. По-долу е...

Обработвам предварително данни за TensorFlow с помощта на Apache Beam. Бих искал да избера броя на сегментите TFRecord въз основа на броя примери в моя набор от данни. Съответният раздел от кода е: EXAMPLES_PER_SHARD = 5.0 num_tfexamples =...

Виждам, че Scio се връща към Kryo кодер, а не Java Serializer, който е кодер по подразбиране, използван за Dataflow, когато кодерът не може да бъде изведен/намерен чрез CoderRegistry. Не виждам никъде препратка към setFallbackCoderProvider , как...