Ние изграждаме тръбопровод, използвайки Apache Beam и DirectRunner като бегач. В момента се опитваме да създадем прост тръбопровод, чрез който: Изтеглете данни от Google Cloud Pub/Sub (в момента използвате емулатора за локално изпълнение)...

Да речем в програмата Dataflow/Apache Beam, опитвам се да прочета таблица, която има данни, които нарастват експоненциално. Искам да подобря ефективността на четенето. BigQueryIO.Read.from("projectid:dataset.tablename") or...

Използвам Google Cloud Dataflow за Python SDK, за да чета в 200k+ обекта от хранилище за данни, като използвам функцията ReadFromDatastore() на заявка без никакви филтри. def make_example_entity_query(): """ make an unfiltered query on...

Някой се е сблъсквал с тази грешка в приставката на Eclipse „Проектът не е активиран за Cloud Dataflow“. Опитвам се да създам нов проект за поток от данни, предоставящ „Акаунт“ и „Идентификационен номер на проект за платформа за облаци“ и той се...

По принцип това, което се опитвам да направя, е да създам GCS кофа въз основа на tenantID (идва като част от събитието) и да запиша тези събития с помощта на FileIO.writeDynamic, използвайки динамично именуване на файлове в задание на google dataflow....

Пиша облачен поток от данни, който чете съобщения от Pubsub и ги съхранява в BigQuery. Искам да използвам разделена таблица (по дата) и използвам Timestamp , свързан със съобщението, за да определя в кой дял трябва да влезе съобщението. По-долу е...

Обработвам предварително данни за TensorFlow с помощта на Apache Beam. Бих искал да избера броя на сегментите TFRecord въз основа на броя примери в моя набор от данни. Съответният раздел от кода е: EXAMPLES_PER_SHARD = 5.0 num_tfexamples =...

Опитах се да източа тръбопровод програмно. Първата част от кода изпълнява тръбопровода, който се извиква с помощта на отделна нишка. След това програмата заспива за известно време и след това се опитва да източи тръбопровода. Опитах да стартирам в...

Виждам, че Scio се връща към Kryo кодер, а не Java Serializer, който е кодер по подразбиране, използван за Dataflow, когато кодерът не може да бъде изведен/намерен чрез CoderRegistry. Не виждам никъде препратка към setFallbackCoderProvider , как...

Опитвам се да разбера жизнения цикъл на трансформациите в конвейер. Имам конвейерна линия с няколко трансформации. Pipeline p = Pipeline.create(options); p.apply(TextIO.Read.named("ReadLines").from(inputFile)) .apply(new...

Имаме тръбопровод за поток от данни, който чете от BigQuery. Опитва се да прочете ~10 милиона записа. Всичко изглежда нормално - няма грешки или предупреждения. Но задачата просто виси, когато се опитвате да четете от BigQuery. Оставихме го за 15...

Клиентът ни качва файлове в GCS, но те са компресирани. Има ли някакъв начин, използвайки Java Dataflow SDK, в който можем да преминем през всички компресирани файлове, да разархивираме файла, да комбинираме всички получени .csv файлове в един файл и...

Кой е най-добрият начин да напишете изход на Google Cloud Dataflow в Cassandra? Изглежда не намирам много хора, които го правят. След като потърсих известно време, единственото нещо, което намерих, беше:...