Вывод Google Cloud Dataflow в Cassandra

Как лучше всего записать вывод Google Cloud Dataflow в Cassandra?

Кажется, я не нахожу, чтобы многие люди этим занимались. После некоторого поиска единственное, что я нашел, это: https://github.com/benjumanji/cassandra-dataflow, который имеет только 3 коммита и которому 4 месяца.

В общем, стоит ли записывать вывод Dataflow в Cassandra?


cassandra google-cloud-dataflow
person Vassil Lunchev    schedule 06.10.2015    source источник

Ответы (1)


arrow_upward
4
arrow_downward

Одним из возможных подходов может быть реализация пользовательского приемника (для пакетной обработки): https://cloud.google.com/dataflow/model/custom-io#creating-sinks.

person Tudor Marian    schedule 06.10.2015
comment
Кроме того, вы можете реализовать запись в Cassandra с помощью пользовательского pTransform. В этом случае вам придется заниматься аспектами отказоустойчивости. - person pjesa; 06.10.2015
comment
Похоже, что проект cassandra-dataflow на github сочетает в себе и то, и другое: он реализует пользовательское преобразование, но преобразование делает примерно то же, что и пользовательский приемник. - person jkff; 06.10.2015