Выполнение обработки после PDone

Есть ли способ использовать результат из приемника, т. е. PDone, для дальнейшей обработки, например отправки сообщения в Pub/Sub только после того, как данные были полностью записаны в GCS или все строки были записаны в BigQuery?


person W Khattak    schedule 22.02.2019    source источник


Ответы (1)


В IO есть способ вернуть PTransform после IO.write(). Например, TextIO.write().withOutputFilenames(). Но это специфично для IO, поэтому не у каждого IO есть такой API.

PDone нельзя использовать для дальнейшей обработки.

person Rui Wang    schedule 23.02.2019