Как се държи bigquery при обработка на голям набор от файлове

Да, заданията на BigQuery имат ACID свойства. Тоест те са

• Atomic: Или се ангажират изцяло, или изобщо не се ангажират.
• Последователност: Промените трябва да са налични навсякъде и след като дадено задание приключи успешно, тези данни трябва да се виждат при всяко следващо задание.
• Изолирани: Едновременните задачи работят независимо.
• Устойчивост: След като дадено задание приключи, данните трябва да се записват трайно (в момента това означава, че се записват в поне 3 реплики.)

Когато заданията стартират, те се проверяват за валидност (например дали добавяте данни с правилната схема), но не се правят промени, докато заданието не е готово за ангажиране. В този момент промените се прилагат атомарно (и се валидират отново).

Страхувам се, но това не е вярно. Задачите на BigQuery поддържат само свойството ATOMIC. Това означава, че няма междинно състояние в заданията и ако заданието се провали, всички негови операции се провалят.

https://cloud.google.com/bigquery/docs/reference/rest/v2/jobs