Поддерживает ли большой запрос свойства ACID? После обработки большого количества файлов и сбоя последнего из них будет ли откат всей загрузки задания?
Как ведет себя bigquery при обработке большого набора файлов
Ответы (2)
Да, задания BigQuery имеют свойства ACID. То есть они
- Atomic: либо они коммитят полностью, либо не коммитят вообще.
- Непротиворечивость: изменения должны быть доступны везде, и после успешного завершения задания эти данные должны отображаться в каждом последующем задании.
- Изолировано: параллельные задания выполняются независимо.
- Надежность: после завершения задания данные должны быть записаны устойчиво (в настоящее время это означает, что они записываются как минимум в 3 реплики).
Когда задания запускаются, они проверяются на достоверность (например, добавляете ли вы данные с правильной схемой), но никакие изменения не вносятся до тех пор, пока задание не будет готово к фиксации. В этот момент изменения применяются атомарно (и снова проверяются).
person
Jordan Tigani
schedule
24.07.2014
Боюсь, но это неправда. Задания BigQuery поддерживают только свойство ATOMIC. Это означает, что в заданиях нет промежуточного состояния, и в случае сбоя задания все его операции завершатся сбоем.
https://cloud.google.com/bigquery/docs/reference/rest/v2/jobs
person
Salvatore Piazza
schedule
05.01.2017
