Как обрабатывать изменение схемы mongodb в производстве

Одним из существенных преимуществ баз данных без схемы является то, что вам не нужно обновлять всю базу данных с помощью новых макетов схемы. Если некоторые из документов в БД не содержат конкретной информации, тогда ваш код может вместо этого сделать соответствующую вещь или решить сделать что-нибудь с этой записью.

Другой вариант — лениво обновлять документы по мере необходимости — только при повторном просмотре. В этом случае вы можете выбрать флаг версии для каждой записи/документа, который изначально может даже не отображаться (и, таким образом, означать «версию 0»). Хотя даже это необязательно. Вместо этого ваш код доступа к базе данных ищет необходимые ему данные, и если они не существуют, поскольку это новая информация, добавленная после обновления кода, то он заполнит результаты в меру своих возможностей.

В вашем примере преобразование _id:false в стандартное поле MongoId, когда код читается (или записывается обратно после обновления), а _id:false в настоящее время установлено, затем внесите изменение и запишите его только тогда, когда это абсолютно необходимо.

Вам действительно нужно написать скрипт, который будет просматривать коллекцию и добавлять новое поле в каждый документ. Однако точный способ, как вы это сделаете, зависит от размера вашей БД и производительности вашей системы хранения. Добавление поля в документ изменит его размер и, таким образом, в большинстве случаев приведет к перемещению. Эта операция влияет на IO и также ограничена им. Если ваша коллекция состоит всего из нескольких тысяч документов, может быть до ста тысяч, то вы можете просто перебрать ее в одном цикле, потому что вся коллекция, вероятно, помещается в память, и все операции ввода-вывода будут происходить позже. Однако, если коллекция выходит далеко за пределы доступной памяти, подход усложняется. Обычно мы следуем следующим шагам при использовании MongoDB в производственной среде:

• Открыть курсор с тайм-аутом = False
• Чтение фрагмента документов в память
• Выполнять запросы на обновление этих документов
• Переждите некоторое время, чтобы избежать перегрузки подсистемы ввода-вывода и повреждения производственного приложения.
• Повторяйте, пока не закончите
• Закрыть курсор :)

Размер блока документов и период ожидания должны быть определены экспериментально. Обычно вы хотите избежать QR/QW в mongostats на период миграции. Для больших коллекций на более медленных дисках (например, EBS на Amazon) этот подход, обеспечивающий безопасность ввода-вывода, может занять от нескольких часов до нескольких дней.

Расширяя ответ @Michael Korbakov, я реализовал его шаги с помощью сценария оболочки mongo (см. Справочное руководство MongoDB о mongo сценариях оболочки).

Важно: как указано в Справочное руководство по MongoDB, запуск сценария в оболочке mongo может повысить производительность, поскольку он уменьшает задержку соединения для каждой пакетной выборки и массового выполнения.

Недостатком, который следует учитывать, является то, что команды оболочки mongo всегда синхронны, но массовое выполнение уже заботится о параллелизме (для каждого фрагмента), поэтому мы хороши для этого варианта использования.

код:

// constants
var sourceDbName = 'sourceDb';
var sourceCollectionName = 'sourceColl';
var destDbName = 'destdb';
var destCollectionName = 'destColl';
var bulkWriteChunckSize = 1000;
// for fetching, I figured 1000 for current bulkWrite, and +1000 ready for next bulkWrite
var batchSize = 2000;    
var sourceDb = db.getSiblingDB(sourceDbName);
var destDb = db.getSiblingDB(destDbName);

var start = new Date();

var cursor = sourceDb[sourceCollectionName].find({}).noCursorTimeout().batchSize(batchSize);

var currChunkSize = 0;
var bulk = destDb[destCollectionName].initializeUnorderedBulkOp();
cursor.forEach(function(doc) {
    currChunkSize++;
    bulk.insert({
        ...doc,
        newProperty: 'hello!',
    }); // can be changed for your need, if you want update instead

    if (currChunkSize === bulkWriteChunckSize) {
        bulk.execute();

        // each bulk.execute took for me 130ms, so i figured to wait the same time as well
        sleep(130);

        currChunkSize = 0;
        bulk = destDb[destCollectionName].initializeUnorderedBulkOp();
    }
});

if (currChunkSize > 0) {
    bulk.execute();
    currChunkSize = 0;
}

var end = new Date();
print(end - start);

cursor.close();