Как избежать проблемы с блокировкой таблиц БД заданий при использовании очередей Laravel?

Это может быть не ответ, а некоторая информация.

При использовании операторов SELECT ... FOR UPDATE вы можете наблюдать конфликт блокировок (мертвые блокировки и т. Д.).

select … for update where x <= y

это сканирование диапазона с ‹= база данных блокирует все строки‹ = y, включая любые пробелы, поэтому, если у вас есть строки с y, например: 1, 3, 5, он блокирует даже пустое пространство между 1 и 3 в индексе, который называется пробелом запирание

можете увидеть проблему с помощью этой команды:

SHOW ENGINE INNODB STATUS;

---TRANSACTION 72C, ACTIVE 755 sec
4 lock struct(s), heap size 1248, 3 row lock(s), undo log entries 1
MySQL thread id 3, OS thread handle 0x7f84a78ba700, query id 163 localhost msandbox
TABLE LOCK table test.t trx id 72C lock mode IX
RECORD LOCKS space id 19 page no 4 n bits 80 index age of table test.t trx id 72C lock_mode X
RECORD LOCKS space id 19 page no 3 n bits 80 index GEN_CLUST_INDEX of table test.t trx id 72C lock_mode X locks rec but not gap
RECORD LOCKS space id 19 page no 4 n bits 80 index age of table test.t trx id 72C lock_mode X locks gap before rec

Последняя линия

Если у вас много пропусков в ваших транзакциях, влияющих на параллелизм и производительность, вы можете отключить их двумя разными способами:

1- Change the ISOLATION level to READ COMMITTED. In this isolation level, it is normal and expected that query results can change during a transaction, so there is no need to create locks to prevent that from happening.

2- innodb_locks_unsafe_for_binlog = 1. Disables the gap locks except for foreign-key constraint checking or duplicate-key checking.

https://www.percona.com/blog/2012/03/27/innodbs-gap-locks/

Я пишу систему управления очередями на Laravel, у меня есть несколько заданий, у которых есть несколько пользователей, которым я должен отправлять электронные письма. У меня много рабочих с супервизором, и, чтобы избежать отправки нескольких писем одному и тому же пользователю, я написал этот код. Надеюсь, это поможет кому-нибудь с этой проблемой

DB::transaction(function () use ($job) {

            if (!count($job->jobUsers()->sharedLock()->get())) { // to share reading ability btw multiple workers

                Log::info('There is no user in this job');
                $job->status = Job::STATUS_FINISHED;
                $job->save();
                return;

            }

            foreach ($job->jobUsers as $jobUser) {
                Log::info($jobUser->user_id);

                JobUser::where('job_id', $jobUser->job_id)
                    ->where('user_id', $jobUser->user_id)
                    ->lockForUpdate()  // exclusive lock
                    ->update(['status' => JobUser::STATUS_SENT]);
            }

        });

Вы можете переключиться на MyISAM, и это устранит ошибки транзакции; но в то же время вы потеряете много отличной функциональности и надежности, которые поставляются с innoDB.

* Это не вариант, если таблицы имеют внешние ключи, и вы полагаетесь на такие вещи, как каскадные удаления и обновления, которые можно найти только в innoDB.