Какова хорошая стратегия для параллельной обработки очереди?

Используйте библиотеку параллельных задач.

Создайте Task для обработки первой папки. При этом создайте Task для обработки каждой подпапки (рекурсивно) и задачи для каждого соответствующего файла. Затем ждите выполнения всех задач для этой папки.

Среда выполнения TPL будет использовать пул потоков, избегая создания потоков, что является дорогостоящей операцией. для мелких работ.

Примечание:

• Если работа над файлом тривиальна, сделайте ее встроенной, а не создайте другую задачу (производительность ввода-вывода будет ограничивающим фактором).
• Этот подход, как правило, работает лучше всего, если блокирующие операции избегаются, но если производительность ввода-вывода является пределом, то это может не иметь значения в любом случае, начните с простого и измеряйте.
• До .NET 4 многое из этого можно было сделать с помощью пула потоков, но вам нужно будет использовать events для ожидания завершения задач, и это ожидание свяжет потоки пула потоков.¹

¹ Насколько я понимаю, в TPL при ожидании задач с использованием метода TPL TPL будет повторно использовать этот поток для других задач, пока ожидание не будет выполнено.

Если вы хотите придерживаться концепции явной очереди, взгляните на BlockingCollection< /а> класс. Метод GetConsumingEnumerable() возвращает IEnumerable, который блокируется, когда коллекция закончатся предметы и продолжится, как только появятся новые предметы. Это означает, что всякий раз, когда коллекция пуста, поток блокируется и, таким образом, предотвращает его преждевременную остановку.

Однако: в основном это очень полезно для сценариев производитель-потребитель. Я не уверен, что ваша проблема относится к этой категории.

Казалось бы, в этом случае лучше всего будет создать один поток для запуска, а затем всякий раз, когда вы загружаете подкаталоги, вы должны задавать потоки из пула потоков для их обработки. Позвольте вашим потокам завершаться, когда они будут выполнены, и вызывайте новые из пула каждый раз, когда вы делаете еще один шаг в каталогах. Таким образом, нет взаимоблокировки, и ваша система использует потоки по мере необходимости. Вы даже можете указать, сколько потоков нужно запустить в зависимости от того, сколько папок было найдено.

Изменить: изменено выше, чтобы было более ясно, что вы не хотите явно создавать новые потоки, но вместо этого хотите использовать пул потоков для добавления и удаления потоков по мере необходимости без накладных расходов.