Я хочу создать приложение Kafka Streams, которое получает сообщения типа A. Для каждого входного A приложение должно создавать несколько групп выходных B (обычная операция flatMap).
Я пытаюсь реализовать его таким образом, чтобы приложение фиксировало выходную тему после каждой массовой рассылки (я называю это «подкоммитированием») и имело состояние своих подкоммитов (чтобы он мог вернуться к подкоммитам, которых он не делал в случае сбоя).
Я хочу, чтобы приложение выполняло обычную полную фиксацию только после того, как завершило подкоммит всех масс.
Похоже, что Processor API может мне помочь, поскольку я могу управлять состоянием подкоммитов.
So,
- Есть ли смысл в этом дизайне? (ничего подобного не видел при поиске, поэтому я немного подозрительный)
- Как я могу программно подкоммитить? (т.е. фиксация только в выходной теме)
