Я работаю над аналитическим решением IoT, которое использует сообщения в формате Avro, отправленные в Azure IoT Hub, и (надеюсь) использует Stream Analytics для хранения сообщений в Data Lake и хранилище BLOB-объектов. Ключевым требованием является то, что контейнеры Avro должны выглядеть в хранилище точно такими же, какими они были при представлении в Центре Интернета вещей, в интересах последующих потребителей.
Я столкнулся с ограничением в Stream Analytics с детальным контролем над созданием отдельных файлов. При настройке нового пути к выходному потоку я могу указать только дату / день и час в префиксе пути, в результате чего будет один файл на каждый час вместо одного файла для каждого полученного сообщения. Заказчику требуются отдельные контейнеры больших двоичных объектов для каждого устройства и отдельные большие двоичные объекты для каждого события. Точно так же требование Data Lake диктует, по крайней мере, разумное соглашение об именах, определяемое устройством, с отдельными файлами для каждого принятого события.
Кто-нибудь успешно настроил Stream Analytics для создания нового файла каждый раз, когда он выводит сообщение из ввода? Это жесткое ограничение продукта?
