Я ищу соответствующую библиотеку для PySpark, чтобы получить реестр схемы от Kafka и декодировать данные. Кто-нибудь знает, что такое преобразование кода/библиотеки из scala в pyspark в скала-код?
Как я могу получить реестр схемы kafka в Pyspark?
Ответы (2)
Вы можете использовать пакет requests для отправки запросов в schema-registry restAPI и получения схемы вашей темы, а также, если вы слушаете некоторые конкретные темы, вы можете кэшировать их схему на искре и использовать их.
person
Hossein Torabi
schedule
28.02.2020
Pyspark может импортировать и использовать любой класс JVM Spark. Любые другие примеры Java Scala, которые вы найдете, поэтому должны просто работать
Запуск собственного класса Java в PySpark
person
OneCricketeer
schedule
28.02.2020
