Я использую Snowflake в качестве DWH и Spark для своего ETL, и у меня нет таблиц Hive.
Есть ли возможность использовать Apache Kylin без экосистемы Hadoop?
Apache Kylin без Hadoop / Hive
comment
AFAIK Kylin сильно зависит от HBase. См. Требования к программному обеспечению @ kylin.apache.org/docs/install/index.html
- person mazaneicha schedule 11.11.2019
comment
Отличный вопрос. Их продавцы говорят да, килигенс. io / blog /
- person KCD schedule 29.01.2021
Ответы (3)
Это довольно сложно из того, что я прочитал. Некоторые альтернативы, которые я бы предложил, чтобы воспользоваться преимуществами аналитики в распределенных системах, - это использование материализованных представлений для фильтрации данных, которые вы хотите получить от частей каждой распределенной системы в Snowflake Подробнее о материализованных представлениях
А функция предварительного просмотра, обмен данными для анализа запросов?
Надеюсь, это поможет, извините, я не очень помог с Apache Kylin.
person
Rachel McGuigan
schedule
12.11.2019
Kyligence Cloud, основанное на ядре Apache Kylin, но облачное предложение, построенное на AWS и Azure, предоставляет возможность подключаться к Snowflake напрямую без Hadoop. Подробнее читайте здесь: https://kyligence.io/news/kyligence-releases-cloud-native-olap-for-azure-aws-and-google-cloud-platform/
person
Billy Liu
schedule
12.11.2019
Вы правы, у них есть последняя версия, но я не уверен, насколько она надежна. Спасибо
- person raul7; 15.11.2019
Ответ - нет. Он не может читать напрямую из кадров Spark Data, источники данных, которые он поддерживает, - это Hive, Kafka и RDBMS.
person
raul7
schedule
12.11.2019
В любом случае фреймы данных нигде не хранятся, это только формат времени выполнения.
- person OneCricketeer; 14.11.2019
Я не голосовал против, и нет возможности узнать, кто голосовал. Тот факт, что вы прямо сказали чтение, не означает, что вы где-то сохранили фреймворк. Spark может писать в Hbase, а не только в те места, которые вы указали.
- person OneCricketeer; 15.11.2019
Тогда я прошу прощения за то, что обвиняю вас. Как вы упомянули, Spark может писать в HBase, но это не то, что мне нужно. Я хочу, чтобы это было не только в HBase, а как вход для Kylin, который сам создает свой куб OLAP, сохраняя его в своем хранилище (в настоящее время только HBase).
- person raul7; 15.11.2019
