Подключение к apache atlas + hbase + solr с помощью gremlin cli

Я новичок в atlas и janusgraph, у меня есть локальная настройка atlas с hbase и solr в качестве бэкэндов с фиктивными данными. Я хотел бы использовать сервер gremlin cli + gremlin и подключиться к существующим данным в hbase. то есть: просматривать и перемещаться по фиктивным объектам метаданных атласа.

Вот что я сделал до сих пор:

  1. Запускаем atlas server + hbase + solr - вставлены фиктивные сущности
  2. Run gremlin server with the right configuration
    • I have set the graph: { ConfigurationManagementGraph: ..} to janusgraph-hbase-solr.properties
  3. Запустите gremlin cli, подключитесь к :remote connect tinkerpop.server conf/remote.yaml session, который отлично подключается к серверу gremlin.
  4. Я делаю graph = JanusGraphFactory.open(..../janusgraph-hbase-solr.properties) и создаю g = graph.traversal()

Я могу создать свою собственную вершину и ребра и перечислить их, но не могу перечислить что-либо, связанное с атласом, то есть: объекты и т. Д.

Что мне не хватает? Я хочу подключиться к существующей настройке атласа и пройти по графику с помощью gremlin cli.

Спасибо


solr gremlin apache-atlas janusgraph hbase
person druuu    schedule 02.10.2019    source источник

Ответы (3)


arrow_upward
3
arrow_downward

Чтобы получить доступ к артефактам Атласа из gremlin cli, вам нужно будет добавить jar-файлы зависимостей Атласа в каталог lib Janusgraph.

Вы можете получить jar-файлы из репозитория maven Atlas или из локальной сборки.

$ cp atlas-*  janusgraph-0.3.1-hadoop2/lib/

список JAR

  • атлас-общий-1.1.0.jar
  • атлас-graphdb-api-1.1.0.jar
  • atlas-graphdb-common-1.1.0.jar
  • atlas-graphdb-janus-1.1.0.jar
  • atlas-intg-1.1.0.jar
  • Атлас-репозиторий-1.1.0.jar

Пример запроса может быть таким:

gremlin> :> g.V().has('__typeName','hive_table').count()
==>10
person anand    schedule 25.10.2019
comment
Отлично. Я настраиваю jar-файлы, запускаю сервер gremlin с правильными конфигурациями hbase и solr. Я получаю это: Could not instantiate implementation: org.janusgraph.diskstorage.solr.SolrIndex - person druuu; 31.10.2019
comment
Мне удалось подключиться. Но он возвращает 0, пока у меня есть объекты hive_table - person druuu; 31.10.2019
comment
@droaak, я подозреваю, что значение свойства для storage.hbase.table отсутствует в файле janusgraph-hbase-solr.properties, оно должно быть atlas_janus. Вы уже установили это свойство? - person NikHiL Bonte; 15.11.2019
comment
Это. Я использую атлас 2.0 и его apache_atlas_janus. Я также проверял, используя оболочку hbase. На самом деле теперь я получаю ту же ошибку, но с org.janusgraph.diskstorage.solr.Solr6Index - person druuu; 19.11.2019

arrow_upward
2
arrow_downward

Как упоминалось в ТиагоАльвезе, Образ докера Atlas можно использовать, поскольку поддержка Tinknerpop Gremlin теперь встроена в него, и ее можно легко использовать для игры с артефактами Janusgraph и Atlas с помощью интерфейса командной строки gremlin:

  1. Вытяните изображение:
docker pull sburn/apache-atlas
  1. Запустите Apache Atlas в контейнере, открывающем порт 21000 Web-интерфейса:
docker run -d \
    -p 21000:21000 \
    --name atlas \
    sburn/apache-atlas \
    /opt/apache-atlas-2.1.0/bin/atlas_start.py
  1. Установите gremlin-server и gremlin-console в контейнер, запустив включенный сценарий автоматизации:
docker exec -ti atlas /opt/gremlin/install-gremlin.sh
  1. Запустите gremlin-server в том же контейнере:
docker exec -d atlas /opt/gremlin/start-gremlin-server.sh
  1. Наконец, запустите gremlin-console в интерактивном режиме:
docker exec -ti atlas /opt/gremlin/run-gremlin-console.sh
person Vadim Korchagin    schedule 20.08.2020

arrow_upward
0
arrow_downward

У меня была такая же проблема при попытке подключиться к базе данных Apache Atlas JanusGraph (org.janusgraph.diskstorage.solr.Solr6Index).

Я решил это после перемещения банок атласа в папку библиотеки JanusGraph, как сказал anand, а затем настроил janusgraph-hbase-solr.properties.

Это конфигурации, установленные на janusgraph-hbase-solr.properties:

gremlin.graph=org.janusgraph.core.JanusGraphFactory
storage.backend=hbase
storage.hostname=localhost
cache.db-cache = true
cache.db-cache-clean-wait = 20
cache.db-cache-time = 180000
cache.db-cache-size = 0.5
index.search.backend=solr
index.search.solr.mode=http
index.search.solr.http-urls=http://localhost:9838/solr
index.search.solr.zookeeper-url=localhost:2181
index.search.solr.configset=_default
atlas.graph.storage.hbase.table=apache_atlas_janus
storage.hbase.table=apache_atlas_janus

Я запускаю Atlas, используя этот образ докера: https://github.com/sburn/docker-apache-atlas

person ThiagoAlvez    schedule 03.07.2020