Вторичен индекс на HBase с копроцесор наблюдател, .put в индексната таблица води до рекурсия

В базата данни на HBase искам да създам вторичен индекс, като използвам допълнителна таблица за "свързване". Следвам примера, даден в този отговор: Създаване на вторичен индекс с помощта на копроцесор HBase

Не съм много добре запознат с цялата концепция на HBase и бях чел някои примери по въпроса за създаването на вторични индекси. Прикрепям копроцесора само към една маса, като това:

disable 'Entry2'
alter 'Entry2', METHOD => 'table_att', 'COPROCESSOR' => '/home/user/hbase/rootdir/hcoprocessors.jar|com.acme.hobservers.EntryParentIndex||'
enable 'Entry2'

Изходният му код е както следва:

public class EntryParentIndex extends BaseRegionObserver{

private static final Log LOG = LogFactory.getLog(CoprocessorHost.class);

private HTablePool pool = null;

private final static String  INDEX_TABLE                       = "EntryParentIndex";
private final static String  SOURCE_TABLE                      = "Entry2";

@Override
  public void start(CoprocessorEnvironment env) throws IOException {
    pool = new HTablePool(env.getConfiguration(), 10);
 }

@Override
  public void prePut(
      final ObserverContext<RegionCoprocessorEnvironment> observerContext,
      final Put put,
      final WALEdit edit,
      final boolean writeToWAL)
    throws IOException {

    try {

         final List<KeyValue> filteredList = put.get(Bytes.toBytes ("data"),Bytes.toBytes("parentId"));
         byte [] id = put.getRow(); //Get the Entry ID

         KeyValue kv=filteredList.get( 0 ); //get Entry PARENT_ID
         byte[] parentId=kv.getValue();


        HTableInterface htbl = pool.getTable(Bytes.toBytes(INDEX_TABLE));

        //create row key for the index table
        byte[] p1=concatTwoByteArrays(parentId, ":".getBytes()); //Insert a semicolon between two UUIDs
        byte[] rowkey=concatTwoByteArrays(p1, id);

        Put indexput  = new Put(rowkey);

        //The following call is setting up a strange? recursion, resulting
        //...in thesame prePut method invoken again and again. Interestingly
        //...the recursion limits itself up to 6 times. The actual row does not
        //...get inserted into the INDEX_TABLE
        htbl.put(indexput);


        htbl.close();

    }
    catch ( IllegalArgumentException ex) {  }

  }


  @Override
  public void stop(CoprocessorEnvironment env) throws IOException {
    pool.close();
  }

  public static final byte[] concatTwoByteArrays(byte[] first, byte[] second) {
        byte[] result = Arrays.copyOf(first, first.length + second.length);
        System.arraycopy(second, 0, result, first.length, second.length);
        return result;
    }

}

Това се изпълнява, когато изпълня put върху SOURCE_TABLE. Има коментар в кода (моля, потърсете го): „Следното повикване настройва странно“.

Зададох печат за отстраняване на грешки в регистрационния файл, потвърждаващ, че методът prePut се изпълнява само на SOURCE_TABLE и никога на INDEX_TABLE. И все пак не разбирам защо се случва тази странна рекурсия, въпреки че в копроцесора изпълнявам само едно поставяне на INDEX_TABLE.

Също така потвърдих, че действието put върху изходната таблица отново е само едно.


person PatlaDJ    schedule 29.04.2013    source източник


Отговори (1)


Поправих проблема си. Оказа се, че добавям няколко пъти един и същ наблюдател, мислейки погрешно, че се губи след рестартиране на Hbase.

Също така причината, поради която извикването .put към INDEX_TABLE не работи, е, че не зададох стойност за него, а само ключ на ред, погрешно мислейки, че това е възможно. И все пак HBase не хвърли никакви изключения, просто не изпълни PUT, няма предоставена информация, което може да е объркващо за начинаещите в тази технология.

person PatlaDJ    schedule 29.04.2013