У нас есть кластер HDInsight с HBase (Ambari)
- Мы создали таблицу с помощью Pheonix
СОЗДАТЬ ТАБЛИЦУ, ЕСЛИ НЕ СУЩЕСТВУЕТ Результаты (Col1 VARCHAR (255) NOT NULL, Col1 INTEGER NOT NULL, Col3 INTEGER NOT NULL, Destination VARCHAR (255) NOT NULL CONSTRAINT pk PRIMARY KEY (Col1, Col2, Col3) ) IMMUTABLE_ROWS = истина
Мы ввели некоторые данные в эту таблицу (используя некоторый Java-код)
Позже мы решили создать локальный индекс для столбца назначения следующим образом
СОЗДАТЬ ЛОКАЛЬНЫЙ ИНДЕКС DESTINATION_IDX ПО РЕЗУЛЬТАТАМ (пункт назначения) ASYNC
- Мы запустили инструмент индексации, чтобы заполнить индекс следующим образом
hbase org.apache.phoenix.mapreduce.index.IndexTool --data-table RESULTS --index-table DESTINATION_IDX --output-path DESTINATION_IDX_HFILES
- Когда мы запускаем запросы и фильтруем, используя столбцы назначения, все в порядке. Например
выберите / * + NO_CACHE, SKIP_SCAN * / COL1, COL2, COL3, DESTINATION из результатов, где COL1 = 'данные' DESTINATION = 'некоторое значение';
- Но, если мы не используем DESTINATION в запросе where, мы получим исключение NullPointerException в BaseResultIterators.class
(из phoenix-core-4.7.0-HBase-1.1.jar)
- Это исключение возникает только тогда, когда мы используем новый локальный индекс. Если мы запросим игнорирование индекса следующим образом
выберите / * + NO_CACHE, SKIP_SCAN, NO_INDEX * / COL1, COL2, COL3, DESTINATION из результатов, где COL1 = 'данные' DESTINATION = 'некоторое значение';
мы не получим исключения
Показан соответствующий код из области, где мы получили исключение
...
catch (StaleRegionBoundaryCacheException e2) {
// Catch only to try to recover from region boundary cache being out of date
if (!clearedCache) { // Clear cache once so that we rejigger job based on new boundaries
services.clearTableRegionCache(physicalTableName);
context.getOverallQueryMetrics().cacheRefreshedDueToSplits();
}
// Resubmit just this portion of work again
Scan oldScan = scanPair.getFirst();
byte[] startKey = oldScan.getAttribute(SCAN_ACTUAL_START_ROW);
byte[] endKey = oldScan.getStopRow();
====================Note the isLocalIndex is true ==================
if (isLocalIndex) {
endKey = oldScan.getAttribute(EXPECTED_UPPER_REGION_KEY);
//endKey is null for some reason in this point and the next function
//will fail inside it with NPE
}
List<List<Scan>> newNestedScans = this.getParallelScans(startKey, endKey);
Мы должны использовать эту версию Jar, поскольку мы работаем внутри Azure HDInsight, и мы не можем выбрать более новую версию JAR.
Есть идеи, как это решить? Что означает «восстановление из устаревшего кэша границ региона»? похоже, это связано с проблемой
