Може ли Solr да обработва импортиране на данни от таблици като table1,table2,tableN?

Имам mysql db и таблиците с данни, наименувани според правилото за шардинг, което означава, че името има същия префикс, напр.: the_table_, и има номер за суфикс, така че името на таблицата ще бъде the_table_1,the_table_2,the_table_3. Когато искаме да изберем ред, трябва да намерим суфикса на таблицата от sql select mod(primary_key_id, 64)+1, правилото за шардинг, а 64 е основно число, което означава, че имаме 64 таблици.

Сега искаме да използваме Solr за индексиране на данните в таблиците, но solr data-config.xml не може да поддържа sql заявка с динамично име, така че има ли някакво предложение за отстраняване на този проблем?

Неща като това?

<entity name="audit" 
        query="select id,monitor_type,city,STATUS,is_history,timeout,author,author_uid,author_ip,operator_uid,operator,created_at,description from `main_table`">
        <field column="ID" name="id" />
        <field column="MONITOR_TYPE" name="monitor_type" />
        <field column="CITY" name="city" />
        <field column="STATUS" name="status" />
        <field column="IS_HISTORY" name="is_history" />
        <field column="AUTHOR" name="author" />
        <field column="AUTHOR_UID" name="author_uid" />
        <field column="AUTHOR_IP" name="author_ip" />
        <field column="OPERATOR_UID" name="operator_uid" />
        <field column="OPERATOR" name="operator" />

        <entity name="distribution" query="select mod(${audit.ID}, 256)+1 as table_id">
          <entity name="details" query="select content from detail${distribution.table_id} where id=${audit.ID}">
            <field column="CONTENT" name="content" />
          </entity>
        </entity>
</entity>


dynamic solr data-import
person Eric_Chen    schedule 24.07.2012    source източник
comment
Обмисляли ли сте да използвате MySQL View за подготовка на данни за Solr?   -  person Marko Bonaci    schedule 24.07.2012
comment
Опитвали ли сте да използвате контейнери? Нещо като ${dataimporter.tablename} и предавате параметъра tablename, докато извиквате url адреса за импортиране на данни.   -  person javanna    schedule 24.07.2012

Отговори (2)


arrow_upward
1
arrow_downward

Бих създал съхранена процедура, която да прави това, което искате, и след това да я извикам от Solr. Нещо като това

CREATE PROCEDURE `GetAuditDetails`(IN auditID INT)
BEGIN
  DECLARE tableID INT DEFAULT 0;
  DECLARE sqlString VARCHAR(100) DEFAULT '';
  SELECT MOD(auditID, 256)+1 INTO tableID;
  SET @sqlString = CONCAT('select content from detail', tableID, ' where id=', auditID );
  PREPARE stmt FROM @sqlString;
  EXECUTE stmt;
END;

<entity name="audit" 
    query="select id,monitor_type,city,STATUS,is_history,timeout,author,author_uid,author_ip,operator_uid,operator,created_at,description from `main_table`">
        <field column="ID" name="id" />
        <field column="MONITOR_TYPE" name="monitor_type" />
        <field column="CITY" name="city" />
        <field column="STATUS" name="status" />
        <field column="IS_HISTORY" name="is_history" />
        <field column="AUTHOR" name="author" />
        <field column="AUTHOR_UID" name="author_uid" />
        <field column="AUTHOR_IP" name="author_ip" />
        <field column="OPERATOR_UID" name="operator_uid" />
        <field column="OPERATOR" name="operator" />

        <entity name="details" query="CALL GetAuditDetails(${audit.ID})">
           <field column="CONTENT" name="content" />
        </entity>
</entity>
person Evan    schedule 24.07.2012
comment
Въпреки че има нещо нередно с mysql процедурата, но тя наистина решава проблема ми...благодаря Евън... - person Eric_Chen; 27.07.2012

arrow_upward
0
arrow_downward

Първо, той не трябва да използва audit.ID във вложената заявка за запис, а ${audit.id}, в противен случай ще има изключение. Второ, за Mysql процедура:

CREATE PROCEDURE `GetAuditDetails`(IN auditID INT)
BEGIN
  DECLARE tableID INT DEFAULT 0;
  DECLARE sqlString VARCHAR(100) DEFAULT '';
  SELECT MOD(auditID, 256)+1 INTO tableID;
  SET @sqlString = CONCAT('select content from detail', tableID, ' where id=', auditID );
  PREPARE stmt FROM @sqlString;
  EXECUTE stmt;
END;
person Eric_Chen    schedule 27.07.2012