HBase не съхранява всички записи

Имам 1,2 милиона записа в моята база данни MongoDB. И искам да съхраня всички тези данни в HBase програмно. По принцип се опитвам да поставя всеки извлечен запис в HBase в цикъл. След като операцията приключи, получих само 39912 записа в HBase.

Ето какво опитах:

Configuration config = HBaseConfiguration.create();
String tableName = "storedtweet";
String familyName = "msg";
String qualifierName = "msg";
HTable table = new HTable(config, tableName);
// using Spring Data MongoDB to interact with MongoDB
List < StoredTweet > storedTweetList = mongoDAO.getMongoTemplate().findAll(StoredTweet.class);
for (StoredTweet storedTweet: storedTweetList) {
    Put p = new Put(Bytes.toBytes(storedTweet.getTweetId()));
    p.add(Bytes.toBytes(familyName), Bytes.toBytes(qualifierName), Bytes.toBytes(storedTweet.getMsg()));
    table.put(p);
    table.flushCommits();
}

person talha06    schedule 27.08.2013    source източник
comment
Можете ли да проверите дали някои записи имат същия идентификатор на туит? Ако е така, по-късният запис ще замени предишния.   -  person zsxwing    schedule 27.08.2013
comment
благодаря ти много @zsxwing, мислех, че може би все още може да вмъква записи въпреки дублирането. Би било по-добре, ако публикувате този коментар като отговор, за да насочите другите. Тогава ще го маркирам като отговор на въпрос.   -  person talha06    schedule 27.08.2013


Отговори (1)


Моля, публикувайте и приемете решението, вместо да го поставяте във вашия въпрос. В противен случай този въпрос ще запази статуса на без отговор.
person zsxwing    schedule 27.08.2013