В JDBC размерът за извличане по подразбиране е 10, но предполагам, че това не е най-добрият размер за извличане, когато имам милион реда. Разбирам, че твърде нисък размер на извличане намалява производителността, но също и ако размерът на извличане е твърде висок.
Как мога да намеря оптималния размер? И това оказва ли влияние върху страната на DB, изяжда ли много памет?
Както при (почти) всичко, начинът да намерите оптималния размер за определен параметър е да сравните работното натоварване, което се опитвате да оптимизирате с различни стойности на параметъра. В този случай ще трябва да стартирате кода си с различни настройки за размер на извличане, да оцените резултатите и да изберете оптималната настройка.
В по-голямата част от случаите хората избират размер на извличане от 100 или 1000 и това се оказва сравнително оптимална настройка. Разликата в производителността между стойностите в този момент обикновено е доста минимална - бихте очаквали, че по-голямата част от разликата в производителността между изпълненията е резултат от нормална произволна вариация, а не причинена от промени в размера на извличане. Ако се опитвате да получите последната йота от производителността за определено работно натоварване в определена конфигурация, със сигурност можете да направите този анализ. За повечето хора обаче 100 или 1000 е достатъчно.
Ако вашите редове са големи, тогава имайте предвид, че всички редове, които извличате наведнъж, ще трябва да се съхраняват в Java heap във вътрешните буфери на драйвера. В 12c Oracle има VARCHAR(32k) колони, ако имате 50 от тях и те са пълни, това са 1 600 000 знака на ред. Всеки символ е 2 байта в Java. Така че всеки ред може да заема до 3,2 MB. Ако извличате редове 100 на 100, тогава ще имате нужда от 320 MB памет за съхранение на данните и това е само за един оператор. Така че трябва да увеличите размера на предварителното извличане на редове само за заявки, които извличат разумно малки редове (малък размер на данните).
Стойността по подразбиране на свойството JDBC fetch size е специфична за драйвера и за драйвера на Oracle тя наистина е 10.
За някои заявки размерът на извличане трябва да е по-голям, за някои по-малък.
Мисля, че добра идея е да зададете някакъв глобален размер на извличане за целия проект и да го презапишете за някои индивидуални заявки, където трябва да е по-голям.
Вижте тази статия:
http://makejavafaster.blogspot.com/2015/06/jdbc-fetch-size-performance.html
има описание как да настроите размера на извличане глобално и да го презапишете за внимателно подбрани заявки, като използвате различни подходи: Hibernate, JPA, Spring jdbc шаблони или основен jdbc API. И някои прости бенчмаркове за база данни на oracle.
Като правило можете да:
JDBC има размер на предварително извличане по подразбиране 10. Вижте OracleConnection.getDefaultRowPrefetch в JDBC Javadoc
0заfetchSizeозначава, че драйверът е свободен да избере собствената си стойност по подразбиране (въпреки че драйверът е свободен да игнорира подсказката ви, ако го зададете и на нещо различно от0). - person Mark Rotteveel schedule 09.06.2015