Java jsoup използва нишки, които не работят [затворено]

Опитах това:

    ExecutorService executorService = Executors.newFixedThreadPool(5);
    List<Future<Void>> handles = new ArrayList<Future<Void>>();
    Future<Void> handle;
    for (int i=0;i < 12; i++) {
        handle = executorService.submit(new Callable<Void>() {

            public Void call() throws Exception {
                Document d = Jsoup.connect("http://www.google.hr").timeout(0).get();
                System.out.println(d.title());
                return null;
            }
        });
        handles.add(handle);
    }

    for (Future<Void> h : handles) {
        try {
            h.get();
        } 
        catch (Exception ex) {
            ex.printStackTrace();
        }
    }

    executorService.shutdownNow();

Завършва почти незабавно и отпечатва правилното заглавие. Може би имате проблем със защитната стена? („Връзката изтече“ означава, че сървърът изобщо не може да бъде достигнат)

РЕДАКТИРАНЕ:

използвах JSoup 1.7.1

РЕДАКТИРАНЕ^2:

AFAIK, това трябва да докаже, че няма проблеми с релацията JSoup - Thread, защото в крайна сметка използва нишки.

РЕДАКТИРАНЕ^3:

Освен това, ако сте зад прокси, ето как можете да зададете настройки за прокси.

РЕДАКТИРАНЕ^4:

public static Document connect(String url) {
    Document doc = null;
    try {
        doc = Jsoup.connect(url).timeout(0).get();
    } catch (IOException ex) {
        ex.printStackTrace();
    }
    return doc;
}

и функцията за повикване пренаписана:

public Void call() throws Exception {                    
    System.out.println(App.connect("http://www.google.hr").title());
    return null;
}

дава същия резултат. Единственото нещо, за което се сещам, е някаква косвена статична синхронизация, но това няма много смисъл, тъй като има изключение за TimeOut :/ моля, публикувайте код на нишка

РЕДАКТИРАНЕ:

Трябва да се махна за няколко часа. Тук всичките ми три класа пренаписани

• Приложение
• Съвпадение
• MatchWorker

все още работят, по-бавно, но работят. Определено бих препоръчал използването на фиксиран набор от нишки за подобряване на производителността.

Но мисля, че трябва да е проблем с мрежата. Късмет :)

РЕДАКТИРАНЕ:

Времето за изчакване на връзката означава, че целевият сървър изобщо не може да бъде достигнат. AFAIK, това означава, че (сървърът никога не е изпращан / клиентът никога не е получавал) TCP SYN+ACK съобщение.

Първото нещо, което може да се заключи е, че целевият сървър не е онлайн, но има още възможни причини за този проблем, една може да е, че целевият сървър е претоварен със заявки (в краен случай това е (D)DoS атака).

В момента сте опитали паралелен подход - всяка заявка е в отделна нишка:

1) Извършване на седемстотин заявки в 700 нишки (добре не седемстотин точно, но толкова, колкото може да поеме вашата операционна система)

2) Извършване на седемстотин заявки чрез набор от нишки от n‹‹700 нишки

Първо можете да опитате да поставите случайна форма за заспиване 0 - 10 s във всяка заявка

Thread.currentThread.sleep(new Random().nextInt(10000)) 

Но предвид резултатите досега, това вероятно няма да проработи. Следващото нещо е да замените паралелния с последователен подход, както споменахте в коментара - всяка заявка се изпълнява една след друга от вътрешността на for цикъла на една основна нишка. Можете също така да опитате да заспите произволно.

Това е най-нежният (най-бавният) начин, по който можете да вървите и ако това не работи, не знам как да го реша :(

РЕДАКТИРАНЕ:

Използвайки пул от нишки от 5 нишки, изтеглих успешно заглавията на 1141 футболни мача.

• Приложение
• Заявка

Логично е сайт от този вид да защитава своите данни, така че най-вероятно, докато вие разработвате и тествате (работете с толкова нишки, колкото можете да извикате многократно), тяхната система ви е идентифицирала (r IP) като робот, който иска всичките си данни и те очевидно не харесват, нито желаят това, така че ви забраниха. Те просто решиха дори да не откажат заявката ви, а да се правят на мъртви - оттук и времето за изчакване на връзката. Това вече има смисъл. уф :)

Ако това е правилно, трябва да можете да получите данните чрез прокси, но бъдете учтиви и използвайте набор от нишки от ‹ 10 нишки :)

Jsoup просто извиква HTTPUrlConnection за свързване. Това няма влияние върху това дали тази връзка е неуспешна. Нещата, които могат да повлияят са защитни стени и устройства за предотвратяване на DDOS. Не е изненадващо, че един уеб сайт отхвърля поток от едновременни връзки.