Java jsoup с использованием потоков не работает

Я пробовал это:

    ExecutorService executorService = Executors.newFixedThreadPool(5);
    List<Future<Void>> handles = new ArrayList<Future<Void>>();
    Future<Void> handle;
    for (int i=0;i < 12; i++) {
        handle = executorService.submit(new Callable<Void>() {

            public Void call() throws Exception {
                Document d = Jsoup.connect("http://www.google.hr").timeout(0).get();
                System.out.println(d.title());
                return null;
            }
        });
        handles.add(handle);
    }

    for (Future<Void> h : handles) {
        try {
            h.get();
        } 
        catch (Exception ex) {
            ex.printStackTrace();
        }
    }

    executorService.shutdownNow();

Он заканчивается почти сразу и печатает правильный заголовок. Возможно, у вас проблема с брандмауэром? («Время ожидания соединения истекло» означает, что сервер вообще не был доступен)

РЕДАКТИРОВАТЬ:

я использовал JSoup 1.7.1

РЕДАКТИРОВАТЬ^2:

Насколько я знаю, это должно доказать, что в отношении JSoup - Thread нет проблем, потому что в конце концов он использует потоки.

РЕДАКТИРОВАТЬ^3:

Кроме того, если вы находитесь за прокси-сервером, здесь как вы можете установить настройки прокси.

РЕДАКТИРОВАТЬ^4:

public static Document connect(String url) {
    Document doc = null;
    try {
        doc = Jsoup.connect(url).timeout(0).get();
    } catch (IOException ex) {
        ex.printStackTrace();
    }
    return doc;
}

и функция вызова переписана:

public Void call() throws Exception {                    
    System.out.println(App.connect("http://www.google.hr").title());
    return null;
}

дает тот же результат. Единственное, о чем я могу думать, это какая-то неявная статическая синхронизация, но это не имеет особого смысла, так как есть исключение TimeOut: / пожалуйста, опубликуйте код потока

РЕДАКТИРОВАТЬ:

Придется уйти на пару часов. Здесь все три моих класса переписаны

• Приложение
• Соответствие
• MatchWorker

все еще работают, медленнее, но работают. Я определенно рекомендую использовать фиксированный пул потоков для повышения производительности.

Но я думаю, что это должна быть проблема с сетью. Удачи :)

РЕДАКТИРОВАТЬ:

Превышение времени ожидания подключения означает, что конечный сервер вообще недоступен. Насколько я знаю, это означает, что (сервер никогда не отправлял / клиент никогда не получал) TCP Сообщение SYN+ACK.

Первое, что можно сделать, это то, что сервер назначения не подключен к сети, но есть больше возможных причин этой проблемы, одна из них может состоять в том, что сервер назначения перегружен запросами (в крайнем случае это (D)DoS-атака).

В настоящее время вы пробовали параллельный подход - каждый запрос находится в своем потоке:

1) Делаем семьсот запросов в 700 потоков (ну не семьсот на самом деле, а столько, сколько может выдержать ваша ОС)

2) Выполнение семисот запросов через пул из n‹‹700 потоков.

Сначала вы можете попробовать поместить случайную форму сна 0–10 с в каждый запрос.

Thread.currentThread.sleep(new Random().nextInt(10000)) 

Но, учитывая результаты на данный момент, это, вероятно, не сработает. Следующим шагом является замена параллельного последовательного подхода, как вы упомянули в комментарии, - каждый запрос выполняется один за другим из цикла for одного основного потока. Еще можно попробовать поставить случайный сон.

Это самый мягкий (самый медленный) способ, которым вы можете воспользоваться, и если это не сработает, я не знаю, как это решить :(

РЕДАКТИРОВАТЬ:

Используя пул из 5 потоков, я успешно загрузил названия 1141 футбольного матча.

• Приложение
• Запрос

Для сайта такого рода логично защищать свои данные, поэтому, скорее всего, пока вы занимаетесь разработкой и тестированием (используя столько потоков, сколько вы можете вызвать неоднократно), их система идентифицировала вас (r IP) как краулер, которому нужны все их данные, и им это явно не нравится и не нужно, поэтому они забанили вас. Они просто решили даже не отказать в вашем запросе, а прикинуться мертвыми - отсюда и тайм-аут соединения. Теперь это имеет смысл. Фу :)

Если это правильно, вы сможете получить данные через прокси, но будьте вежливы и используйте пул потоков из ‹ 10 потоков :)

Jsoup просто вызывает HTTPUrlConnection для подключения. Это не влияет на то, произойдет ли сбой этого соединения. На это могут повлиять брандмауэры и устройства предотвращения DDOS. Неудивительно, что веб-сайт отвергает поток одновременных подключений.