Парсинг простой страницы javascript

Самый простой способ (хотя, возможно, и не самый лучший) — использовать селен/ватир. В рубине я бы сделал:

require 'watir-webdriver'
require 'csv'
@browser = Watir::Browser.new
@browser.goto 'http://www.oddsportal.com/matches/soccer/'
CSV.open('out.csv', 'w') do |out|
    @browser.trs(:class => /deactivate/).each do |tr|
        out << tr.tds.map(&:text)
    end
end

Если они используют Javascript для получения данных из службы и рендеринга их в DIV, W3M не покажет обновленный div с этими данными, потому что он не поддерживает Javascript.

У вас есть два варианта:

• Выполните обратный инжиниринг их Javascript, чтобы узнать, откуда поступают данные, и посмотрите, сможете ли вы запросить этот источник данных напрямую, чтобы получить XML или JSON, которые они используют для обновления DIV. Тогда вы можете полностью пропустить очистку. Однако они могут не захотеть, чтобы вы это делали, и могли защитить источник данных, чтобы предотвратить это. А может и не было.

• Используйте браузер, который выполняет Javascript, прежде чем начать парсинг. Таким образом, у вас будет div, заполненный данными. W3M-js может сделать это для вы или вы можете попробовать что-то еще (lynx или ссылки). Этот вопрос кажется связанным.

ETA: Может быть, здесь поможет PhantomJS?