Webscrapping kai naudojamas JS

Sveiki, norėjau paklausti, su kuo ir kai būtų galima nu'scrapp'inti informaciją iš puslapio, kurios turinys yra keičiamas Javascript'u?

T.y. užkrovus pusląpį, norint pamatyti kažkokią puslapio dalį (tą kurią noriu nuscrapinti), turi būti paspaudimas ant kažkokio elemento ir tik tada atsiranda ta informacija.

Paparsciau surasti is kur krauna.

http://phantomjs.org/

Gal gal example koki numest? Nes nelabai matau, kad sis dalykas tiktu.

Galima butu analizuot JS'a ir ziuret, bet man reikia, kad kazkokiu budu butu tarkim inicijuojamas paspaudimas, o poto nuskaitoma puslapio informacija :)

Jei javascript tai kokį nors selenium arba pati paminėta phantomjs.

Čia kažkoks yra example: http://code4node.com/snippet/web-scraping-with-node-and-phantomjs

Aš paprastai kuris content'as užloadinamas pasiemu, ieškau sprendimo, kaip pasiimti turinį, kuris reikalauja kažkokio tai veiksmo. Tarkime paspaudimo ant kažkokio mygtuko ir paspaudus jį yra info atnaujinama.

var page = require('webpage').create();
page.open('http://www.sample.com', function() {
 page.includeJs("http://ajax.googleapis.com/ajax/libs/jquery/1.6.1/jquery.min.js", function() {
   page.evaluate(function() {
     $("button").click();
   });
   phantom.exit()
 });
});

Kaip tik į temą. Kaip nuscrapinti visas lentas info.odontologurumai.lt ?

Dar būtų geriau kažkoks servisiukas, kuris periodiškai monitorintų ar duomenysė nėra pasikeitimų.

Kaip tik į temą. Kaip nuscrapinti visas lentas info.odontologurumai.lt ?

 

Dar būtų geriau kažkoks servisiukas, kuris periodiškai monitorintų ar duomenysė nėra pasikeitimų.

Paprasčiausiai, tai kreiptis į endpoint'ą su json requestu. (http://info.odontologurumai.lt/ExtDirect/).

Edit, pabandžiau:

{
  "action":"InSite_Ldc_Informacija",
  "method":"Spaudai",
  "data":[
     {
        "filter":{
           "name":"",
           "stamp_no":"",
           "pgroup":{

           }
        },
        "page":1,
        "start":0,
        "limit":50,
        "sort":[
           {
              "property":"name",
              "direction":"ASC"
           }
        ]
     }
  ],
  "type":"rpc",
  "tid":3,
  "token":"6f268a46636db70b69530ef39c5b5a472d6cccd2d7692166b1d7e620ff046a94"
}

bet dėl tokeno tikriausiai nerodo