Web scrapping naudojant PHP

Nepasiruošes moket :D norėčiau pats išmokt pasidaryt

Tai ir mokinkis žiūrėk į pavyzdžius:

http://simplehtmldom.sourceforge.net/

Bet atkreipk dėmesį į http://simplehtmldom.sourceforge.net/manual_faq.htm "Problem with hosting"

Ikirtau šiek tiek kampą

    //simple html dom biblioteka
       include('simple_html_dom.php');

       //filmo url
       $url = 'http://www.imdb.com/title/tt0485947/';

       //gauname svetainės html
       $html = file_get_html($url);

       //gauname filmo reitingą
       $ratio = $html->find('span[itemprop="ratingValue"]', 0)->plaintext;
       $name = $html -> find('h1[itemprop="name"]', 0)->plaintext;
	$director = $html -> find('a[itemprop="director"]', 0)->plaintext;
	$description = $html -> find ('p[itemprop="description"]', 0)->plaintext;
	$actors = $html -> find ('a[itemprop="actors"]', 0)->plaintext;
	$poster = $html -> find ('img[itemprop="image"]', 0)->plaintext;

	echo $name;
	echo "<br />";
       echo $ratio;
	echo "<br />";
	echo $description;
	echo "<br />";
	echo $director;
	echo "<br />";
	echo $poster;

Niekaip tik neina išimt posterio paveikslėlio

Jei imdb yra uzdraustas scrappingas tai negalim tau padeti(nelabai legalu)

Ikirtau šiek tiek kampą

 

    //simple html dom biblioteka
       include('simple_html_dom.php');

       //filmo url
       $url = 'http://www.imdb.com/title/tt0485947/';

       //gauname svetainės html
       $html = file_get_html($url);

       //gauname filmo reitingą
       $ratio = $html->find('span[itemprop="ratingValue"]', 0)->plaintext;
       $name = $html -> find('h1[itemprop="name"]', 0)->plaintext;
	$director = $html -> find('a[itemprop="director"]', 0)->plaintext;
	$description = $html -> find ('p[itemprop="description"]', 0)->plaintext;
	$actors = $html -> find ('a[itemprop="actors"]', 0)->plaintext;
	$poster = $html -> find ('img[itemprop="image"]', 0)->plaintext;

	echo $name;
	echo "<br />";
       echo $ratio;
	echo "<br />";
	echo $description;
	echo "<br />";
	echo $director;
	echo "<br />";
	echo $poster;

Niekaip tik neina išimt posterio paveikslėlio

Jei imdb yra uzdraustas scrappingas tai negalim tau padeti(nelabai legalu)

http://stackoverflow.com/questions/1966503/does-imdb-provide-an-api

Su images reikia šiek tiek kitaip daryti:

$html->find('#main img', 0)->src .tačiau jeigu neveikia ant imdb tai net neverta naudoti, pasirink kokį kitą saitą

Ikirtau šiek tiek kampą

 

    //simple html dom biblioteka
       include('simple_html_dom.php');

       //filmo url
       $url = 'http://www.imdb.com/title/tt0485947/';

       //gauname svetainės html
       $html = file_get_html($url);

       //gauname filmo reitingą
       $ratio = $html->find('span[itemprop="ratingValue"]', 0)->plaintext;
       $name = $html -> find('h1[itemprop="name"]', 0)->plaintext;
	$director = $html -> find('a[itemprop="director"]', 0)->plaintext;
	$description = $html -> find ('p[itemprop="description"]', 0)->plaintext;
	$actors = $html -> find ('a[itemprop="actors"]', 0)->plaintext;
	$poster = $html -> find ('img[itemprop="image"]', 0)->plaintext;

	echo $name;
	echo "<br />";
       echo $ratio;
	echo "<br />";
	echo $description;
	echo "<br />";
	echo $director;
	echo "<br />";
	echo $poster;

Niekaip tik neina išimt posterio paveikslėlio

Manau tu rastum gatavą IMDB parser'į, kuris tau viską ištrauktų. Paieškok - tikrai rasi :)

Ikirtau šiek tiek kampą

 

    //simple html dom biblioteka
       include('simple_html_dom.php');

       //filmo url
       $url = 'http://www.imdb.com/title/tt0485947/';

       //gauname svetainės html
       $html = file_get_html($url);

       //gauname filmo reitingą
       $ratio = $html->find('span[itemprop="ratingValue"]', 0)->plaintext;
       $name = $html -> find('h1[itemprop="name"]', 0)->plaintext;
	$director = $html -> find('a[itemprop="director"]', 0)->plaintext;
	$description = $html -> find ('p[itemprop="description"]', 0)->plaintext;
	$actors = $html -> find ('a[itemprop="actors"]', 0)->plaintext;
	$poster = $html -> find ('img[itemprop="image"]', 0)->plaintext;

	echo $name;
	echo "<br />";
       echo $ratio;
	echo "<br />";
	echo $description;
	echo "<br />";
	echo $director;
	echo "<br />";
	echo $poster;

Niekaip tik neina išimt posterio paveikslėlio

Tyngiu nagrinet, bet del posterio greiciausiai bus linkas kaltas. Paziurek koki img kelia isveda.

<?php
       //simple html dom biblioteka
       include('simple_html_dom.php');

       //filmo url
       $url = 'http://www.imdb.com/title/tt0485947/';

       //gauname svetainės html
       $html = file_get_html($url);

       //gauname filmo reitingą
       $ratio = $html->find('span[itemprop="ratingValue"]', 0)->plaintext;

       echo $ratio;
?>

 

Štai ir veikia, tereikia biški programuoti mokėti

Dabar gal pasirodys juokinga, bet man kažkas nesigauna su tokiu paprastu pavyzdžiu:

Nesuprantu kodėl reikia include'inti simple_html_dom.php ar aš turiu specialiai tokį failą taip pat susikurti? Ar jame reikia kažką įrašyti ar jis kaip kažkokia duomenų saugykla bus naudojamas?

Dar man meta klaidą 9 eilutėje, kur yra

$html = file_get_html($url);

Ką aš čia ne taip suprantu ir kodėl pas mane kreivai gaunasi?

Reikia iš čia http://simplehtmldom.sourceforge.net/ parsisiųsti šitą klasę ir įdėti į savo servą.