PHP Crawleris masei nuorodų

Gan ilgą laiką bandžiau padaryt veikiantį crawlerį per PHP Dom parserį, kad galėtu skanuot daug nuorodų ( www.web.com/artc_id=$id&article.

Bet galiausiai nieko neišėjo. Gal turite pasiūlyt kokia gerą biblioteką arba scriptą, kad galima būtų crawlint daug tokių pačių nuorodų su skirtingais ID ? Arba jei kas esat susidūrę su php dom parseriu, gal žinot kaip padaryt, kad crawlintu nuorodas.

Apačioj pavyzdis ką bandžiau daryt, bet esmė, kad kai ėmi webs.htm failą, tai jis į $html įrašo puslapius kaip tekstą ir nieko nesigauna, tuo tarpu jei tiesiai nuoroda rašai, tai gali searchint div ir t.t.

<?php
include_once('simple_html_dom.php');
$html = new simple_html_dom();
$html = file_get_html('http://delfi.lt'); or $html = file_get_html('webs.htm');

echo $html;

?>

tai pirma nusiurbk puslapį su cURL tada gautą source kodą jau naudok savo simple_html_dom klasėje.