Delfi, 15min ir panasiu tinklapiu API

Sveiki, nusprendziau pasimokinti tinklapiu kurimo. Anksciau esu dirbes su Java, Android, C# technologijomis. Nusprendziau isbandyti ASP.NET ir suskikurti labai paprasta tinklapi. Esme ta kad man reikia is tokiu tinklapiu kaip delfi, 15min, lrytas ir t.t. kazkokiu random budu paimti ju straipsnius ir gauti paveiksliuka, pavadinima ir labai trumpa aprasymas (summary) LYGIAI TAIP PAT daro facebookas. Kiek ziurejau nei delfi, nei 15 min tokio API neturi. Ar toks dalykas realiai yra igyvendinamas? Kaip toki dalyka yra padares facebookas? Dekui uz atsakymus :)

web scraping

RSS..

Nesu 100% tikras, bet greičiausiai FB naudoja Open Graph protocol, kuris leidžia labai lengvai rasti straipsnio aprašymą.

Pavyzdžiui, jeigu atsidaręs delfi.lt atsidarytum straipsnį ir patikrintum source code (paspaustum dešinį pelės klavišą ir "View source" arba tiesiog ctrl+u), tai head'o meta tag'uose galėtum matyti og property, kurie nurodo aprašymą, paveikslėlio adresą ir pan.

Delfi.lt pavyzdys:

http://www.part.lt/img/abddb59902f4ca84143661d46c4c6f11641.png

Dar orientavimuisi padeda itemprop atributai:

Dekui, tas Open Graph protocol labai jau geras dalykas atrodo :) tik klausimas kaip apeiti ar ymanoma kazkaip apeiti tam tikra tarkim delfi.lt straipsniu skaiciu? Nes dabar as butinai turiu ilysti i straipsio vidu, kad galeciau isparsinti atitinkama informacija. O butu labai gerai jei visa tai butu automatizuota.

Scrape'ini home puslapi delfi atveju http://delfi.lt issitrauki linkus i straipsnius, tada juos webscrapini ir istrauki informacija reikalinga, tavo atveju opengraph tag'us ir juose esancia info. Bet velgi manau RSS daug paprasciau, visi praktiskai naujienu portalai turi rss, sutaupysi laiko, nes reikes tik viena request'a daryti, ir visi duoda praktiskai ta pacia info (nuotraukos url, trumpas aprasymas, data, nuoroda i straipsni) isskyrus manrodos lrytas.lt, jis neduoda nuotraukos. Tik viena problema su RSS jog daznai skirtingi portalai pateikia nuotraukas vis kitaip ir reikia apsirasyti special case. PVZ. 15min nuotrauka turi tarp description, ir visas description yra parasytas kaip HTML. Delfi nuotraukas pateikia tarp <media> tag'o ir taip pat duoda pilnos kokybes bei thumbnail kokybes nuotraukas.

RSS saltiniai:

Delfi

15Min

MAn irgi atrodo, kad protingiau būtų daryti per RSS. O jeigu truks kažkokios informacijos, visada gali nucurlint į straipsnį ir išsitraukti papildomai.