Ieskau/perku Duomenu Bazes (nuorodas i mp3 failus)

Ieskau duomenu baziu/sarasu su linkais i egzistuojancius mp3 failus, linkai turetu buti tiesioginiai pvz.: adresas.com/muzika/daina.mp3,

Pirmenybe teigciau lietuviskai muzikai. Bet tinka visos (Lenkiskos, Latviskos, Kiniskos, Ispaniskos, Rusiskos, Angliskos).

Uz didelius kiekius linku galiu sumoketi, uz mazesnius galim ir kitaip susitarti. Pvz.: Nuoroda mano svetaineje i jusu svetaine ar pns.

Dainas renku http://mpfun.com puslapiukui :)

Dar sis tas:

Jeigu zinote svetainiu kur talpinama muzika ir paciose svetainese yra direct linkai i failus tai prasome pasidalinti :) Buciau labai dekingas.

Kad jau tingiu rinkt didelį kiekį, tai imk ir naudok į sveikatą https://github.com/silkuze/mp3crawler :)

Didelis dekui. As turiu susikures savo programa kuri 24h per para iesko dainu internete. Tik esme kad noriu greit ir daug.., o Lietuvisku dainu apskritai sunku rasti. :) Bet Aciu ;)

Lietuvišku dainu labai daug yra zippyshare.com, o kadangi tau reikia tiesioginio adreso, tai galetum pasirasyt skripta kuris is zippyshare siunciasi dainas ir kelia i kokia nors talpykla kuri tau tinka. Jei turi gera intika savo db tokiu budu galetum greitai papildyti.

Kad jau tingiu rinkt didelį kiekį, tai imk ir naudok į sveikatą https://github.com/silkuze/mp3crawler :)

"Usage is free for all users, up to 100 queries per day." Radau tai parasyta googlej apie ju CSE API. Taigi nedaugiau 100requestu per para. Mp3crawler naudojasi CSE.

"Usage is free for all users, up to 100 queries per day." Radau tai parasyta googlej apie ju CSE API. Taigi nedaugiau 100requestu per para. Mp3crawler naudojasi CSE.

Nori daugiau mokek :) jei gerai pamenu 1000 paiesku 5$

"Usage is free for all users, up to 100 queries per day." Radau tai parasyta googlej apie ju CSE API. Taigi nedaugiau 100requestu per para. Mp3crawler naudojasi CSE.

def search(self,
              query='',
              qcount=1,
              qnum=10,
              pagelimit=33,
              extension='mp3'):

Taip, tačiau MP3Crawler surastuose tinklalapiuose ieško tolesnių linkų, t.y. ieško rekursyviai, kol pasiekia pagelimit. Todėl vienoje paieškoje galima padaryt vos vieną (kaip yra defaultu) ar porą užklausų į google, o visa kita jau surenkama iš rastų puslapių sekant juose esančiais linkais.

Dėl įdomumo leidžiu paieška su viena query į google, keyword „Offspring“ (defaultinis pagelimit - 33):

>>> files = mp3.search('Offspring')
>>> len(files)
181

Čia dar gan nesėkminga paieška, jei padauginsim 181 * 100 = 18100 (tik/net?) :)

Pabandykim ką nors bendresnio:

>>> files = mp3.search('House') # muzikos stilius, ne serialas...
# tiesą sakant, paieška užtrunka visą amžinybę,
# kadangi puslapiuose būna dešimtys ar net šimtai
# neva mp3 linkų, kiekvienam dar reikia patikrint
# mimetype, kad įsitikintume, jog ne spaminiai... :)
>>> len(files)
389

Na, 389 * 100 = 38900. Kaip per dieną, neblogai :)

Didelis dekui uz pagalba :) Na bet siandien turejau laiko, tai pasidariau sioki toki bota kuris siuncia ieskoma fraze y pacia svetaine google.com, is ten pasiima rezultatu linkus ir taippat toliau seka nuorodomis kaip ir auksciau paminetas mp3crawler, dadejau papildomu funkciju, kad atmestu linkus su nepageidautinais zodziais ir tt. Na paieskos salygu galima prisigalvot daug :)

Veliau prijungsiu prie sito boto savo preito boto funkcijas kurios is remote dainos per ~1s gauna ID3 taga (Artist, Album, Title ir tt), bit rate, size.

Visumoje integravus toki scripta i dainu paieskos svetaine zmonems galetum per kelias sekundes pateikti rezultatu sarasa ne tik su linkais y dainas bet ir su issamesne informacija ir visam tam net savo duomenu bazes nereiketu.. :) O jei dar pafantazavus tai isvis vartotojuj atlikus paieska rasta informacija gali susisaugot i savo duomenu baze ir sekanti karta gavus tokia paieska rezultata galetum pateikti is savo DB jau akimirksniu:]

Didelis dekui uz pagalba :) Na bet siandien turejau laiko, tai pasidariau sioki toki bota kuris siuncia ieskoma fraze y pacia svetaine google.com, is ten pasiima rezultatu linkus ir taippat toliau seka nuorodomis kaip ir auksciau paminetas mp3crawler, dadejau papildomu funkciju, kad atmestu linkus su nepageidautinais zodziais ir tt. Na paieskos salygu galima prisigalvot daug :)

 

Veliau prijungsiu prie sito boto savo preito boto funkcijas kurios is remote dainos per ~1s gauna ID3 taga (Artist, Album, Title ir tt), bit rate, size.

 

Visumoje integravus toki scripta i dainu paieskos svetaine zmonems galetum per kelias sekundes pateikti rezultatu sarasa ne tik su linkais y dainas bet ir su issamesne informacija ir visam tam net savo duomenu bazes nereiketu.. :) O jei dar pafantazavus tai isvis vartotojuj atlikus paieska rasta informacija gali susisaugot i savo duomenu baze ir sekanti karta gavus tokia paieska rezultata galetum pateikti is savo DB jau akimirksniu:]

Aš irgi esu pasidaręs atskirai prie mp3crawler dar ir moduliuką, kuris skaito ID3 ir kiša į DB. Įdomu, kaip gauni per 1s tagą, juk reikia parsisiųst visą failą tam, kad nuskaityti, ar klystu?\

O šiaip DB bet kokiu atveju geriau, nes botas realtime taip greit nesuvaikščios per galybę saitų, nenuskaitys tiek tagų, o iš DB gali pateikti labaaai greitai :)

Aš irgi esu pasidaręs atskirai prie mp3crawler dar ir moduliuką, kuris skaito ID3 ir kiša į DB. Įdomu, kaip gauni per 1s tagą, juk reikia parsisiųst visą failą tam, kad nuskaityti, ar klystu?\

O šiaip DB bet kokiu atveju geriau, nes botas realtime taip greit nesuvaikščios per galybę saitų, nenuskaitys tiek tagų, o iš DB gali pateikti labaaai greitai :)

Man daug kas sake jog faila parsisiust reikia :) Beto php getID3 klase neveikia su remote url. Tai as isradau sava buda kaip nesisiuntus dainos nuskaityti ID3 taga ir su get ID3 biblioteka ji issifruoti ir pasiimti ka reikia.

O del mp3crawler, siulau pasidaryti lista priority urls ;] Pvz nusiskaitai 50rezultatu is google, o pasiimi narsymuj tik kokius 5-10 tuos kuriuose pats zinai jog galima rasti egzistuojanti linka. Tokiu budu sutaupysi laiko ieskodamas konkreciu dainu..

Man daug kas sake jog faila parsisiust reikia :) Beto php getID3 klase neveikia su remote url. Tai as isradau sava buda kaip nesisiuntus dainos nuskaityti ID3 taga ir su get ID3 biblioteka ji issifruoti ir pasiimti ka reikia.

 

O del mp3crawler, siulau pasidaryti lista priority urls ;] Pvz nusiskaitai 50rezultatu is google, o pasiimi narsymuj tik kokius 5-10 tuos kuriuose pats zinai jog galima rasti egzistuojanti linka. Tokiu budu sutaupysi laiko ieskodamas konkreciu dainu..

Gali pasidalinti savo būdu? Aš sugalvoju nebent tai, kad jei tagas failo pradžioj (ID3v2 gali būti nebūtinai ten), tai galima nuskaityt vos keletą pirmų failo kilobaitų :)

Gali pasidalinti savo būdu? Aš sugalvoju nebent tai, kad jei tagas failo pradžioj (ID3v2 gali būti nebūtinai ten), tai galima nuskaityt vos keletą pirmų failo kilobaitų :)

Ygzakly!As nuskaitau ~10kb, kad ir v2 tagas jei ne pradzioje visvien netoli pradzios =) Na nezinau retai papuolu ant egzistuojancios dainos is kurios negauciau ID3, kai testavau scripta tai siusdavausi dainas y kompa jei negaudavau ID3, kad paziuret ar jis isvis ten yra, tai jo kiek pamenu niekad ir nebudavo ID3 jei scriptas jo nerazdavo :) (Na del visa ko pikto galima siustis ir >10kb..)

Parsisiusta failo pradzia as saugau i temp failiuka su .mp3 ext. Ir poto leidziu darbuotis getID3 klasei.

Dainos dydi gauni is http head tago ar kaip ten ji pavadinti.

O dainos trukme getID3 biblioteka grazina bet grazina tik tokia kiek trunka grot tas tavo 10kb dainos (beto kaip ir dydi, grazina 10kb, todel dydi imi is head). Taigi trukme as apskaiciuoju pagal formule (dabar nepamenu) ten sudalini dainos dydi is kbps rate :)