Duomenų rinkimas ir apdorojimas

Sveiki, turiu vieną įdėją, kurią norėčiau įgyvendinti per ateinančius keletą metų. Kodėl per ateinančius keletą metų? Todėl, kad ta įdeja vedama švietimo tikslų ir mano smalsumo, bei ties ja planuoju dirbti tik savo laisvalaikiu, kurio pastaruoju metu tikrai mažai. Man reikia jūsų patarimo apsisprendžiant kokias programines kalbas pasirinkti ją įgyvendinant. Šios įdėjos esmė - rinkti duomenis(iš interneto), juos apdoroti, o vartotojui pateikti tam tikras išvadas. Renkami duomenų kiekiai bus dideli, o duomenys apdorojami sudėtingų algoritmų pagalbą, tad pirmasis programinės kalbos privalumas būtų - greitis. Kadangi bus naudojami sudėtingi algoritmai duomenims apdoroti, vadinasi reikia ir galingų programinės kalbos bibliotekų(matematinė analizė ir įvairios teoremos), kurios galėtų palengvinti įgyvendinti mano įdėja.

Pirmoji mintis buvo naudoti tiesiog PHP Web Scrapingą duomenim traukti iš interneto, duomenis išsaugoti į Mysql duomenų bazę, juos vėliau apdoroti su tuo pačiu PHP, o išvadas išsaugoti taip pat į Mysql duomenų bazę, vėliau išvadas pateikti naršyklėje, šiek tiek jas apdorojus su jQuery biblioteka.. Tai man asmeniškai būtų pats lengviausias ir priimtiniausias variantas, tačiau abejoju ar tai pats geriausias pasirinkimas. Svarsčiau apie C++ ir Python kalbas, tačiau šios kalbos man yra visiškas žalias laukas, neturiu jokio suvokimo, kiek jos lanksčios ar greitos. Laukiu jūsų patarimų.

oracle, microsoft produktai skirti bussines inteligence

PHP galbūt netiks skaičiavimui. Visa kita be problemų, tiek mysql tiek php galima scalinti. Domenų sąrašą gali nusipirkti, 24$ man rodos jeigu neklystų, .com .net .org dar kelių kitų šalių. Būtų geriau, jeigu klausimas būtų specifiškesnis :)

Aš linkstu link C++. Tiesiog paimt C++ biblioteką web scrapinimui, ištraukt duomenis su ja, apdorot su tuo pačiu C++, išsaugot duomenis į Oraclą, tuomet duomenis ištraukt iš Oraclo duomenų bazės su php ir išvadas apipavidalint jquery pagalba.Bėja, domenų sąrašo man nereikia.

O jau žinai, kokio dydžio bus duomenys (nuo kiek iki kiek) ir kokio sudėtingumo algoritmus ketini naudoti (N, N^2, N^3, exp(N), ...)? Ar esi užtikrintas, kad nėra paprastesnių algoritmų užduotims įgyventinti? Va tokie pamąstymai galėtų lemti, ar tikrai reikės imti kokią nors žemesnio lygio kalbą, ar užteks ir tos pačios PHP. Kol kas galiu pasakyti, kad jeigu dideli duomenys yra iki kelių megabaitų, reikalingi apdorojimo algoritmai nėra sudėtingesni nei NlogN bei nebus daugybės sistemos naudotojų vienu metu, tai PHP + MySQL + jQuery visiškai užteks. Jeigu reikalavimai didesni, tada, be abejonės, reikėtų žvalgytis jau į C++, Oracle, o su PHP ir jQuery nebent apsiriboti tik duomenų surinkimu ir atvaizdavimu, bet ne apdorojimu.

O jau žinai, kokio dydžio bus duomenys (nuo kiek iki kiek) ir kokio sudėtingumo algoritmus ketini naudoti (N, N^2, N^3, exp(N), ...)? Ar esi užtikrintas, kad nėra paprastesnių algoritmų užduotims įgyventinti? Va tokie pamąstymai galėtų lemti, ar tikrai reikės imti kokią nors žemesnio lygio kalbą, ar užteks ir tos pačios PHP. Kol kas galiu pasakyti, kad jeigu dideli duomenys yra iki kelių megabaitų, reikalingi apdorojimo algoritmai nėra sudėtingesni nei NlogN bei nebus daugybės sistemos naudotojų vienu metu, tai PHP + MySQL + jQuery visiškai užteks. Jeigu reikalavimai didesni, tada, be abejonės, reikėtų žvalgytis jau į C++, Oracle, o su PHP ir jQuery nebent apsiriboti tik duomenų surinkimu ir atvaizdavimu, bet ne apdorojimu.

Dėkūi už patarimą. Teks apgalvot viską smulkiau.