brasta

Sveiki,
 
Noriu pristatyt savo projektą, kurį vystau jau ketvirti metai.
 
Citify - Tavo miestas rytoj (Vilniaus projektų žemėlapis)
 
Facebooke: https://www.facebook.com/citify.eu/
 
 

 
 
Projektą pradėjau vystyti 2016 metais, idėjai kilus statybomis besidominčių bendraminčių rate. Principas paprastas: stebėti, rinkti ir viešinti informaciją apie visus stambesnius (t.y. išskyrus privačius namus arba mažus remontus) statybų projektus Vilniuje. Ir visą tai pateikti žemėlapio pavidale: taip galima greitai susidaryti įspūdį apie projektų mastą mieste. Žemėlapis buvo visiškai basic: ant Google Maps pagrindo ir su labai mažu kiekiu informacijos. Nepaisant to, per tuos metus susilaukė virš 400 tūkst. peržiūrų.
 
Tad praėjusių metų gale, po ilgų mėnesių darbo, kartu su kolega pristatėm Citify - tai atnaujintą senojo žemėlapio versiją. Atnaujintą ne tik dizaino prasme, bet su praplėstu funkcionalumu, gerokai daugiau informacijos ir didesniu patogumu. Projektas tapo startuoliu.
 
Taigi hobis tapo bandymu išsukti startuolį. Stebime, renkame ir patogiai pateikiame visą mums prieinamą informaciją apie mieste planuojamus, statomus ir baigtus projektus: daugiabučius, komercinius, parkus, infrastruktūrą ir visuomeninius objektus. Taip pat žymime ir renovuojamus pastatus bei renovuotus daugiabučius. Viskas yra su tikslu prisidėti prie projektų informacijos viešinimo - to, ko dabar ypatingai trūksta viešojoje erdvėje. Taip pat apie naujus pradedamus statyti objektus pranešame Facebook puslapyje, kur jau turime virš 6000 sekėjų. Smagu yra tai, kad jaučiame susidomėjimą iš visuomenės, bet taip pat mus jau pradeda pastebėti ir statytojai.
 
Paraleliai kviečiame visus lankytojus patiems pateikti informaciją apie projektus, kurių galbūt nėra žemėlapyje. Taip pat kelti statybų nuotraukas.
 
Taip pat renkame ir pateikiame informaciją, kuri yra aktuali verslo įmonėms. Bandome šią informaciją parduoti tam, kam ji yra aktuali. Pvz., kokiam nors medžiagų tiekėjui nebereikia kelių dienų per savaitę skirti informacijos rinkimui. Prisijungia pas mus ir mato viską vienoje vietoje, gali iš karto kontaktuoti su potencialiais tiekėjais. Verslo modelis sudėtingas išsukti, bet galbūt vienaip ar kitaip pavyks išjudėti.
 
Labai įdomu išgirsti minčių, patarimų, galbūt papeikimų :)

Man kaip iš vartotojo pusės kainos auto skelbimų tikrai žvėriškos atrodo, gal 10€ sumokėjau už 3 mėnesius. Dar kokie 1-2€ būtų normalų, na ir tas 10€ dar būtų nieko jei gautum kažką daugiau, kas greičiau padėtų parduoti auto, o dabar tiesiog eilinis skelbimas, bet alternatyvų nėra, kas iš to jei visokie autobiliai nemokami, bet ten labai mažai lankytojų, praktiškai nieko neparduosi.
Galvočiau pradėt nuo kažko nišinio, tarkim portalas skirtas kokiems ukrainiečiams, gal su kažkokia vertėjavimo paslauga, kad galėtum viską pateikt lietuviškai, o skelbime būtų rusų kalba ir t.t. Nes dabar dažnai jaunimas nemoka rusiškai, o ukrainiečiai ne visi kalba angliškai. Kažkokiu tarpininkavimu užsiimti.
Arba turėtų būti tokie auto, kurių nėra pagrindiniuose portaluose, tada būtų dėl ko užsukti lankytojams.
Arba pats mokėčiau dar ir daugiau nei 10€ jei būtų paslauga, kad atvažiuoja vadybininkas, profesionaliai nufotografuoja, padeda surašys visus privalumus, galbūt būtų sutartys su kokiu servisų tinklu, kad padarytų patikrą ir skelbime patvirtintų, kad viskas tikrai yra tvarkinga arba surašytų trūkumus. Būtų tai kas realiai padeda parduoti, o pirkėjui padeda sutaupyt laiko renkantis, nes atkristų visi laužai.

prieš keletą metų dariau servisą masinių SMS siuntimui SMPP protokolu (Short Message Peer-to-Peer
Protocol) per Bitę ir Omnitel. Pasirašai su operatoriumi sutartį dėl didmeninių sms, gauni prieigą per TCP prie jų SMS gateway ir go.
 
Jei prieini prie hardwaro ir tų sms nėra labai daug, tai gali prie kompiuterio-serverio jungti GSM modemą (stacionarus GSM telefonas arba paprasta sena mobilka), rašai apsą, kuris bendrauja su tuo aparatu greičiausiai per COM ir dirbi. Bet tai skaitau old school variantas, logiškiau ir paprasčiau integruotis su sms siuntimo paslaugas teikiančiais partneriais.

prieš keletą metų dariau servisą masinių SMS siuntimui SMPP protokolu (Short Message Peer-to-Peer
Protocol) per Bitę ir Omnitel. Pasirašai su operatoriumi sutartį dėl didmeninių sms, gauni prieigą per TCP prie jų SMS gateway ir go.
 
Jei prieini prie hardwaro ir tų sms nėra labai daug, tai gali prie kompiuterio-serverio jungti GSM modemą (stacionarus GSM telefonas arba paprasta sena mobilka), rašai apsą, kuris bendrauja su tuo aparatu greičiausiai per COM ir dirbi. Bet tai skaitau old school variantas, logiškiau ir paprasčiau integruotis su sms siuntimo paslaugas teikiančiais partneriais.

Visai sudomino tavo klausimas, tai užmečiau akį kaip tas avia.lt veikia.
 
Visų pirma, pabandžius JAVA ir JSoup, su kai kuriais puslapiais nėra problemų, pvz: https://avia.lt/pigus-skrydziai/ ištraukti skrydžius tereikia kelių eilučių:
 

Document doc = Jsoup.connect("https://avia.lt/pigus-skrydziai/").get(); Elements els = doc.select(".white_block > .smaller table div"); for (Element e: els) { System.out.println(e.text()); }
 
Dabar su paieškos puslapiu šiek tiek įdomiau - pažiūrėjus į jų dinamiškai gaunamus duomenis (chrome/firefox/opera: inspect element > network, filtruojam pagal XHR) ir atfiltravus visokį social ir trackingo šū** lieka jų kreipimasis į https://aviago.com.ua/includes/sr/get_offers.php, kuris pasirodo grąžina skrydžių duomenis json formatu! Pažiūrėjus užklausos formos siunčiamus duomenis, nieko ypatingo, tik galbūt session gali kelti problemų. Headeriai irgi neturėtų užkliūti. Taigi, permetam viską į bet kokį REST klientą (aš naudoju Postman, Chrome extension'ą) ir paleidžiam identišką užklausą su visais form parametrais. Viskas gražu, duomenys ateina ir be avia.lt pagalbos. Lieka session parametras, bet pabandžius be jo ir vėl viskas veikia:
 

 
Belieka peržiūrėti, kaip kainos atvaizduojamos tame json dokumente. Šiek tiek Ctrl+F ir galima susidaryti vaizdą:
 
flexibleOfferList.flexibleOffer turi duomenis apie pasiūlymus su kainomis, o pačiuose pasiūlymuose yra nuorodos į konkrečius skrydžius - flexibleOfferList.flexibleOffer.combinations.indexList laiko identifikatorius į sectorAvailabilityList.sectorAvailability.sectorAvailabilityId, kur laikomi tarpiniai skrydžiai.
 
Jei yra noro, galima viską susidėlioti į vietas (kelionės trukmę, skrydžių segmentus ir t.t.), o jei ne, tai išrūšiavus flexibleOfferList pagal kainą gaunam pigiausius skrydžius tai užklausai, o keičiant iata[1], iata[2], arrDate, depDate parametrus galima rasti viską, ko reikia.
 
Sėkmės scrapinant ;)