Reikia teorinio patarimo dėl XML duomenų išgavimo iš kitų svetainių

Turiu tokį projektą, kurio duomenų bazę turi sudaryti info iš kitų svetainių. Kitos svetainės specialiai tam reikalui perduoda duomenis per XML.

Viskas atrodo lyg ir paprasta. Turiu gerą idėja kaip padarysiu pastovų "updeita" su Cron Jobs, bet problema kad kiekvienos svetainės XML failas yra mažiausiai 50MB dydžio.

Iš pradžių galvojau naujinti kartą per dieną, bet dabar manau max. kartą per savaitę atsinaujinimą daryt.

Gal kas turi patarimų kaip optimaliau tuos duomenis pasiimti?

Iš anksto dėkoju.

Manau tokiam dalykui reiktų pasiimti min vds'ą. Kaip variantas dali būti prie esamų duomenų tik dadėti per atnaujinimą kiek kitoje svetainėje yra duomenų.

Bandyk išvengti tuščio bylų siuntimosi, kai jose nėra naujų duomenų, tikrindamas headers (Last Modified, Expires, eTag), ir naudok cache: išsaugok atsisiųstų bylų naujausias kopijas ir atsisiuntęs kitąsyk prieš pradėdamas analizuoti duomenis, patikrink, ar byla pasikeitusi nuo praėjusio karto.

http://stackoverflow...for-polling-rss

Bandyk išvengti tuščio bylų siuntimosi, kai jose nėra naujų duomenų, tikrindamas headers (Last Modified, Expires, eTag), ir naudok cache: išsaugok atsisiųstų bylų naujausias kopijas ir atsisiuntęs kitąsyk prieš pradėdamas analizuoti duomenis, patikrink, ar byla pasikeitusi nuo praėjusio karto.

 

http://stackoverflow...for-polling-rss

Ok, bet jei aš išsaugosiu duomenu kopija pas save, ja patikrinsiu pries tikrinant svetaineje, ar man vistiek neteks pereiti svetaineje per visus irasus?

Ok, bet jei aš išsaugosiu duomenu kopija pas save, ja patikrinsiu pries tikrinant svetaineje, ar man vistiek neteks pereiti svetaineje per visus irasus?

Nežinau, ar teisingai supratau tavo klausimą, bet aš daryčiau taip kaskart atėjus XML atsisiuntimo laikui:

1. Tikrini bylos headers: jei gauni sėkmingai ir rodo, kad modifikavimo data yra senesnė nei tavo paskutinis tikrinimas - tos bylos net nesisiunti - praleidi
2. Jei headers negauni ar jie rodo, jog turinys galėjo būti atnaujintas (pvz., expired), tuomet atsisiunti bylą, bet prieš ją atidarydamas (eidamas per visus įrašus iš eilės) į kintamąjį imi atsiųstos bylos dydį ir palygini, ar tos bylos senesnė kopija užima ne idealiai tiek pat baitų. Jeigu tiek pat - reiškia, nieko naujo, ir net neverta jos atsidaryti (sutaupai resursų)

Dėkui už patarimus.

Kernius, bet problema jog jie nesiunčia niekur Last Modified informacijos XML failuose.

Kas dar blogiau, failai updeitinasi, KIEKVIENA DIENA.

Kalbant konkrečiai, kalba eina apie NOVATURO XML.

Kernius, bet problema jog jie nesiunčia niekur Last Modified informacijos XML failuose.

Kas dar blogiau, failai updeitinasi, KIEKVIENA DIENA.

 

Kalbant konkrečiai, kalba eina apie NOVATURO XML.

Jei nera nei id nei timestamp'o, nei datos nera jokios kitos galimybes kaip tik kasdien pvz vidurnakti viska pernauja perasyt. Pats juk supranti jei nera kazko pagal ka galetum orentuotis apie to yraso atnaujinima tu jo neatnaujinsi. Dar ziurint kaip tu viska nori padaryt, kokie butent ten duomenys yra pateikti ? Cia detalumo reik....

Jei nera nei id nei timestamp'o, nei datos nera jokios kitos galimybes kaip tik kasdien pvz vidurnakti viska pernauja perasyt. Pats juk supranti jei nera kazko pagal ka galetum orentuotis apie to yraso atnaujinima tu jo neatnaujinsi. Dar ziurint kaip tu viska nori padaryt, kokie butent ten duomenys yra pateikti ? Cia detalumo reik....

Na, kaip Kernius sakė, galima tikrinti pagal failo dydį. Bet vistiek nujaučiu kad nebus kito sprendimo kaip tik tikrinti kaskart pilnai failus. Teks serverį keisti.