184 odpovědí na toto téma

[LudekV]

@HaLuMa - asi je to blbost, ale tak mě napadá, jak parsuješ GPX. Pokud to procházíš sekvenčně, neměl by být problém ani u takhle velkého souboru, ale jestli se staví DOM v paměti, tak to bude žrát hodně paměti a místo může zabírat rostoucí pagefile. Ale to ji je určitě jasné.

[Kreten8]

pagefile to nebude neboť ho mám s pevně danou velikostí a na jiném disku, než je c: a d:

[HaLuMa]

@HaLuMa - asi je to blbost, ale tak mě napadá, jak parsuješ GPX. Pokud to procházíš sekvenčně, neměl by být problém ani u takhle velkého souboru, ale jestli se staví DOM v paměti, tak to bude žrát hodně paměti a místo může zabírat rostoucí pagefile. Ale to ji je určitě jasné.

 

Nene, cele GPX se tam opravdu do pameti nenacita. Bere se to postupne.

[vkvkvk]

Nene, cele GPX se tam opravdu do pameti nenacita. Bere se to postupne.

Že by memory leak?

[HaLuMa]

Memory leaky si opravdu hlidam.

Navic, jakym mechanizmem by memory leak na chvili vyrabel obrovsky docasny soubor do tempu, to umis vysvetlit?

[vkvkvk]

Navic, jakym mechanizmem by memory leak na chvili vyrabel obrovsky docasny soubor do tempu, to umis vysvetlit?

Pravda, ten by nafukoval pagefile.

[mikrom]

tak "disk leak"

[dejwy]

Tak jsem si vyzkoušel import PQ GPX s cca 20000 keškami (ca 250 MB) do GG a sledoval jsem to přes Process Monitor na Win7:

 

1/ Zdrojové GPX je čteno z disku po 16 kB blocích.

2/ GG si vytvoří v %temp% složce dočasný soubor (u mne C:\Users\dejwy\AppData\Local\Temp\etilqs_cpfh582VZAULSXJ) do kterého zapisuje po 4kB blocích cosi.

...

WriteFile; C:\Users\dejwy\AppData\Local\Temp\etilqs_cpfh582VZAULSXJ; SUCCESS; Offset: 10 188 504, Length: 4 096

...

 

3/ Paralelně se zapisuje do narůstajícího *.db3 souboru (u mne cca 129 MB po 4 kB blocích) a jakmile je to dokončeno je dočasný soubor z %temp% složky uzavřen (Close File)

 

Tolik k nutnosti mít místo na disku, kde je umístěna složka %temp%

Tento příspěvek byl upraven od dejwy: 23 únor 2017 - 21:23

[HaLuMa]

Onen velky soubor v tempu je docasny soubor pro sqlite (etilqs na zacatku toostatne dost vymluvne naznacuje...) Musim projit v to importu vsehcny databazove operace, abych objevil ty, ktere vyprovokuji sqlite k vyrobeni takhle velkych docasnych dat. Kdyz se to podari eliminovat, mohlo by byt odmenou i dosti vyrazne zrychleni.

[HaLuMa]

nechci to zakriknout, ale asi se mi podarilo ten docasny soubor v Tempu zcela eliminovat. (tedy ne presunout jinam, ale ze se opravdu vubec nedela...) Snad zitra nenajdu nejaky zadrhel...

[dejwy]

HaLuMa ... a ma to i nějaký vedlejší efekt, třeba urychlení?

[HaLuMa]

Teoreticky ano, ale protoze mam temp na rychlem SSD, tak to poznat neni.

[Arne1]

Bylo by príma kdyby to bylo ono! Jak se tak dívám do historie, tak první upozornění na tuto chybu (nebo feature) jsem psal začátkem dubna 2014

[HaLuMa]

chyba to urcite neni, je to vlastnost sqlite. Jen se ted vic snazim mu k tomu nedat prilezitost.

On se ten temp jeste i ted muze za urcitych okolnosti vytvorit, ale je alespon o dost mensi, a pri beznem pouzivani k tomu zpravidla ani nedojde.

[Roman_Jaromer]

Jen se zeptám, je normální, že při zadávání WP ke keši se mi GG zadrhne třeba na 10-20 vteřin? Dělá mi to hlavně na PC s normálním (tedy ne SSD diskem). U PC s SSD diskem to moc nepozoruji, tam je GG daleko rychlejší...

Hlavně to dělá, když si přidávám do popisu WP nějaké informace. (jsem líný si to dopisovat do popisu keše, protože by to znamenalo kliknout několikrát navíc, tak si to většinou ukládám (vyluštěné indície atp.) k finálnímu WP.)

[HaLuMa]

to normalni neni. Nic takoveho u sebe nepozoruji.

[gord]

Bezne si pridavam k WP informace (rekneme do 200 znaku) a zadne zdrzeni nepozoruji.

Tento příspěvek byl upraven od gord: 02 březen 2017 - 12:10

[Arne1]

Jak kdy - někdy zdržení pozoruju a za chvíli zase ne

[dr.vota]

Jen se zeptám, je normální, že při zadávání WP ke keši se mi GG zadrhne třeba na 10-20 vteřin? Dělá mi to hlavně na PC s normálním (tedy ne SSD diskem). U PC s SSD diskem to moc nepozoruji, tam je GG daleko rychlejší...

Hlavně to dělá, když si přidávám do popisu WP nějaké informace. (jsem líný si to dopisovat do popisu keše, protože by to znamenalo kliknout několikrát navíc, tak si to většinou ukládám (vyluštěné indície atp.) k finálnímu WP.)

to mám taky...patrně se to bude víc projevovat u velké databáze, a když se přidává..

Vyplníš něco WP, nebo přidáš Final, to je hned, pak zavřeš a....čekáš, disk svítí naplno...

Když to pak ožije a přidává se další, tak už to třeba jde rychle...jak kdy

[gord]

Jak velka je "velka databaze"? S velikosti to podle me nic spolecneho nema. Vetsinu velikosti databaze tvori asi logy a ty by na to nemely mit vliv. Takze jina otazka: kolik mas v adatabazi kesi a WP? Ja 80551 kesi, 93036 WP.