Ach ja, wenn ich die tmon.out hier posten kann, dann mach ich das ja auch.
Vielleicht gibt das ja doch etwas mehr Aufschluss über das Problem.

Gruss

	Alex

-----Original Message-----
From: 
[mailto:]On Behalf Of Alex Wüst
Sent: Thursday, January 16, 2003 5:12 PM
To: 
Subject: Re: [IMPERIA] Metatool zu langsam


Alles klar, das ist doch mal eine Aussage.

Danke jedenfalls für die Mühe.

Nur eins würde mich noch interessieren bevor ich mich hier anscheinend
unbeliebt mache ;)

Was zum Geier ist TOFU???

-----Original Message-----
From: 
[mailto:]On Behalf Of Christian Lackas
Sent: Thursday, January 16, 2003 5:04 PM
To: 
Subject: Re: [IMPERIA] Metatool zu langsam


* Alex Wüst <> [030116 16:30]:

Hallo Alex,

> hier wie von dir vorgeschlagen die Ausgabe von DProf:

das ging ja schnell...

> Total Elapsed Time = 14.48756 Seconds
> User Time = 13.30868 Seconds

Also sind deine 20 Sekunden ja masslos (50% zu viel) übertrieben ;-).

Aber 14 Sekunden warten macht natürlich auch keinen Spass.

> Exclusive Times
> %Time ExclSec CumulS #Calls sec/call Csec/c  Name
> 17.0   2.270  2.265  10280   0.0002 0.0002  Storable::mretrieve
> 14.1   1.876 26.161    186   0.0101 0.1407  DocTree::PlugIn::searchMeta
> 10.5   1.400  1.495   9803   0.0001 0.0002
Dynamic::DocTree::File::__getLastArchiveID
> 9.02   1.200  6.568   9803   0.0001 0.0007
Dynamic::DocTree::File::getArchivedMetaInfo
> 5.03   0.670  0.662  16826   0.0000 0.0000
Publisher::StrangeFile::Record::new
> 4.43   0.590  1.634  10284   0.0001 0.0002  Lib::File::flock_fopen
> 4.36   0.580  4.773  10279   0.0001 0.0005
Dynamic::DocTree::File::__getInfo
> 4.06   0.540  0.539    924   0.0006 0.0006
Dynamic::DocTree::File::getDocuments
> 3.46   0.460  0.445  29349   0.0000 0.0000
DocTree::PlugIn::_untaintNodeID
> 2.82   0.375  1.149     42   0.0089 0.0274
Publisher::StrangeFile::__readFile
> 2.70   0.360  5.107   9804   0.0000 0.0005
Dynamic::DocTree::File::__getUntaintedMetaInfo
> 2.40   0.320  0.315  10284   0.0000 0.0000  Symbol::gensym
> 2.40   0.320  2.575  10280   0.0000 0.0003  Storable::thaw
> 2.40   0.320  1.054  10284   0.0000 0.0001  IO::File::new
> 2.10   0.280  0.275  10284   0.0000 0.0000  IO::File::open

[Am besten sowas als Attachment verschicken (oder einen vernünftigen
Mailer benutzen wo man selbst entscheidet wann Zeilen umgebrochen
werden, sonst müssen die anderen das immer erst zusammenbasteln)]

Es wäre günstig gewesen das tmon.out-File anzuhängen, weil das ja alle
Informationen enthält. Obiges ist jetzt ja nur ein Ausschnitt der 15
Subroutinen, die die meiste Zeit verbrauchen (wenn du dprofpp mit -u
gestartest hast wird nur die user-Zeit genommen). Daraus ist jetzt
eigentlich nur zu erkennen, dass das System den Grossteil der Zeit mit
dem Einlesen der Daten und (vermutlich) dem Filtern verbringt. Wenn ich
da sehe, dass über 10.000 Dateien geöffnet werden, dann ist meine erste
Diagnose: Das ist zuviel für das System. 720 Dateien pro Sekunde
einlesen, entpacken in eine Perl-Struktur bringen, Metafelder filtern
ist ja schon einiges.
Da es hier jetzt nicht einen Flaschenhals gibt (der z.B. 80% der
Gesamtzeit aufsaugt) und man insbesondere an der externen Funktion
Storable::mretrieve (Storable wandelt die binary meta-Dateien in
Perl-Datenstrukturen um) nicht viel tun kann, sieht es jetzt erstmal
schlecht aus.

> Hoffe ihr könnt damit was anfangen.

Falls Imperia das noch genauer analysieren will, solltest du ihnen die
tmon.out-Datei zukommen lassen. Du kannst sie auch hier posten (falls zu
gross, bitte gzip'pen) dann schaue ich da nochmal drüber, aber mein Tipp
ist jetzt:

Die Anzahl der Dateien die das meta_tool anfasst deutlich verringern. Du
hast doch mal von einem Beispiel geschrieben, wo nur 80 Dateien in einem
Verzeichnis liegen. Wie sieht das Profiling denn da aus? Hier werden
jedenfalls 125x so viele Dateien angefasst. Wenn das halbwegs linear
skaliert, dann sollten die Antwortzeiten für bis zu 1.000 Dateien
eigentlich völlig in Ordnung sein.

Ich könnte mir vorstellen, dass in diesen Dimensionen das Speichern in
einem RDBMS deutliche Performance-Vorteile bietet, habe aber keine
Vergleichsmöglichkeiten.

> p.s. Bitte kein TOFU. Danke.

Bitte, bitte kein TOFU. Danke.

Gruss
 Christian

--
Archiv der Mailingliste  : http://www.lackas.net/imp/ma/
Imperia-Resource-Page    : http://www.lackas.net/imp/
Wie zitiere ich richtig? : http://learn.to/quote/
Abmelden                 : mailto:?body=unsubscribe