diff --git a/chapters/thesis/appendix04.tex b/chapters/thesis/appendix04.tex index 276594f..ea5bbb5 100644 --- a/chapters/thesis/appendix04.tex +++ b/chapters/thesis/appendix04.tex @@ -10,18 +10,17 @@ Um die Messungen etwas zu vereinfachen wurde ein Skript erstellt um die Aufrufe gesammelt durchzuführen. Um die Messungen durchzuführen werden die Befehl, wie in \ref{lst:calling_script_exec} dargestellt aufgerufen. -Durch die nummerierten Präfixe können im Nachgang über die \textit{pgBadger}"=Berichte die SQL-Abfragen verglichen -werden. Wichtig hierbei ist noch, dass vor dem ersten \textit{meascall}-Aufruf überprüft wird, ob die Docker-Container -gestartet und initialisiert sind. Wenn dies nicht der Fall ist, laufen die Abfragen ins leere. Am einfachsten ist das -über die Statistik von Docker zu ermitteln, ob die CPU-Auslastung auf einen niedrigen Level gefallen ist. +Durch die nummerierten Präfixe können im Nachgang über die \textit{pgBadger}"=Berichte die \ac{SQL}"=Abfragen verglichen +werden. Wichtig hierbei ist noch, dass vor dem \textit{measrun}-Aufruf überprüft wird, ob die Docker-Container +gestartet und initialisiert sind. Wenn dies nicht der Fall ist, laufen die Abfragen ins leere. Am einfachsten ist das, +wie dargestellt, über die Statistik von Docker zu ermitteln. Nun wird überwacht, das die CPU-Auslastung auf ein +niedriges Level fällt, danach kann das Skript für die Messung gerufen werden. \includecode[bash]{chapters/thesis/appendix04_calling_script.sh}{lst:calling_script}{Calling Script} \begin{lstlisting}[language=Bash,caption={Aufrufe des Unterstützungsscriptes},label=lst:calling_script_exec] callscript.sh measinit callscript.sh -rppf=_testname measres -callscript.sh -rppf=_testname meascall -callscript.sh -rppf=_testname -rppn=2 meascall -callscript.sh -rppf=_testname -rppn=3 meascall -callscript.sh -rppf=_testname -rppn=4 meascall +callscript.sh dcstats +callscript.sh -rppf=_testname measrun \end{lstlisting} \ No newline at end of file diff --git a/chapters/thesis/appendix04_calling_script.sh b/chapters/thesis/appendix04_calling_script.sh index 22435b9..e2753d7 100644 --- a/chapters/thesis/appendix04_calling_script.sh +++ b/chapters/thesis/appendix04_calling_script.sh @@ -12,6 +12,7 @@ script_path="/opt/docker/timing.sh" pgbadger_out="/opt/docker/pgreport" report_postfix="" report_postno="" +report_postmax="5" docker_name=dcpgbatch COMPOSE_FILE=/opt/docker/docker-compose.yaml @@ -20,14 +21,33 @@ gflog() { echo "follow the log: $domain_log" tail -f $domain_log } +gflogrm() { + echo "remove the log: $domain_log" + rm "$domain_log" +} gfconf() { nvim "$payara_config" } gfscript() { + gflogcount=$(cat "$domain_log" | wc -l) outPath=$pgbadger_out$report_postfix/bash.out touch "$outPath" + echo "" >>"$outPath" echo "============================================================" >>"$outPath" + echo "calling number $report_postno / $report_postmax" >>"$outPath" + echo "" >>"$outPath" bash $script_path | tee -a "$outPath" + gflastlog=$(cat "$domain_log" | wc -l) + gfcnt=$(($gflastlog - $gflogcount)) + printf "\n%-20s %+5s %+9s %+9s %+9s %+9s\n" "function" "Runs" "Min (ms)" "Avg (ms)" "Max (ms)" "1st (ms)" >>"$outPath" + + tail -$gfcnt $domain_log | awk '/PerformanceCounter-create \/view/ { print $3 }' | awk 'BEGIN {min=500;max=0} {sum += $1; cnt += 1}; first == "" { first = $1 }; min > $1 { min = $1 } max < $1 { max = $1 } END { if (cnt < 1) {cnt = -1}; printf("%-20s %5i %9.3f %9.3f %9.3f %9.3f\n", "view-create-list", cnt, min, sum/cnt, max, first) }' >>"$outPath" + tail -$gfcnt $domain_log | awk '/PerformanceCounter-build \/view/ { print $3 }' | awk 'BEGIN {min=500;max=0} {sum += $1; cnt += 1}; first == "" { first = $1 }; min > $1 { min = $1 } max < $1 { max = $1 } END { if (cnt < 1) {cnt = -1}; printf("%-20s %5i %9.3f %9.3f %9.3f %9.3f\n", "view-buildr-list", cnt, min, sum/cnt, max, first) }' >>"$outPath" + tail -$gfcnt $domain_log | awk '/PerformanceCounter-loadData \/view/ { print $3 }' | awk 'BEGIN {min=500;max=0} {sum += $1; cnt += 1}; first == "" { first = $1 }; min > $1 { min = $1 } max < $1 { max = $1 } END { if (cnt < 1) {cnt = -1}; printf("%-20s %5i %9.3f %9.3f %9.3f %9.3f\n", "view-loaddt-list", cnt, min, sum/cnt, max, first) }' >>"$outPath" + tail -$gfcnt $domain_log | awk '/PerformanceCounter-loadDataMap \/view/ { print $3 }' | awk 'BEGIN {min=500;max=0} {sum += $1; cnt += 1}; first == "" { first = $1 }; min > $1 { min = $1 } max < $1 { max = $1 } END { if (cnt < 1) {cnt = -1}; printf("%-20s %5i %9.3f %9.3f %9.3f %9.3f\n", "view-loaddm-list", cnt, min, sum/cnt, max, first) }' >>"$outPath" + tail -$gfcnt $domain_log | awk '/PerformanceCounter-renderData \/view/ { print $3 }' | awk 'BEGIN {min=500;max=0} {sum += $1; cnt += 1}; first == "" { first = $1 }; min > $1 { min = $1 } max < $1 { max = $1 } END { if (cnt < 1) {cnt = -1}; printf("%-20s %5i %9.3f %9.3f %9.3f %9.3f\n", "view-rdrdat-list", cnt, min, sum/cnt, max, first) }' >>"$outPath" + tail -$gfcnt $domain_log | awk '/PerformanceCounter-renderLoad \/view/ { print $3 }' | awk 'BEGIN {min=500;max=0} {sum += $1; cnt += 1}; first == "" { first = $1 }; min > $1 { min = $1 } max < $1 { max = $1 } END { if (cnt < 1) {cnt = -1}; printf("%-20s %5i %9.3f %9.3f %9.3f %9.3f\n", "view-rdrlst-list", cnt, min, sum/cnt, max, first) }' >>"$outPath" + tail -$gfcnt $domain_log | awk '/PerformanceCounter-render \/view/ { print $3 }' | awk 'BEGIN {min=500;max=0} {sum += $1; cnt += 1}; first == "" { first = $1 }; min > $1 { min = $1 } max < $1 { max = $1 } END { if (cnt < 1) {cnt = -1}; printf("%-20s %5i %9.3f %9.3f %9.3f %9.3f\n", "view-render-list", cnt, min, sum/cnt, max, first) }' >>"$outPath" } pginit() { @@ -68,9 +88,17 @@ pgrpres() { rm -R $pgbadger_out$report_postfix* fi } +pgrpout() { + echo "Show bash output" + outPath=$pgbadger_out$report_postfix/bash.out + cat "$outPath" +} dccreate() { sudo docker compose -f $COMPOSE_FILE create --force-recreate } +dcconf() { + nvim $COMPOSE_FILE +} dcstart() { sudo docker compose -f $COMPOSE_FILE start sleep 2 @@ -85,11 +113,24 @@ dcres() { dcstats() { sudo docker stats } +meascall() { + gfscript + pgrp + pglogrm +} +measrun() { + for i in $(seq 1 $report_postmax); do + report_postno=$i + meascall + done +} for name in "$@"; do case $name in -rppf=*) report_postfix="${name#*=}" ;; -rppn=*) report_postno="${name#*=}" ;; + -rppm=*) report_postmax="${name#*=}" ;; gflog) gflog ;; + gflogrm) gflogrm ;; gfconf) gfconf ;; gfscript) gfscript ;; gfrestart) pgrpinit ;; @@ -101,7 +142,9 @@ for name in "$@"; do pgrestart) pgrestart ;; pgrp) pgrp ;; pgrpres) pgrpres ;; + pgrpout) pgrpout ;; dcinit) dccreate ;; + dcconf) dcconf ;; dcstart) dcstart ;; dcstop) dcstop ;; dcres) dcres ;; @@ -110,6 +153,7 @@ for name in "$@"; do pginit pgrpres pglogrm 0 + gflogrm dccreate dcstart ;; @@ -117,15 +161,13 @@ for name in "$@"; do dcstop pgrpres pglogrm 0 + gflogrm dcstart pgrp pglogrm ;; - meascall) - gfscript - pgrp - pglogrm - ;; + meascall) meascall ;; + measrun) measrun ;; help) echo "CALLING: $0 [ ]" echo "The overview of the functions of this script." @@ -136,9 +178,11 @@ for name in "$@"; do echo "*** parameter ***" echo " -rppf= Postfix name for the report-folder (used by gfscript, pgrp, pgrpres, measres, meascall)" echo " -rppn= Postfix number for the report-folder (used by pgrp, measres, meascall)" + echo " -rppm= Count of calling meascall (used by measrun)" echo "" echo "*** glassfish ***" echo " gflog Show and follow the log of the glassfish server with $domain_name" + echo " gflogrm Remove the log file of the glassfish server with $domain_name" echo " gfconf Open the configuration file from glassfish server" echo " gfscript Calls the testscript for the website" echo "" @@ -150,19 +194,22 @@ for name in "$@"; do echo " pgconf Open the configuration file from postgresql" echo " pgrestart Restart the postgresql" echo " pgrp Generate the pgbadger report from postgresql log files" + echo " pgrpout Show the saved output of the bash scripts" echo " pgrpres Resetet the output of pgbadger" echo "" echo "*** docker ***" - echo " dcinit Docker erstellen" - echo " dcstart Docker Container starten" - echo " dcstop Docker Container stoppen" - echo " dcres Docker Container stoppen und loeschen" - echo " dcstats Docker live Statistik anzeigen" + echo " dcinit Create the both docker container" + echo " dcconf Open the configuration file for the docker container" + echo " dcstart Start the both docker container" + echo " dcstop Stop the both docker container stoppen" + echo " dcres Stop and remote the both docker container" + echo " dcstats Show the docker live statistik" echo "" echo "*** combine cmds ***" echo " measinit Initialize everthing after start" echo " measres reset data for new measuring" echo " meascall execute one measure" + echo " measrun execute calls of measure (default: 5 runs)" ;; *) echo >&2 "Invalid option $name" diff --git a/chapters/thesis/chapter03.tex b/chapters/thesis/chapter03.tex index 2fef937..fa70541 100644 --- a/chapters/thesis/chapter03.tex +++ b/chapters/thesis/chapter03.tex @@ -65,9 +65,9 @@ weitere Relationen notwendig sind. \includecode[SQL]{chapters/thesis/chapter03_documentlist.sql}{lst:documentlist}{Generische Abfrage der Dokumentenliste} \includecode[SQL]{chapters/thesis/chapter03_documentlist_sub.sql}{lst:documentlist_sub}{Sub-Abfrage pro Dokument} -Nach aktuellem Stand beinhaltet die Datenbank circa 5400 Briefe, für die jeweils 2-7 eingescannte Faksimile gespeichert -werden. Diese Graphik-Dateien werden im TIFF-Format abgespeichert und benötigen zwischen 1 und 80 MB Speicherplatz. -Dadurch kommt die Datenbank aktuell auf circa 3,8 GB. +Nach aktuellem Stand beinhaltet die Datenbank circa 5400 Briefe, für die jeweils zwei bis sieben eingescannte Faksimile +gespeichert werden. Diese Graphik-Dateien werden im TIFF-Format abgespeichert und benötigen zwischen 1 und 80 MB +Speicherplatz. Dadurch kommt die Datenbank aktuell auf circa 3,8 GB. Wie im Kapitel \ref{ch:basics} dargestellt, besteht die eigentliche Anwendung aus mehreren Schichten. Die PostgreSQL"=Schicht wurde schon im vorherigen Kapitel betrachtet. Daher gehen wir nun weiter nach oben in den Schichten diff --git a/chapters/thesis/chapter05.tex b/chapters/thesis/chapter05.tex index e87fb8e..63399c9 100644 --- a/chapters/thesis/chapter05.tex +++ b/chapters/thesis/chapter05.tex @@ -260,6 +260,8 @@ abfragt. \section{Caching im \ac{JPA}} \label{sec:performance-investigation-application:caching-jpa} +%hier ein test vom acf: \acf{JPA}. aber ich seh ihn nicht + \mytodos{muss noch umgebaut werden, falsche Konfiguration erwischt} %Die Cache-Einstellungen von \ac{JPA} werden über mehrere Einstellungen konfiguriert. Anhand von @@ -650,11 +652,6 @@ Nach dem Anpassungen haben sich dann die Werte aus \ref{tbl:measure-materialized \mytodos{prüfen ob ms oder msec die richtige SI-Einheit ist} -Bei der Verwendung des Hints \textit{openjpa.FetchPlan.FetchBatchSize} kann die Abfrage enorm verschlechtern. Wenn -dieser Wert zu klein oder groß definiert ist, wird die Laufzeit verschlechtert. Bei einem zu großen Wert wird die -Laufzeit der Datenbankanfrage auf circa 20 ms verlängert. Wenn der Wert zu gering gewählt ist, dann wird zwar die -Laufzeit der Datenbankanfrage minimal verkürzt, aber die \textit{map}"=Funktion wird dadurch verlängert. - Da bei der Materialized View das laden der Daten und das wandeln in die Java"=Objekte getrennt programmiert wurde, können hier eigene Zeitmessungen für die zwei Schritte eingebaut werden. Hierfür wird die Zeit vor dem \textit{map}"=Aufruf und der \textit{map}"=Aufruf gemessen. Für den ersten Aufruf, wurde ein \textit{SearchDocument} @@ -665,6 +662,16 @@ erzeugt, noch ohne eine Konvertierung der ermittelten Daten in das Objekt, steig Wenn man nun noch die Konvertierung der Daten wieder einbaut, steigt die Laufzeit nochmal auf nun 82 ms. Dies zeigt, alleine das erzeugen der Objekt kostet die meiste Zeit. +Bei der Verwendung des Hints \textit{openjpa.FetchPlan.FetchBatchSize} kann die Abfrage enorm verschlechtern. Wenn +dieser Wert zu klein oder groß definiert ist, wird die Laufzeit verschlechtert. Bei einem zu großen Wert wird die +Laufzeit der Datenbankanfrage auf circa 20 ms verlängert. Wenn der Wert zu gering gewählt ist, dann wird zwar die +Laufzeit der Datenbankanfrage minimal verkürzt, aber die \textit{map}"=Funktion wird dadurch verlängert. + +Das aktivieren der Cache-Optionen wie in \ref{sec:performance-investigation-application:caching-openjpa} oder in +\ref{sec:performance-investigation-application:caching-query} dargestellt, haben keine Auswirkung auf die Performance. +Dies ist dadurch erklärbar, da keine Objekte durch das OpenJPA"=Framework erstellt werden, sondern erst in der +\textit{map}"=Funktion des eigenen Codes. + Nun wird noch geprüft, welche Performance das parsen der Json-Informationen im Server benötigt. Im ersten Schritt wird die Parse-Funktion auskommentiert und die Seite nochmal aufgerufen. Durch diese Umstellung fällt die Laufzeit der Datenermittlung auf circa 4 ms ab. Nun muss noch geprüft werden, welche Zeit nun der Client zum parsen der diff --git a/frontbackmatter/thesis/Acronyms.tex b/frontbackmatter/thesis/Acronyms.tex index 8c9b408..796ab64 100644 --- a/frontbackmatter/thesis/Acronyms.tex +++ b/frontbackmatter/thesis/Acronyms.tex @@ -12,7 +12,7 @@ \chapter*{Abk\"{u}rzungsverzeichnis} % Insert your acronyms here (Das Kürzel mit der längsten Bezeichnung sollte in den eckigen Klammern eingetragen werden) -\begin{acronym}[API] +\begin{acronym}[HTML] \acro{EJB}{Enterprise Java Beans} \acro{JSF}{Java Server Faces} \acro{ORM}{Object Relational Mapping} diff --git a/thesis.pdf b/thesis.pdf index 3cb0ee1..322d277 100644 Binary files a/thesis.pdf and b/thesis.pdf differ