Tutorial Calibration

From ILMS-Wiki
Revision as of 10:10, 19 January 2011 by Chr (Talk | contribs)
Jump to: navigation, search

Contents

Motivation

In order to apply hydrological models successfully it is necessary to define model parameters accurately. A direct measurement of the parameters is mostly not possible, too expensive or there is no clear physical relation. For those reasons the parameters are adjusted in a trial and error process in so far that the simulated factors (e.g. runoff) correspond best to the values measured. This task can be time-consuming and difficult if the corresponding model is complex or has a large number of parameters.

Requirements

A baic requirement is, of course, a functioning model. To evaluate the quality of an individual simulation mostly a singualar measurement is used. Frequently used examples are the mean square error or the Nash-Sutcliff efficiency. The Jena Adaptable Modelling System the Standard Efficiency Calculator is available for this reason. The image below shows an example configuration of this component Bild:Eff calc.jpg
The component calculates the efficiencies listed in parameter effMethod with:

  • 1 -> Nash - Sutcliff efficiency with power 1
  • 2 -> Nash - Sutcliff efficiency with power 2
  • 3 -> Nash - Sutcliff efficiency of the logarithmic values with power 1
  • 4 -> Nash - Sutcliff efficiency of the logarithmic values with power 2
  • 5 -> Index of Agreement (1)
  • 6 -> Index of Agreement (2)
  • 7 -> regression coefficient
  • 8 -> WR2
  • 9 -> DSGRAD
  • 10 -> absolute volume error
  • 11 -> mean square error
  • 12 -> PBIAS
  • 13 -> PBIAS2

By using the attributes validation and prediction the simulation and validation data are transferred to the component to be compared. The time interval in which both time periods should be compared is determined by the attribute effTimeInterval. The modelTimeInterval shows the modeling time. In most applications those two time spans do not correspond. Many models show bad mappings at the beginning of the modeling process since they often need a certain time until internal conditions are stationary. The time of initialising should normally not be considered. Often the qualites of models in a certain time period are of interest (e.g. during snowmelt), so that several efficiency components can be used which consider different time periods.

Kalibrierung

Um eine vorhandenes Modell mit integrierten Standard Efficiency Calculator zu kalibrieren, gibt es zwei gängige Möglichkeiten.

Offline Kalibrierung

Erstens ist es möglich eine Kalibrierung lokal auf dem eigenen Computer vorzunehmen. Dies belegt allerdings für einen längeren Zeitraum Rechenresourcen. Schritt 1

Öffnen sie den JAMS User Interface Model Editor (JUICE). Laden sie nun das Modell, dass sie kalibrieren möchten. Sie sollten nun in etwa folgende Ansicht sehen
Bild:Juice kalibration 1.jpg


Schritt 2

Wählen Sie nun im Menü Modell den Eintrag Kalibrierungswizard. Es sollte sich nun ein Dialog öffnen, der die Konfiguration der Kalibrierung ermöglicht (siehe Abbildung).
Bild:optimization_wizard.jpg


Schritt 3

Im mittleren Bereich des Dialogs sind auf der linken Seite potientiellen Parameter des Modells aufgelistet. Wählen sie aus der Liste diejenigen Parameter aus, die sie kalibrieren möchten. Wenn sie mehrere Parameter markieren wollen, halten sie STRG gedrückt und wählen sie die gewünschten Parameter. Auf der rechten Seite sind nun für jeden Parameter mehrere Eingabefelder zu sehen. Sie können untere und obere Grenzen angeben, die den Bereich festlegen in dem der Parameter variiert werden soll.Zusätzlich ist es möglich einen Startwert festzulegen. Dies ist sinnvoll, falls bereits ein guter Parametersatz bekannt ist, der Ausgangspunkt der Kalibrierung sein soll.


Schritt 4

Im unteren Abschnitt des Dialoges wird die Zielfunktion spezifiziert. Hierbei kann entweder ein einzelnes Kriterium ausgewählt werden oder aber auch mehrere Kriterien (hierzu STRG Taste gedrückt halten). Bei der Auswahl mehrere Kriterien erzeugt man ein multikriterielles Optimierungsproblem, das sich hinsichtlich seiner Lösungseigenschaften wesentlich von einem einkriteriellen (gewöhnlichen) Optimierungsproblem unterscheidet. Da auch nicht jede Optimierungsmethode für multikriterielle Probleme geeignet ist, stehen in diesem Fall nicht alle Optimierer zur Verfügung.
Für jedes gewählte Optimierungskriterium erscheint im rechten Teil des Abschnitts eine Auswahlbox. Durch diese wird festgelegt, ob das Kriterium minimiert, maximiert, absolut minimiert (d.h min |f(x)| z.B für den absoluten Volumenfehler) oder absolut maximiert werden soll.


Schritt 5

Sind Parameter und Zielkriterien gewählt, ist es notwendig ein Optimierungsverfahren für die Kalibrierung zu wählen. Im oberen Abschnitt des Dialoges sehen sie eine Auswahlbox in der mehrere Optimierungsverfahren aufgeführt sind. Derzeit stehen folgende Verfahren zur Auswahl:

  • Shuffled Complex Evolution
  • Branch and Bound
  • Nelder Mead
  • DIRECT
  • Gutmann Method
  • Stichprobengenerator (Random Sampling)
  • Latin Hypercube Random Sampler
  • Gaußprozessoptimierer
  • NSGA-2
  • MOCOM
  • Parallelisierter Stichprobengenerator
  • Parallelisiertes SCE

Für die Anwendung mit einem einzelnen Zielkriterium haben sich das Shuffled Complex Evolution (SCE) und DIRECT als empfehlenswert herausgestellt. Beide finden mit hoher Wahrscheinlichkeit eine global optimale Parametrisierung. Dabei hat sich gezeigt, dass DIRECT ein sehr robustes Verhalten zeigt und keine Parametrisierung des Verfahrens erforderlich ist. SCE benötigt nur einen Parameter: die Anzahl der Komplexe. Dieser Parameter steuert indirekt ob der Parametersuchraum eher breit gefächert durchsucht wird oder sich das Verfahren schnell auf ein (unter Umständen lokales) Minimum konzentriert. Meist kann mit dem Standardwert 2 gearbeitet werden. Für die multikriterielle Optimierung scheint NSGA - 2 sehr gute Ergebnisse zu liefern. Genauere Untersuchungen stehen aber noch aus.

Desweiteren stehen unabhängig vom Verfahren drei Check - Boxen zur Verfügung.

  • irrelevante Komponenten entfernen: Entfernt Komponenten aus der Modellstruktur von denen gesichert ist, dass sie das Kalibrierungskriterium nicht beeinflussen
  • GUI Komponenten entfernen: Entfernt alle grafischen Komponenten aus der Modellstruktur. Diese Option wird stark empfohlen, da z.B Diagramme die Effizienz der Kalibrierung stark negativ beeinflussen
  • Modellstruktur optimieren: ist derzeit ohne Funktion


Schritt 6

Um die Konfiguration abzuschließen klicken sie auf die Schaltfläche XML erzeugen. Daraufhin wird der Dialog geschlossen und ein neues (modifiziertes) Modell wird angelegt. Sie können die Kalibrierung starten indem sie das Modell einfach starten. Bitte beachten Sie, dass der Kalibrierungsassistent ihre Output Datastores so modifiziert, dass für jeden Modelldurchlauf während der Kalibrierung sowohl Modellparameter als auch Zielkriterium ausgegeben wird. Möchten Sie diese Ausgabe unterdrücken, löschen sie die Datei optimization_wizard_optimizer.xml bitte manuell.

Online Kalibrierung

Alternativ zur Offline Kalibrierung kann dieser Prozess auch über ein Online Portal auf dem Rechencluster des Lehrstuhls für Geoinformatik, Geohydrologie und Modellierung an der Friedrich - Schiller - Universität Jena durchgeführt werden. Dies belegt lokal keine Rechenresourcen und erlaubt die Kalibrierung von bis zu vier Modellen gleichzeitig.

Schritt 1

Öffnen sie einen Internet Browser (z.B. Firefox) und navigieren sie zu der Website [[1]] Sie sehen nun folgendes Fenster und werden aufgefordert sich anzumelden. Um sich zu registrieren setzen sie sich bitte mit

  • Christian Fischer
  • christian.fischer.2@uni-jena.de

in Verbindung.
Bild:Optas_login_page.png

Schritt 2 Nach der Anmeldung sehen sie nun das Hauptfenster der Anwendung.
Bild:Optas_main_page.png Schritt 3 Um eine neue Kalibrierung durchzuführen klicken sie auf "Create Optimization Run". Sie sehen nun den ersten Schritt des Kalibrierungsprozesses.
Bild:Optas_create_step1_page.png In diesem Schritt werden sie aufgefordert die benötigten Daten zur Verfügung zu stellen. Laden sie nun das zu kalibrierende Modell (jam Datei) in das erste Dateiauswahlfeld. Komprimieren sie jetzt ihr Arbeitsverzeichnis des Modells als zip - Archiv. Hierfür eignen sich Packprogramme wie beispielsweise 7-zip. Achten sie hierbei auf folgendes:

  • das Arbeitsverzeichnis darf sich in keinem Unterverzeichnis befinden
  • bitte achten sie darauf, dass sie keine unnötigen Dateien (z.b im Output Verzeichnis hochladen). Der Upload ist auf 20mb limitiert.
  • die Datei default.jap darf sich nicht im Arbeitsverzeichnis befinden

Laden sie nun das komprimierte Arbeitsverzeichnis in das zweite Dateiauswahlfeld. Das Modell wird standardmäßig mit einer aktuellen JAMS/J2000 Version ausgeführt. Bibliotheken zu J2000g und J2000-S sind ebenfalls standardmäßig vorhanden. Benötigen sie spezielle angepasste Versionen von J2000, J2000-S oder J2000g so laden sie diese (nicht gepackt) in die entsprechenden

Retrieved from "https://jams.uni-jena.de/ilmswiki/index.php/Tutorial_Calibration"
Personal tools