Tutorium Kalibrierung
Inhaltsverzeichnis |
Motivation
Um hydrologische Modelle erfolgreich anwenden zu können, ist es notwendig die Modellparameter sorgfältig zu bestimmen. Eine direkte Messung der Parameter ist meistens nicht möglich, zu kostspielig oder es existiert kein eindeutiger physikalischer Zusammenhang. Aus diesen Gründen werden in einem Trial and Error Prozess die Parameter derart angepasst, dass die simulierten Größen (beispielsweise Abfluss) möglichst gut mit den gemessen Größen übereinstimmen. Diese Aufgabe kann eine zeitaufwändige und schwierige Aufgabe sein, wenn das zu Grunde liegende Modell komplex ist oder die Anzahl der Parameter groß.
Voraussetzung
Grundlegende Voraussetzung ist natürlich ein funktionsfähiges Modell.
Um die Güte einer einzelnen Simulation zu beurteilen, wird meist ein einzelnes Maß verwendet. Häufig verwendete Beispiele hierfür sind der mittlere quadratische Fehler oder die Nash - Sutcliff Effizienz. Im Jena Adaptable Modelling System steht hierfür der Standard Efficiency Calculator zur Verfügung. Die folgende Abbildung zeigt beispielhaft eine Konfiguration dieser Komponente
Die Komponente berechnet die im Parameter effMethod angegebenen Effizienzen. Dabei steht
- 1 -> Nash - Sutcliff Effizienz mit Potenz eins
- 2 -> Nash - Sutcliff Effizienz (mit Potenz zwei)
- 3 -> Nash - Sutcliff Effizienz der logarithmierten Werte mit Potenz eins
- 4 -> Nash - Sutcliff Effizienz der logarithmierten Werte mit Potenz zwei
- 5 -> Index of Agreement (1)
- 6 -> Index of Agreement (2)
- 7 -> Regressionskoeffizient
- 8 -> WR2
- 9 -> DSGRAD
- 10 -> Absoluter Volumenfehler
- 11 -> mittlerer quadratischer Fehler
- 12 -> PBIAS
- 13 -> PBIAS2
Über die Attribute validation und prediction werden der Komponenten die Simulations- und Validierungsdaten übergeben, die verglichen werden soll. Das Zeitintervall, in dem die beiden Zeitreihen verglichen werden sollen, wird über das Attribut effTimeInterval festgelegt. Das modelTimeInterval gibt den Modellierungszeitraum an. In den meisten Anwendungen stimmen diese beiden Zeiträume nicht überein. Viele Modelle zeigen zu Beginn der Simulation ein schlechtes Verhalten, da sie meist eine gewisse Zeit benötigen bis interne Zustände stationär sind. Diese Initialisierungszeit soll normalerweise nicht mit bewertet werden. Oft ist auch die Güte der Modelle in einem speziellen Zeitraum von Interesse (z.B während der Schneeschmelze), sodass mehrere Effizienz-Komponenten verwendet werden, die jeweils unterschiedliche Zeiträume betrachten.
Kalibrierung
Um eine vorhandenes Modell mit integrierten Standard Efficiency Calculator zu kalibrieren, gibt es zwei gängige Möglichkeiten.
Offline Kalibrierung
Erstens ist es möglich eine Kalibrierung lokal auf dem eigenen Computer vorzunehmen. Dies belegt allerdings für einen längeren Zeitraum Rechenresourcen.
Schritt 1
Öffnen Sie den JAMS User Interface Model Editor (JUICE).
Laden Sie nun das Modell, dass Sie kalibrieren möchten.
Sie sollten nun in etwa folgende Ansicht sehen
Schritt 2
Wählen Sie nun im Menü Modell den Eintrag Kalibrierungswizard.
Es sollte sich nun ein Dialog öffnen, der die Konfiguration der Kalibrierung ermöglicht (siehe Abbildung).
Schritt 3
Im mittleren Bereich des Dialogs sind auf der linken Seite potentiellen Parameter des Modells aufgelistet. Wählen Sie aus der Liste diejenigen Parameter aus, die Sie kalibrieren möchten. Wenn Sie mehrere Parameter markieren wollen, halten Sie STRG gedrückt und wählen Sie die gewünschten Parameter. Auf der rechten Seite sind nun für jeden Parameter mehrere Eingabefelder zu sehen. Sie können untere und obere Grenzen angeben, die den Bereich festlegen in dem der Parameter variiert werden soll.Zusätzlich ist es möglich einen Startwert festzulegen. Dies ist sinnvoll, falls bereits ein guter Parametersatz bekannt ist, der Ausgangspunkt der Kalibrierung sein soll.
Schritt 4
Im unteren Abschnitt des Dialoges wird die Zielfunktion spezifiziert. Hierbei kann entweder ein einzelnes Kriterium ausgewählt werden oder aber auch mehrere Kriterien (hierzu STRG Taste gedrückt halten). Bei der Auswahl mehrere Kriterien erzeugt man ein multikriterielles Optimierungsproblem, das sich hinsichtlich seiner Lösungseigenschaften wesentlich von einem einkriteriellen (gewöhnlichen) Optimierungsproblem unterscheidet. Da auch nicht jede Optimierungsmethode für multikriterielle Probleme geeignet ist, stehen in diesem Fall nicht alle Optimierer zur Verfügung.
Für jedes gewählte Optimierungskriterium erscheint im rechten Teil des Abschnitts eine Auswahlbox. Durch diese wird festgelegt, ob das Kriterium minimiert, maximiert, absolut minimiert (d.h min |f(x)| z.B für den absoluten Volumenfehler) oder absolut maximiert werden soll.
Schritt 5
Sind Parameter und Zielkriterien gewählt, ist es notwendig ein Optimierungsverfahren für die Kalibrierung zu wählen. Im oberen Abschnitt des Dialoges sehen Sie eine Auswahlbox, in der mehrere Optimierungsverfahren aufgeführt sind. Derzeit stehen folgende Verfahren zur Auswahl:
- Shuffled Complex Evolution
- Branch and Bound
- Nelder Mead
- DIRECT
- Gutmann Method
- Stichprobengenerator (Random Sampling)
- Latin Hypercube Random Sampler
- Gaußprozessoptimierer
- NSGA-2
- MOCOM
- Parallelisierter Stichprobengenerator
- Parallelisiertes SCE
Für die Anwendung mit einem einzelnen Zielkriterium haben sich das Shuffled Complex Evolution (SCE) und DIRECT als empfehlenswert herausgestellt. Beide finden mit hoher Wahrscheinlichkeit eine global optimale Parametrisierung. Dabei hat sich gezeigt, dass DIRECT ein sehr robustes Verhalten zeigt und keine Parametrisierung des Verfahrens erforderlich ist. SCE benötigt nur einen Parameter: die Anzahl der Komplexe. Dieser Parameter steuert indirekt ob der Parametersuchraum eher breit gefächert durchsucht wird oder sich das Verfahren schnell auf ein (unter Umständen lokales) Minimum konzentriert. Meist kann mit dem Standardwert 2 gearbeitet werden. Für die multikriterielle Optimierung scheint NSGA - 2 sehr gute Ergebnisse zu liefern. Genauere Untersuchungen stehen aber noch aus.
Desweiteren stehen unabhängig vom Verfahren drei Check - Boxen zur Verfügung.
- irrelevante Komponenten entfernen: Entfernt Komponenten aus der Modellstruktur von denen gesichert ist, dass sie das Kalibrierungskriterium nicht beeinflussen
- GUI Komponenten entfernen: Entfernt alle grafischen Komponenten aus der Modellstruktur. Diese Option wird stark empfohlen, da z.B Diagramme die Effizienz der Kalibrierung stark negativ beeinflussen
- Modellstruktur optimieren: ist derzeit ohne Funktion
Schritt 6
Um die Konfiguration abzuschließen, klicken Sie auf die Schaltfläche XML erzeugen. Daraufhin wird der Dialog geschlossen und ein neues (modifiziertes) Modell wird angelegt. Sie können die Kalibrierung starten indem sie das Modell einfach starten. Bitte beachten Sie, dass der Kalibrierungsassistent ihre Output Datastores so modifiziert, dass für jeden Modelldurchlauf während der Kalibrierung sowohl Modellparameter als auch Zielkriterium ausgegeben wird. Möchten Sie diese Ausgabe unterdrücken, löschen sie die Datei optimization_wizard_optimizer.xml bitte manuell.
Online Kalibrierung
Als Alternative zur Offline Kalibrierung kann dieser Prozess auch über ein Online Portal auf dem Rechencluster des Lehrstuhls für Geoinformatik, Geohydrologie und Modellierung an der Friedrich - Schiller - Universität Jena durchgeführt werden. Dies belegt lokal keine Rechenresourcen und erlaubt die Kalibrierung von bis zu vier Modellen gleichzeitig.
Schritt 1
Öffnen Sie einen Internet Browser (z.B. Firefox) und navigieren sie zu der Website [[1]] Sie sehen nun folgendes Fenster und werden aufgefordert sich anzumelden. Um sich zu registrieren setzen sie sich bitte mit
- Christian Fischer
- christian.fischer.2@uni-jena.de
in Verbindung.
Schritt 2
Nach der Anmeldung sehen sie nun das Hauptfenster der Anwendung.
Das Fenster ist dreigeteilt. Im mittleren Teil sehen sie eine Auflistung aller bisher gestarteten Aufgaben. Abgeschlossene Aufgaben werden blau angezeigt und Aufgaben, die sich noch in der Ausführung befinden, werden grün dargestellt. Rot dargestellte Einträgen zeigen, dass während der Konfiguration einer neuen Aufgabe/Kalibrierung ein Fehler aufgetreten ist.
Der rechte Bereich des Fensters zeigt verschiedene Inhalte an. Bei Beginn der Anwendung sehen Sie hier Neuigkeiten über das OPTAS - Projekt. Im Allgemeinen werden Informationen bis zu einer Größe von 1 Megabyte direkt angezeigt. Größere Datenmengen werden nicht angezeigt, da dies die Seitendarstellung beeinträchtigt. Statt dessen wird dann mit den Informationen eine gepackte Datei erzeugt und zum Download bereit gestellt.
Schritt 3
Um eine neue Kalibrierung durchzuführen klicken sie auf "Create Optimization Run". Sie gelangen nun zum ersten Schritt des Kalibrierungsprozesses.
In diesem Schritt werden Sie aufgefordert, die benötigten Daten zur Verfügung zu stellen. Laden Sie nun das zu kalibrierende Modell (jam Datei) in das erste Dateiauswahlfeld.
Komprimieren Sie jetzt das Arbeitsverzeichnis des Modells als zip - Archiv. Hierfür eignen sich Packprogramme wie beispielsweise 7-zip. Achten Sie hierbei darauf, dass
- sich das Arbeitsverzeichnis in keinem Unterverzeichnis befinden darf
- sie möglichst keine nicht benötigten Dateien (z.b im Output Verzeichnis hochladen) hochladen. Der Upload ist auf 20mb limitiert.
- sich die Datei default.jap nicht im Arbeitsverzeichnis befindet
Laden Sie nun das komprimierte Arbeitsverzeichnis in das zweite Dateiauswahlfeld. Das Modell wird standardmäßig mit einer aktuellen JAMS/J2000 Version ausgeführt. Bibliotheken zu J2000g und J2000-S sind ebenfalls standardmäßig vorhanden, so dass Sie für die meisten Anwendungen keine weiteren Dateien angeben müssen.
Benötigen Sie allerdings speziell angepasste Versionen der Komponentenbibliotheken zu den Modellen J2000, J2000-S oder J2000g, so laden Sie diese (nicht gepackt) in die entsprechenden Dateiauswahlfelder. Falls Ihr Modell noch weitere Bibliotheken benötigt, können Sie diese als zip-Archiv gepackt in dem entsprechenden Dateiauswahlfeld angeben.
Klicken Sie zum Abschluss auf Submit. Die von Ihnen angegeben Dateien werden nun auf die Serverumgebung geladen.
Der Managementserver (Sonne) prüft die verfügbaren Arbeitsrechner auf freie Rechenkapazitäten und weist ihren Task einem Arbeitsrechner zu.
Schritt 4
Nachdem das Modell und der Workspace übertragen wurden, wird folgender Dialog zur Auswahl von Parametern und Zielkriterien angezeigt.
Die erste Liste zeigt alle potentiellen Parameter des Modells. Wählen Sie aus der Liste diejenigen Parameter aus, die Sie kalibrieren möchten. Wenn Sie mehrere Parameter markieren wollen, halten Sie die STRG-Taste gedrückt, während Sie mit der Maus die Markierung vornehmen.
Im unteren Abschnitt des Dialoges wird die Zielfunktion spezifiziert. Hierbei kann entweder ein einzelnes Kriterium ausgewählt werden oder aber auch mehrere Kriterien (dabei STRG Taste gedrückt halten). Bei der Auswahl mehrere Kriterien erzeugt man ein multikriterielles Optimierungsproblem, das sich hinsichtlich seiner Lösungseigenschaften wesentlich von einem einkriteriellen (gewöhnlichen) Optimierungsproblem unterscheidet. Da auch nicht jede Optimierungsmethode für multikriterielle Probleme geeignet ist, stehen in diesem Fall nicht alle Optimierer zur Verfügung.
Schritt 5
In diesem Schritt soll für jeden Parameter der gültige Wertebereich festgelegt werden. Für jeden ausgewählten Parameter steht ein Eingabefeld für die Spezifikation von unteren und oberen Schranken zur Verfügung. Die Felder sind mit default-Werten vorbelegt, sofern für diese für den Parameter zur Verfügung stehen. Diese Standardwerte sind meist sehr weit gefasst, so dass empfohlen wird, eine Weitere Einschränkung vorzunehmen. Es besteht außerdem optional die Möglichkeit einen Startwert anzugeben. Dies ist sinnvoll, falls bereits ein guter Parametersatz bekannt ist, der Ausgangspunkt der Kalibrierung sein soll.
Im zweiten Teil dieses Schrittes haben Sie außerdem die Möglichkeit für jedes gewählte Kriterium festzulegen, ob das Kriterium
- minimiert (Beispiel RSME - root square mean error) ,
- maximiert (Beispiel r²,E1,E2,logE1,logE2),
- absolut minimiert (d.h min |f(x)| z.B für den absoluten Volumenfehler) ,
- oder absolut maximiert werden soll.
Die nachfolgenden Abbildung zeigt den entsprechenden Dialog. Hierbei wurden die Parameter des Schneemoduls gewählt und die Default-Grenzen eingetragen.
Schritt 6
Sie werden nun aufgefordert, das gewünschte Optimierungsverfahren zu wählen. Derzeit stehen folgende Verfahren zur Auswahl:
- Shuffled Complex Evolution (Duan et al., 1992)
- Branch and Bound (Horst et al., 2000)
- Nelder Mead
- DIRECT (Finkel, D., 2003)
- Gutmann Method (Gutmann .. ?)
- Stichprobengenerator (Random Sampling)
- Latin Hypercube Random Sampler
- Gaußprozessoptimierer
- NSGA-2 (Deb et al., ?)
- MOCOM ()
- Parallelisierter Stichprobengenerator
- Parallelisiertes SCE
Für die meisten einkriteriellen Anwendungen kann das Shuffled Complex Evolution (SCE) Verfahren und das DIRECT Verfahren empfohlen werden. Für multikriterielle Aufgabenstellungen liefert NSGA-2 meist hervorragende Ergebnisse.
Schritt 7
Vieler Optimierer lassen sich auf die Problemstellung angepasst parametrisieren. SCE besitze einen frei wählbaren Parameter: die Anzahl der Komplexe. Ein kleiner Wert führt zu einer schnelleren Konvergenz, allerdings mit höherem Risiko die globale Lösung nicht zu identifizieren, während ein großer Wert die Rechenzeit deutlich erhöht, aber die Wahrscheinlichkeit zum Auffinden des Optimums stark verbessert. Meist kann mit dem Standardwert 2 gearbeitet werden. (Literatur?) Dem gegenüber besitzt DIRECT beispielsweise keine Parameter. ein sehr robustes Verhalten zeigt und keine Parametrisierung des Verfahrens erforderlich ist. Desweiteren stehen unabhängig vom Verfahren drei Check - Boxen zur Verfügung.
- remove not used components: Entfernt Komponenten aus der Modellstruktur von denen gesichert ist, dass sie das Kalibrierungskriterium nicht beeinflussen
- remove GUI-components: Entfernt alle grafischen Komponenten aus der Modellstruktur. Diese Option wird stark empfohlen, da z.B Diagramme die Effizienz der Kalibrierung stark negativ beeinflussen
- optimize model structure: ist derzeit ohne Funktion
Die folgende Abbildung zeigt Schritt 7 zur Konfiguration des SCE Verfahrens.
Schritt 8
Bevor Sie die Optimierung starten, können Sie nun angeben, welche Variablen/Attribute des Modells ausgegeben werden können. Standardmäßig werden bereits die gewählten Parameter und Zielkriterien ausgegeben, so dass unnötig ist diese manuell hinzuzufügen. Bitte beachten Sie aber, dass die Abspeicherung von zeitlich und räumlich varierende Attributen (z.B. outRD1 für jede HRU) sehr groß werden kann und evtl. die Speicher-Quote für ihren Benutzeraccount überschreitet.
Schritt 9
Sie erhalten nun eine Zusammenfassung der automatisch vorgenommenen Modifikationen. Sie bekommen insbesondere aufgelistet, welche Komponenten als irrelevant klassifiziert wurden. Mit einem Klick auf Submit starten Sie den Optimierungsprozess.
OPTAS Bedienung
Nachdem Sie nun die Kalibrierung eines Modells gestartet haben, sollten Sie auf der Hauptseite einen neuen Job sehen. Dieser wird in grün dargestellt um anzudeuten, dass die Ausführung noch nicht beendet ist. Sie sehen außerdem die ID, das Startdatum und das geschätzte Fertigstellungsdatum dieser Optimierung. Wenn Sie den erzeugten Auftrag selektieren stehen Ihnen nun mehrere Aktionen zur Verfügung.
Show XML
Sie können sich die automatisch erzeugte Modellbeschreibung anzeigen lassen mit der dieser Auftrag ausgeführt wird. Sobald Sie die Schaltfläche betätigen erscheint diese im Inhaltsfenster auf der rechten Seite und kann von dort auch heruntergeladen werden.
Show Infolog
Betätigen Sie diese Schaltfläche um sich die Statusmeldungen des laufenden Modells anzeigen zu lassen. Bei einer Offline Ausführung des Modells werden diese Informationen in die Datei info.log bzw. error.log geschrieben.
Show Ini
Die Optimierung-Ini Datei enthält alle vorgenommen Einstellungen und fasst diese in Kurzschreibweise zusammen. Diese Funktion orientiert sich an dem fortgeschrittenen Benutzer bzw. Entwickler, so dass hier auf eine detailierte Erläuterung verzichtet wird.
Show Workspace
Diese Funktion listet alle Dateien und Verzeichnisse im Workspace auf. Durch einen Klick auf das Verzeichnis/Datei kann dessen Inhalt angezeigt werden. Die Modellergebnisse lassen sich normalerweise im Ordner /current/ finden, den die folgende Abbildung beispielhaft zeigt.
Hierbei ist zu beachten, dass Dateiinhalte nur bis zu einer Maximalgröße von 1 Megabyte dargestellt werden und ansonsten als zip Datei gepackt zum Download zur Verfügung gestellt werden.
Show Graph
Abhängigkeiten zwischen verschiedenen JAMS-Componenten eines Modells können grafisch dargestellt werden. Diese Funktion erzeugt einen gerichteten Graphen, dessen Knoten die Menge aller Komponenten des Modells sind. In diesem Graphen ist eine Komponente A mit einer Komponente B verknüpft, wenn A von B abhängig ist, in dem Sinne, dass B Daten erzeugt, die direkt von A benötigt werden. Außerdem werden alle Komponenten rot dargestellt, die während der Modellkonfiguration entfernt wurden. Dieser Abhängigkeitsgraph erlaubt die Analyse komplexerer Abhängigkeitsbeziehungen, wie zum Beispiel die Bestimmung von Komponenten, die indirekt abhängig von einem bestimmten Parameter sind. Derartige Analysen sollten jedoch automatisiert durchgeführt werden. Die grafische Ausgabe dieses Graphen dient vorrangig der Veranschaulichung.
Stop Execution Beendet die Ausführung eines oder mehrere Modelläufe.
Delete Workspace Löscht das komplette Arbeitsverzeichnis des Modells auf der Serverumgebung. Bitte verwenden Sie diese Funktion, wenn die Optimierung abgeschlossen ist und sie die Daten gespeichert haben. Die entlastet die Serverumgebung und beschleunigt die Darstellung der OPTAS Umgebung.
Modify & Restart Diese Funktion richtet sich an den fortgeschritten Benutzer. Oft wird ein Neustart eines Modells oder Kalibrierungsaufgabe benötigt, ohne dass große Änderungen der Konfiguration nötig sind. Durch die Funktion Modify & Restart, kann die Konfigurationsdatei der Optimierung direkt verändert werden und anschließend der Neustart des Modells in einem neuen Arbeitsverzeichnis erzwungen werden.
Refresh View Aktualisiert die Ansicht. Bitte Verwenden Sie nicht die Aktualisierungsfunktion ihres Browsers (meist F5), da dies eine erneute Ausführung des letzten Befehls nach sich ziegt (z.B. Start des Modells)
Modellvalidierung
Die Modellvalidierung dient zum Nachweis der Eignung eines Modells für einen bestimmten intendierten Zweck (Bratley et al. 1987). Die Modellvalidierung ist ein wichtiges Werkzeug der Qualitätssicherung. Für die praktische Anwendung ist ein Modell dann nützlich, wenn es sich als vertrauenswürdiges Abbild realer Vorgänge erweist (Power 1993). Abhängig vom Einsatzzweck und Typ des Modells können verschiedene Kennzahlen und Nachweise nötig sein, um das Modell zu validieren.
Generell gibt es verschiedene Qualitätskriterien, die für die Modellvalidierung eine Rolle spielen:
- Genauigkeit/Präzision: Die Genauigkeit eines Modells beschreibt die Abweichung der simulierten Werte im Vergleich zu realen (Mess)werten. Dieser wird meist durch die Nash-Sutcliffe Effizienz, dem Bestimmtheitsmaß oder dem mittleren quadratischen Fehler quantifiziert.
- Unsicherheit: Die Eingangsdaten eines Umweltmodells sind stets mit Fehlern und Unsicherheiten behaften. Zusätzlich besteht nie vollständiges Wissen über ein natürliches System, so dass die Modellierung Ungewissheiten aufweist. Die Auswirkung dieser Faktoren wird durch Unsicherheit des Modells quantifiziert, d.h. die Unsicherheit gibt eine Aussage über das Konfidenzintervall einer Modellantwort.
- Robustheit: Die Fähigkeit des Modells, seine Funktion auch bei (kleinen) Änderungen im natürlichen System aufrecht zu erhalten (zum Beispiel Änderung der Landnutzung in einem Gebiet) Eng damit verbunden ist die
- Sensitivität: die angibt welchen Einfluss (kleine) Änderungen in den Eingabedaten und Modellparametern auf das Ergebnis haben
- Richtigkeit: Bezeichnet die Eigenschaft des Modells, die richtigen Ergebnisse aus den richtigen Gründen zu liefern, d.h. die Erklärung, die das Modell für ein System liefert, ist korrekt.
Die nachfolgenden Methoden wurde von Klemes (1986) für die Validierung von hydrologischen Modellen vorgeschlagen.
Split Sample Validierung
Die verfügbare Menge an Validierungsdaten (z.B. Abflusszeitreihe) wird in zwei Abschnitte geteilt. Zunächst wird der erste Abschnitt für die Kalibrierung des Modells und die zweite für die Validierung verwendet. Anschließend wird die Kalibrierungs- und Validierungsabschnitt getauscht. Daher sollten beide Abschnitte etwa gleich groß sein und eine ausreichend große Datenmenge für eine adäquate Kalibrierung aufweisen. Das Modell kann als akzeptabel eingestuft werden, wenn beide Validierungsresultate ähnlich sind und unter für die Modellanwendung hinreichend gute Eigenschaften aufweisen. Falls die verfügbare Datenmenge nicht ausreichend groß ist für eine 50/50 Teilung, sollte die Teilung derart durchgeführt werden, dass ein Segment für eine sinnvolle Kalibrierung groß genug ist. Der verbleidende Rest wird für die Validierung verwendet. In diesem Fall sollte die Validierung auf zwei verschiedene Weisen durchgeführt werden. Beispielsweise (a) zunächst die ersten 70% der Daten für die Kalibrierung und die verbleibenden 30% für die Validierung (b) anschließend die letzten 70% der Daten für die Kalibrierung und die verbleibenden ersten 30% für die Validierung.
Kreuzvalidierung
Die Kreuzvalidierung ist eine Weiterentwicklung des Split-Sample Tests. Dabei wird die verfügbare Datenmenge in n gleich große Abschnitte aufgeteilt. Nun werden jeweils n − 1 Abschnitte für die Kalibrierung verwendet und der verbleibende Abschnitt für die Validierung. Dabei wird der zu validierende Abschnitt durchgetauscht, so dass jeder Datensatz einmal validiert wurde. Diese Methode ist deutlich rechenaufwändiger als die Split Sample Validierung, hat aber große Vorteile, wenn die Menge der verfügbaren Daten gering ist und bietet die Möglichkeit jeden Datensatz zu validieren. Ein Spezialfall dieser Validierung ist die Leave-One-Out Validierung (LOO). Hierbei wird stets genau ein Datensatz für die Validierung verwendet und die restlichen für die Validierung. Auf Grund des enormen Aufwandes ist diese Art der Validierung meist nur in Spezialfällen möglich.
Proxy Basin Test
Hierbei handelt es sich um einen grundlegenden Test für räumliche Übertragbarkeit eines Modells. Falls beispielsweise der Abfluss in einem nicht bemessenen Gebiet C simuliert werden soll, können zwei bemessene Gebiete A und B innerhalb der Region gewählt werden. Das Modell sollte mit Daten aus Gebiet A kalibriert und mit Daten des Gebiets B validiert werden. Anschließend sollten die Rollen der Gebiete A und B getauscht werden. Nur wenn beide Validierungsergebnisse unter Hinblick der Modellierungsanwendung akzeptabel sind, kann die grundlegende Annahme getroffen werden, dass das Modell in der Lage ist den Abfluss in Gebiet C zu simulieren. Dieser Test sollte auch verwendet werden, wenn ein verfügbarer Datensatz in Gebiet C vorhanden ist, aber für einen Split-Sample Test nicht ausreicht. Der vorhandene Datensatz in Gebiet C würde also nicht für die Modellentwicklung verwendet werden, sondern lediglich als zusätzliche Validierung.
Differential Split-Sample Test
Dieser Test sollte immer dann verwendet werden, wenn ein Modell in einem bemessenen Gebiet unter neuen Bedingungen verwendet werden soll. Dieser Test kann unterschiedliche Varianten aufweisen, abhängig von der Art wie sich Bedingungen/Eigenschaften des Gebietes verändert haben. Hierzu gehören beispielsweise klimatische Veränderungen, Veränderungen in der Landnutzung, Errichtung von Bauwerken, die die Hydrologie im Gebiet beeinflussen und Ähnliches.
Für die Simulation des Effektes durch den Klimawandel, sollte der Test folgende Form haben. Zwei Zeitperioden mit verschiedenen klimatischen Parametern sollten in den historischen Datensätzen identifiziert werden. Beispielsweise eine Zeitperiode mit hohem durchschnittlichen Niederschlägen und eine weitere mit niedrigen Niederschlägen. Falls das Modell für die Abflusssimulation von feuchten Klimaszenarien verwendet werden soll, sollte das Modell mit dem trockenen Datensatz kalibriert werden und mit der Validierung mit dem "feuchten" Datensatz erfolgen. Falls es für die Simulation eines trockenen Szenarios verwendet werden soll, sollte genau umgekehrt vorgegangen werden. Im Allgemeinen sollte die Validierung das Modell unter veränderten Bedingungen testen. Falls in den historischen Daten keine Abschnitte mit signifikant unterschiedlichen klimatischen Parameter identifiziert werden können, sollte das Modell in einem alternativen Gebiet getestet werden, in dem der Differential Split-Sample Test durchgeführt werden kann. Dies ist meistens der Fall, wenn es sich nicht um klimatische Veränderungen, sondern beispielsweise um Änderungen in der Landnutzung handelt. In diesem Falle sollte ein bemessenes Gebiet gefunden werden, in dem eine ähnliche Landnutzungsänderung stattgefunden hat. Die Kalibrierung sollte in diesem Gebiet mit originaler Landnutzung erfolgen und die Validierung auf den Daten mit neuer Landnutzung.
Wenn alternative Gebiete verwendet werden, sollte mindestes zwei derartige Gebiete identifiziert werden. Das Modell wird für beide Gebiete kalibriert und validiert. Die Validierung ist nur dann erfolgreich, wenn die Ergebnisse für beide Gebiete ähnlich sind. Dabei muss beachtet werden, dass der Differential Split-Sample Test im Gegensatz zum Proxy - Basin - Test für beide Gebiete unabhängig durchgeführt wird.
Proxy-basin Differential Split-Sample Test
Wie bereits der Name suggeriert ist dieser Test die Verbindung aus Proxy-basin und Differential Split-Sample Test und sollte dann angewendet werden, wenn ein Modell räumlich übertragbar sein soll und unter veränderten Bedingungen angewendet wird.
