Evaluating the Effect of Objective Functions on Model Calibration

Abstract

Hydrological models are simplified, conceptual representations of the real watershed system. For improvement of the performance of hydrological model, the model parameters are often determined through calibration against the historical record data. In the automatic calibration procedure, the objective functions are used to ascertain the goodness-of-fit of hydrologic model. The results of model calibration depend heavily on the objective function. However, currently used objective functions are largely empirical. In hydrological models, the equifinality is a generic problem. Therefore, the Bayesian approach is widely proposed because it estimates not only the optimal value of model parameters, but also the probability distribution (i.e. uncertainty). Nevertheless, it is difficult to develop a formal likelihood function for Bayesian method. The objective of this study is to evaluate the effect of objective functions on the model calibration. The primary goal is achieved through two parts: theoretical analysis and comparative study. In the theoretical analysis section, this study develops a formal likelihood function and builds a relationship between the likelihood function and the distance- based objective function. In the comparative study section, this study compares the results of model calibration using different objective functions in three cases: likelihood function comparison, multi-response calibration with the river discharge and sediment load objectives, and rainfall-runoff method comparison. The results are shown in the following. The Nash–Sutcliffe efficiency coefficient (NSE) is proved to be equivalent to a kind of likelihood function with Gaussian, independent and identically distributed (I.I.D.) residuals. The hydrological model with NSE simulates high-values (e.g. flood) well, but low-values (e.g. baseflow) badly owing to the assumption of Gaussian error distribution, where the probability of the large error is low, but the small error around zero approximates equiprobability. The scheme of Box-Cox transformation (BC) with minimum variance constraint is proven to be an effective method to estimate the BC parameter (lambda) for removal of the heteroscedasticity (i.e. inconstant variance) of model residuals. The BC-GED proposed by this study is a formal likelihood function, which assumes the model residuals after BC follow the generalized error distribution (GED). The hydrological model with BC-GED mimics baseflow well, which is proved in the groundwater level simulation. The multi-response BC-GED approach also successfully concluded the non-erodibility of main channel only based on the sediment-load data. According to the field survey and previous related studies, the model parameters estimated by BC-GED are more reasonable than those estimated by NSE. The BC-GED objective function can also unify currently used distance-based objective functions (e.g. NSE), and reveals the mean absolute error (MAE) can best balance consideration of the high- and low- values. This study found that the volumetric efficiency (VE, i.e. a normalization of MAE) is appropriate for model comparison, because it always balances consideration of flood and baseflow, no matter what the model structure is. In conclusion, the BC-GED and VE/MAE are more appropriate for automatic calibration than the most widely used NSE in this study. However, this conclusion needs to be validated in the other watersheds and other hydrological models in future.

Hydrologische Modelle sind vereinfachte, konzeptionelle Nachbildungen realer Flusseinzugsgebiete. Zur Optimierung der Abbildungsleistung solcher Modelle werden zahlreiche Modellparameter durch Kalibrierung unter Abgleich von Modellergebnissen und Messdaten erfolgt. Bei der automatischen Kalibrierung werden Zielfunktionen eingesetzt, um die Güte des Modells zu ermitteln. Die Ergebnisse der Modellkalibrierung hängen dabei sehr stark von der verwendeten Zielfunktion ab, wobei die häufig verwendeten Ansätze einen empirischen Charakter aufweisen. Ein allgemeines Problem hydrologischer Modelle ist die häufig auftretende Äquifinalität. Aus diesem Grund wird oftmals der Bayes'sche Ansatz verwendet, da hierbei nicht nur die optimalen Modellparameter bestimmt werden, sondern darüber hinaus auch die Wahrscheinlichkeitsverteilung der Modellfehler abgeschätzt werden kann. Dennoch bestehen nach wie vor Schwierigkeiten, eine gültige Wahrscheinlichkeitsfunktion für den Bayes'schen Ansatz zu entwickeln. Ziel der vorliegenden Untersuchungen ist es, den Einfluss der Zielfunktion auf die Modellkalibrierung zu bewerten. Dieses Ziel soll auf zwei Wegen erreicht werden: eine theoretische Analyse sowie eine Vergleichsstudie. Im Rahmen der theoretischen Analyse wird eine geeignete Wahrscheinlichkeitsfunktion entwickelt und eine Beziehung zwischen Wahrscheinlichkeitsfunktion und abstandbasierten Zielfunktionen hergestellt. Bei der Vergleichsstudie werden die Kalibrierungsergebnisse unter Berücksichtigung unterschiedlicher Zielfunktionen in drei Varianten betrachtet: 1. Vergleich von Wahrscheinlichkeitsfunktionen, 2.) Multi-Response Kalibrierung unter Berücksichtigung von Abflusswerten und Sedimentfrachten sowie 3.) Vergleich unterschiedlicher Ansätze zur Beschreibung der Abflussbildung. Der Nash-Sutcliffe Koeffizient (NSE) entspricht einer Wahrscheinlichkeitsfunktion mit Gauß'schen, unabhängig und identisch verteilten Residuen. Unter Berücksichtigung des NSE als Zielfunktion ergibt sich bei der Modellkalibrierung eine gute Abbildung von hohen Abflusswerten (z.B. Hochwasserereignisse) Die niedrigen Abflüsse werden durch die Annahme einer Gauß'schen Fehlerverteilung schwach abgebildet, da die Häufigkeit großer Residuen gering ist, kleine Residuen um den Wert 0 herum jedoch zu einer gleichen Wahrscheinlichkeit tendieren. Eine effektive Lösung zur Eliminierung Heteroskedastizität in den Residuen stellt die Box-Cox Transformation unter Abschätzung des BC Parameters Lambda dar. Der BC-GED Ansatz, der im Rahmen dieser Studie entwicklet wird, ist eine gültige Wahrscheinlichkeitsfunktion, bei der davon ausgegangen wird, dass die Residuen der Modellergebnisse der Generalized Error Distribution (GED) folgen. Wird der BC-GED Ansatz als Zielfunktion bei der automatischen Kalibrierung eingesetzt, ergibt sich eine gute Abbildung des Trockenwetterabfluss, was sich auch in den modellierten Grundwasserspiegeln widerspiegelt. Der Multi-Response BC-GED Ansatz Der Vergleich mit Felduntersuchungen und früheren Studien zeigt, dass die Modellparameter, die mit dem BC-GED Ansatz abgeschätzt werden, realistischer sind, als die mit dem NSE als Gütemaß ermittelten Werte. Die BC-GED Zielfunktion vereinheitlicht die häufig verwendeten abstandsbasierten Verfahren (z.B. NSE) und zeigt, dass der Mean Absolute Error (MAE) eine Balance zwischen der Abbildung hoher und niedriger Werte ermöglicht. Die Studie veranschaulicht darüber hinaus, dass die Volumetric Efficiency (VE, d.h. eine Normalisierung des MAE) als Gütemaß geeignet ist, da unabhängig von der Modellstruktur eine Balance zwischen Hochwasserereignissen und Trockenwetterabfluss erreicht wird. Insgesamt lässt sich folgern, dass der BC- GED Ansatz und VE/MAE für die automatische Kalibrierung besser geeignet sind, als der sehr häufig verwendete Nash-Sutcliffe Koeffizient (NSE). Allerdings sollte diese Schlussfolgerung zukünftig für andere Einzugsgebiete sowie andere Modellsysteme untersucht und validiert werden.