Índice 1 Motivação 2 Requisitos 3 Calibração 3.1 Calibração offline 3.2 Calibração on-line 3.3 Operando o OPTAS 3.4 Validação do Modelo 3.4.1 A validação de Split Sample (amostra dividida) 3.4.2 Validação em Cruz 3.4.3 Proxy Basin Test 3.4.4 Teste Diferencial de Split-Sample 3.4.5 Proxy-basin Differential Split-Sample Test

Motivação

A fim de aplicar modelos hidrológicos com sucesso é necessário primeiro definir os parâmetros do modelo com precisão. A medição direta dos parâmetros não é possível na maioria dos casos, ou é muito cara ou não há uma relação física clara. Por essas razões os parâmetros são ajustados em um processo de tentativa e erro, na medida em que os fatores simulados (escoamento, por exemplo) correspondem melhor aos valores medidos. Esta tarefa pode ser demorada e difícil, se o modelo correspondente é complexo ou tem um grande número de parâmetros.

Requisitos

Um requisito básico é, naturalmente, um modelo de funcionamento. Para avaliar a qualidade de uma simulação individual é usada uma medida singular na maioria dos casos. Exemplos utilizados são o erro médio quadrado ou a eficiência de Nash-Sutcliff. No JAMS (Jena Adaptable Modelling System) foi colocada à disposição por esta razão a Calculadora de Eficiência Padrão (Standard Efficiency Calculator). A imagem abaixo mostra um exemplo de configuração deste componente.

O componente calcula as eficiências listadas no parâmetro effMethod com:

• 1 -> Nash - eficiência Sutcliff com potência 1
• 2 -> Nash - eficiência Sutcliff com potência 2
• 3 -> Nash - Sutcliff eficiência dos valores logarítmicos com potência 1
• 4 -> Nash - Sutcliff eficiência dos valores logarítmicos com potência 2
• 5 -> Index of Agreement (1)
• 6 -> Index of Agreement (2)
• 7 -> coeficiente de regressão
• 8 -> WR2
• 9 -> DSGRAD
• 10 -> Erro de volume absoluto
• 11 -> erro médio quadrático
• 12 -> PBIAS
• 13 -> PBIAS2

Usando os atributos validation e prediction os dados de simulação e validação são transferidos para o componente, a fim de compará-los. O intervalo de tempo em que ambos os períodos de tempo devem ser comparados é determinado pelo atributo effTimeInterval. O modelTimeInterval mostra o tempo de modelagem. Na maioria das aplicações, esses dois intervalos de tempo não correspondem. Muitos modelos mostram mapeamentos ruins no início do processo de modelagem, uma vez que muitas vezes é necessário um certo tempo até que as condições internas tornem-se estacionárias. Esse tempo de inicialização normalmente não deve ser considerado. Muitas vezes as qualidades dos modelos em um determinado período de tempo são de interesse (por exemplo, durante o degelo), de modo que diversos componentes de eficiência podem ser utilizados, os quais se relacionam a diferentes períodos de tempo.

Calibração

Existem dois métodos comuns para calibrar um modelo com a Calculadora de Eficiência Padrao integrada:

Calibração offline

Primeiro, é possível realizar uma calibração localmente em seu próprio computador. No entanto, isso utiliza recursos de computação por um longo período de tempo.

Passo 1

Abra o JAMS User Interface Model Editor (JUICE). Carregue o modelo que deseja calibrar. A janela seguinte deve aparecer

Passo 2

Selecione a entrada Assistente de calibração no item Modelo. Uma caixa de diálogo deve aparecer, a qual oferece uma configuração de calibração (ver imagem).

Passo 3

No meio da área de diálogo sobre o lado esquerdo os parâmetros potenciais do modelo são listados. Selecione os parâmetros da lista que deve ser calibrada. Se quiser selecionar mais de um parâmetro, pressione a tecla CTRL ao selecionar os mesmos. Agora pode-se ver vários campos de entrada para cada parâmetro ao lado direito. Pode-se escolher o limite inferior e superior que definem a área na qual o parâmetro pode variar. Além disso, é possível definir um valor inicial. Isso faz sentido, se um parâmetro já é conhecido como bom ponto de partida para a calibração.

Passo 4

Na área inferior da caixa de diálogo, a função de destino ou de finalidade é especificada. Podem ser selecionados ou um critério único ou vários critérios (para mais de uma segure a tecla CTRL). Ao escolher-se vários critérios, cria-se um problema de otimização multi-critérios, que difere significativamente de um problema de otimização (comum) de um critério, quanto à sua solução. Uma vez que nem todos os métodos de otimização são adequado para um problema multi-critérios, nem todos os otimizadores ficam à disposição neste momento.
Para cada critério de otimização selecionado, uma caixa de listagem aparece no lado direito desta seção. Ela determina se o critério deverá ser minimizado, maximizado, absolutamente minimizado (isso é min |f (x)| por exemplo, para o erro do volume absoluto)
ou absolutamente maximizado.

Passo 5

Quando os parâmetros e critérios-alvo são selecionados, é necessário escolher um método de otimização para a calibração. Na área superior da caixa de diálogo você pode ver uma caixa de listagem, que lista vários métodos de otimização. Nesse dado momento os métodos a seguir estarão disponíveis:

• Shuffled Complex Evolution
• Branch and Bound
• Nelder Mead
• DIRECT
• Gutmann Method
• Gerador de Amostra Aleatória (Random Sampling)
• Latin Hypercube Random Sampler
• Otimizador de Processo Gauß
• NSGA-2
• MOCOM
• Gerador de Amostra Aleatória Paralelizado
• SCE paralelizado

Para a aplicação com critério-alvo único o Shuffled Complex Evolution (SCE) e DIRECT são recomendados. Ambos encontram com alta probabilidade uma parametrização global otimizada. Também foi comprovado que o DIRECT demonstra um operação muito robusta e uma parametrização do processo torna-se desnecessária. O SCE só precisa de um parâmetro: o Anzahl der Komplexe (número de complexos). Este parâmetro controla indiretamente, se a área de busca do parâmetro é pesquisada de forma ampla ou se o processo rapidamente se concentra em um mínimo (dadas as circunstancias, um mínimo local). Na maioria dos casos, o valor padrão 2 pode ser utilizado. Para a otimização de multi-critérios o NSGA - 2 parece dar resultados muito bons. No entanto, análises mais detalhadas ainda não foram realizadas.

Além disso, existem três caixas de seleção disponíveis, independente do método escolhido.

• Irrelevante Komponenten entfernen: exclui os componentes da estrutura do modelo que certamente não influenciam o critério de calibração
• GUI Komponenten entfernen: elimina todos os componentes gráficos do modelo de estrutura. Esta opção é altamente recomendável, pois por exemplo, diagramas têm uma forte influência negativa sobre a calibração.
• Modellstruktur optimieren: no momento sem função

Passo 6

Para terminar a configuração, clique no botão “XML erzeugen”. Isso fecha o diálogo e um novo modelo (modificado) estará configurado. Inicia-se a calibração, simplesmente dando-se início a modelagem. Por favor, tenha em mente que o assistente de calibração modifica suas Datastores de dados de saída de tal forma que para cada modelo executado durante a calibração, são criados parâmetros de modelo e critérios-alvo. Se quiser evitar essa saída, exclua o arquivo optimization_wizard_optimizer.xml manualmente.

Calibração on-line

Como uma alternativa à calibração off-line, o processo pode ser realizado no cluster de computação do Departamento de Geoinformática, Hidrologia e Modelagem na Friedrich-Schiller Universidade Jena. Esse processo não ocupa todos os recursos de computação locais e permite uma calibração de até quatro modelos ao mesmo tempo.

Passo 1

Abra o seu navegador de Internet (por exemplo, o Firefox) e vá ao site[[1]]Agora pode-se ver a seguinte janela, um login será necessário. Para se cadastrar, entre em contato com:

• Christian Fischer
• Christian.fischer.2@uni-jena.de

Passo 2

Depois do registro, pode-se ver a janela principal do aplicativo.

A janela é dividida em três partes. No meio pode-se ver uma lista de todas as tarefas que foram iniciadas. Todas as tarefas que foram acabadas são marcadas com a cor azul e as tarefas que estão sendo realizadas no momento são marcados com verde. Entradas em vermelho indicam que ocorreu um erro durante a configuração de uma nova tarefa / calibração. A parte direita da janela mostra diferentes conteúdos. Ao iniciar-se o aplicativo, pode-se ver notícias sobre o projeto OPTAS. Em geral, são mostradas informações até um tamanho de 1 megabyte. Tamanhos maiores de dados não são mostrados, porque eles afetam a visualização da página. Em vez disso, um arquivo zip é criado a partir da informação que é então disponibilizada para download.

Passo 3

Para realizar uma nova calibração, clique em Create Optimization Run. Será exibido agora o primeiro passo do processo de calibração.

Nesta etapa, deve-se digitar os dados necessários. Carregue o modelo para calibração (arquivo jam) na caixa de diálogo do primeiro arquivo. Comprima agora seu diretório de trabalho do modelo como um arquivo zip. Um dos programas adequados é, por exemplo, o 7-zip. Por favor note que:

• O diretório de trabalho não pode estar em uma subpasta
• Não se deve carregar arquivos desnecessários (por exemplo, na pasta de arquivo de saída). O upload é limitado a 20mb.
• O arquivo default.jap não é permitido no diretório de trabalho

Agora carregue o diretório de trabalho compactado para a segunda área de seleção. A modelagem geralmente é realizada usando a versão atual do JAMS/J2000. Bibliotecas para J2000g e J2000-S estão geralmente disponíveis, de forma que não se necessita de outros arquivos para a maioria das aplicações. 
Se precisar de todas as versões de bibliotecas de componentes particularmente adaptadas aos modelos J2000, J2000-S ou J2000g, por favor, carregue-as (não compactados) para as áreas de arquivo correspondentes. Se seus modelos requerem bibliotecas adicionais, você pode selecioná-las como um arquivo zip na caixa de diálogo de arquivo correspondente. Para finalizar, clique em Enviar. Os arquivos selecionados estão sendo agora carregados no ambiente do servidor. O servidor de gerenciamento (sol) verifica o host para as capacidades livres e atribui um host para sua tarefa.

Passo 4

Depois de transferir o modelo e o espaço de trabalho, a seguinte janela de diálogo para a seleção de parâmetros e critérios-alvo aparece:

A primeira lista mostra todos os possíveis parâmetros do modelo. Selecione os parâmetros que deseja calibrar. Se deseja selecionar vários parâmetros, segure a tecla CTRL quando marcá-los. Na parte de baixo da caixa de diálogo uma função de destino é especificada. Pode-se selecionar um único ou vários critérios (segure a tecla CTRL). Ao selecionar vários critérios, um problema de otimização multi-critérios é criado, o qual se diferencia significativamente de um problema de otimização (comum) de um critério, em relação às características de sua solução. Uma vez que nem todos os métodos de otimização são adequados para problemas multi-critérios, nem todos os otimizadores estarão disponíveis neste caso.

Passo 5

Nesta etapa, o intervalo válido de valores deve ser especificado para cada parâmetro. Para cada parâmetro selecionado um campo de entrada está disponível para a especificação de limites superiores e inferiores. Os campos são ocupados por valores padrão, se eles estiverem disponíveis para o parâmetro específico. Esses valores padrão são em sua maioria muito amplos, por isso, é recomendável realizar outras restrições. Além disso, existe a possibilidade opcional para indicar o valor inicial. Isso é útil se um conjunto adequado de parâmetros já está disponível, que é tomado como o ponto de partida da calibração.

Na segunda parte, pode-se escolher para cada critério, se esse deve ser

• Minimizado (exemplo RSME - root mean square error),
• Maximizado (exemplo r ², E1, E2, logE1, loge2),
• Absolutamente minimizado (quer dizer, min |f(x)| por exemplo, para o erro de volume absoluto),
• Ou absolutamente maximizado.

A imagem seguinte mostra a caixa de diálogo correspondente. Nesse exemplo, os parâmetros do módulo de neve foram escolhidos e os limiares padrão foram inscritos.

Passo 6

Agora é necessário escolher o método de otimização desejada. No momento, os seguintes métodos estão disponíveis:

• Shuffled Complex Evolution (Duan et al., 1992)
• Branch and Bound (Horst et al., 2000)
• Nelder Mead
• DIRECT (Finkel, D., 2003)
• Método Gutmann (Gutmann ..?)
• Gerador de Amostra Aleatória (Random Sampling)
• Latin Hypercube Random Sampler
• Gaußprozessoptimierer
• NSGA-2 (Deb et al.,?)
• MOCOM ()
• Gerador de Amostra Aleatória Paralelizado
• SCE paralelizado

Para a maioria das aplicações de um critério, o Shuffled Complex Evolution (SCE) e o método DIRECT são recomendados. Multi-critérios para as tarefas do NSGA-2 na maioria das vezes oferece excelentes resultados.

Passo 7

Muitos otimizadores podem ser parametrizados de acordo com a tarefa específica. O SCE tem um parâmetro livremente selecionável: o número de complexos (Anzahl der Komplexe). Um valor pequeno leva a uma convergência mais rápida, embora com maior risco de não se poder identificar a solução global. Por sua vez, um valor grande aumenta o tempo de cálculo significativamente, mas a probabilidade de se encontrar um optimum melhora muito. Na maioria das vezes pode-se trabalhar com o valor padrão 2. Em contraste, o DIRECT, por exemplo, não possui parâmetros, demonstra um comportamento muito robusto e nenhuma parametrização do método faz-se necessária. Além disso, três caixas de seleção estão disponíveis, as quais não estão sujeitas ao método específico.

• remove not used components: remove componentes do modelo de estrutura que definitivamente não influenciam o critério de calibração
• remove GUI-components: remove todos os componentes gráficos do modelo de estrutura. Esta opção é altamente recomendável pois, por exemplo, diagramas influenciam a eficiência da calibração de uma forma muito negativa
• optimize model structure: no momento sem função

A imagem abaixo mostra a etapa 7 para a configuração do método SCE.

Passo 8

Antes de se iniciar a otimização, pode-se indicar quais variáveis ​​/ atributos do modelo devem aparecer no arquivo de saída. Por padrão, os parâmetros e critérios alvo que já tenham sido escolhidos são emitidos no arquivo de saída, o que torna desnecessária a seleção manual dos mesmos. Note-se que o armazenamento de atributos que variam temporal e espacialmente (zB outRD1 für jede HRU) pode se tornar enorme e isso pode exceder a capacidade de armazenamento máximo de sua conta de usuário.

Passo 9

Agora um resumo de todas as modificações que foram realizadas automaticamente é emitido. Particularmente, tem-se uma lista de componentes que são classificados como irrelevantes. Clicando em Enviar, iniciar-se o processo de otimização.

Operando o OPTAS

Depois de se ter começado a calibração do modelo, deve-se ver agora uma nova atividade na página principal. Isso é mostrado em verde para indicar que a execução ainda não está concluída. O ID também, a data de início e a data estimada de conclusão para a otimização são exibidos na tela. Se selecionar o trabalho gerado, várias opções estarão à sua disposição.

Show XML

Pode-se ver a descrição do modelo para a realização deste trabalho que foi automaticamente gerado. Assim que se clicar no botão, ele aparece no lado direito da janela e pode ser também baixado a partir de lá.

Show Infolog

Clique neste botão, a fim de exibir mensagens de status do modelo atual. Ao usar uma execução offline do modelo esta informação está escrita no arquivo info.log ou error.log.

Show Ini

O arquivo de otimização Ini contém todas as configurações aplicadas e resume-as de forma abreviada. Esta função é para o usuário avançado ou desenvolvedor, portanto, não há outras explicações sobre ela aqui.

Show Workspace

Esta função lista todos os arquivos e diretórios no espaço de trabalho (Workspace). Ao clicar sobre o diretório/arquivo seu conteúdo é mostrado. Os resultados de modelagem podem ser encontrado na pasta /current/ que é apresentada como exemplo na imagem a seguir.

Note-se aqui que os conteúdos do arquivo só podem ser apresentados até um tamanho máximo de 1 megabyte. Em outro caso eles são compactados em um arquivo zip e disponibilizados para download.

Show Graph

Dependências entre os diferentes componentes JAMS de um modelo podem ser exibidas graficamente. Esta função gera um grafico direcionado, cujo pontos representam o número de todos os componentes do modelo. Neste gráfico, um componente A é ligado a um componente B, se A é dependente de B, no sentido de que B gera dados que são diretamente utilizados por A. Além disso, todos os componentes que foram excluídos durante a configuração do modelo são mostrados em vermelho. Este gráfico de dependência permite uma análise das relações complexas de dependência, como por exemplo a determinação de componentes que são indiretamente dependentes de um certo parâmetro. Tais análises devem ser, contudo, automatizadamente executadas. A saída gráfica deste gráfico é utilizada principalmente para a visualização.

Stop Execution Interrompe o processo de uma ou mais execuções de modelo.

Excluir Workspace Exclui a área de trabalho completa do modelo no ambiente do servidor. Por favor use esta função quando a otimização estiver concluída e quando os dados tiverem sido salvos. Este procedimento descarrega o ambiente do servidor e acelera a exibição do ambiente OPTAS.

Modify & Restart Esta função é dirigida a usuários avançados. Muitas vezes, uma reinicialização de um modelo ou uma tarefa de calibração é necessária, sem mais necessidade de modificações na configuração. Usando a função Modifiy & Restart, o arquivo de configuração da otimização pode ser diretamente alterado e depois o reinício do modelo pode ser aplicado em um novo espaço de trabalho.

Refresh View Atualiza a exibição. Por favor, não use a função de atualização do seu navegador (normalmente F5) uma vez que este leva a uma re-execução do último comando (por exemplo, o inicio do modelo).

Validação do Modelo

A validação do modelo serve como evidência para a adequação de um modelo para um determinado fim pretendido (Bratley et al. 1987). A validação do modelo é uma ferramenta importante para a garantia da qualidade. Um modelo é de tal forma útil para a implementação, se ele prova ser uma representação confiável de processos reais (Power, 1993). Diferentes códigos e provas podem ser necessários dependendo da finalidade e tipo do modelo, a fim de validá-lo.

Em geral, há diferentes critérios de qualidade que desempenham um papel de validação do modelo:

• Precisão/acuracidade: A precisão de um modelo representa o desvio dos valores simulados em comparação com os valores (medidos) reais. Ela é principalmente quantificada pela eficiência Nash-Sutcliffe, o grau de determinação ou do erro médio quadrado.
• Incerteza: Os valores de entrada de um modelo ambiental, muitas vezes contêm erros e incertezas. Além disso, não há conhecimento completo a respeito de um sistema natural, ou seja, a modelagem tem incertezas. O impacto desses valores é quantificado pela incerteza do modelo, ou seja, a incerteza revela o intervalo de confiabilidade de uma resposta de modelo.
• Robustez: A capacidade do modelo para manter a sua função, se houver (pequenas) mudanças no sistema natural (por exemplo, mudança de uso da terra numa área de influência). Esta está intimamente ligada à
• Sensibilidade: o que indica a influência de (pequenas) alterações nos dados de entrada e parâmetros do modelo sobre o resultado
• Validade: é a propriedade do modelo de fornecer resultados corretos pelas razões certas, ou seja, a explicação para um sistema que é dada pelo modelo está correta.

Os métodos a seguir para a validação de modelos hidrológicos foram apresentadas por Klemes (1986).

A validação de Split Sample (amostra dividida)

A quantidade de dados de validação que estiver disponível (por exemplo, escalas de tempo de escoamento) é dividida em duas seções. Primeiro, a seção 1 é usada para a calibração e a seção 2 para a validação do modelo. Então a parte de calibração e a parte de validação são trocadas. Por esta razão, ambas as seções devem ter um tamanho igual e fornecer um quantidade de dados suficientemente grande para a calibração. O modelo pode ser classificado como aceitável se os resultados de validação são semelhantes e têm propriedades suficientes para a aplicação do modelo. Se a quantidade de dados disponíveis não é grande o suficiente para uma divisão 50/50, os dados devem ser divididos de tal forma que um segmento seja grande o suficiente para realizar uma calibração razoável. A parte restante é usado para a validação. Neste caso, a validação deve ser realizada de duas maneiras diferentes. Por exemplo, (a) os primeiros 70% dos dados são usados ​​para a calibração e os 30% restantes para validação, (b), então os últimos 70% dos dados para a calibração e os restantes primeiros 30% para validação.

Validação em Cruz

A Validação cruzada é um desenvolvimento adicional do teste por Split Sample. A quantidade de dados é dividido em n seções de igual tamanho. Agora n − 1 seções são usadas para a calibração e a parte restante é usada para a validação. O montante para a validação é trocado, de forma que cada conjunto de dados seja validado uma vez. Este método requer muito mais esforço computacional do que a validação por Split Sample, mas ele possui grandes vantagens, se apenas uma pequena quantidade de dados estiver disponível e ele também permite uma validação de qualquer tipo de conjunto de dados. Um caso especial desta validação é a validação Leave-One-Out (LOO). Ela sempre usa exatamente um conjunto de dados para a validação e a parte restante para a validação. Devido ao enorme esforço operacional este tipo de validação é aplicada principalmente em casos especiais.

Proxy Basin Test

Este é um teste básico sobre a possibilidade de transferência espacial de um modelo. Se, por exemplo, o escoamento tiver que ser simulado para uma área C não-medida, duas áreas de medição A e B podem ser selecionadas dentro da região. O modelo deve ser calibrado com dados da área A e validado utilizando dados da área B. Em seguida, os papéis da área A e B devem ser trocados. Somente se ambos os resultados de validação são aceitáveis ​​em relação ao aplicativo de modelagem, pode-se supor que, basicamente, o modelo é capaz de simular o escoamento da área C. Este teste também deve ser aplicado se uma quantidade de dados está disponível para a área C que não é suficiente para o teste da amostra dividida (Split Sample Test). O conjunto de dados na área C não seria usado para o desenvolvimento do modelo, mas apenas como uma validação adicional.

Teste Diferencial de Split-Sample

Este teste deve sempre ser usado se um modelo tem de ser aplicado sob novas condições em uma área medida. O teste pode ter diversas variantes, dependendo da maneira na qual as condições/propriedades da área mudaram. Essas mudanças incluem, por exemplo, mudanças climáticas, mudanças de uso da terra, construção de edifícios, que influenciam a hidrologia da região, etc.

Para a simulação dos efeitos das mudanças climáticas o teste deve ter a seguinte forma. Dois períodos de tempo com parâmetros climáticos diferentes devem ser identificados em conjuntos de dados históricos, por exemplo, um período de precipitação média-alta e outro período de baixa precipitação. Se o modelo tiver que ser usado para a simulação de escoamento de cenários de clima úmido, o modelo deve ser calibrado com o conjunto de dados árido e a validação deve ser realizada com o conjunto de dados "úmido". Se ele tiver que ser usado para a simulação de um cenário árido, o procedimento deve ser revertido. Em geral, a validação deve testar o modelo em condições alteradas. Se nenhuma seção com parâmetros climáticos significativamente diferentes puder ser identificada em dados históricos, o modelo deve ser testado em outra área onde o diferencial de divisão da amostra de teste possa ser realizado. Isto é principalmente o caso se as mudanças climáticas, mas não, por exemplo, mudanças de uso da terra, são consideradas. Neste caso, uma área medida tem de ser identificada, onde mudanças similares de uso da terra tenham ocorrido. A calibração deve ser realizada nessa área com o uso do solo original e a validação através dos dados de uso novo da terra.

Se áreas alternativas são usadas, pelo menos duas áreas desse tipo devem ser identificadas. O modelo é calibrado e validado para ambas as áreas. A validação só pode ser bem sucedida se os resultados para ambas as áreas são semelhantes. É de notar-se que o diferencial do Split-Sample Test, em contraste com o proxy-basin-test, é realizado para ambas as áreas de forma independente.

Proxy-basin Differential Split-Sample Test

Como o nome já sugere, este teste é uma combinação dos testes proxy-basin e Differential Split-Sample e deve ser usado se um modelo necessita ser espacialmente transferível e se o mesmo for aplicado sob condições alteradas.