A propos des performances du GEM-GLB

[Jean-François]

Bonjour,

 

Quelques chiffres pour répondre aux propos exprimés par Réjean dans un autre sujet, à propos de la version globale du modèle GEM:

 

http://meteocentre.com/forums/topic/8001-tempte-potentielle-tard-jeudi-samedi/?p=145040

Regg001, on 18 Dec 2012 - 23:28, said:public/style_images/master/snapback.png

[...] Mais la le GEM, on a beau sortir de nouvelles versions du modèles - il me semble que quelqu'un fait fausse route. Je travaille en informatique, et parfois vaut mieux revenir en arrière sur une implantation qui tourne mal que de persister à essayer d'arranger quelque chose qui est tout croche. Et en ce moment, me semble que quelqu'un doit se rendre compte que ça ne va pas, et que ça ne s'en va pas dans la bonne direction non plus.

 

Il est vrai que le GEM-GLB n'a pas très bien performé face à ses principaux rivaux les derniers mois (Novembre surtout) et ceci paraît dans le tableau suivant qui montre la comparaison des "scores" mensuels (plus la valeur est petite, meilleur est la prévision, en moyenne) sur la dernière année pour les prévisions au jour 5 (+120h). Avant l'automne, il se maintient, comme à l'habitude, près du GFS et en retrait du UKMET et du ECMWF.

 

 

Toutefois, ces récentes mauvaises performances ne sont pas associé à une dégradation quelconque dans la qualité du modèle car aucun changements n'a eu lieu au courant de cette période. Ceci est dû soit au hasard et/ou à des améliorations chez ses concurrents. On peut se convaincre que les prévisions du GEM-GLB s'améliorent toujours peu à peu avec le temps en regardant la série temporelle des mesures de performance à +120h depuis 1987. En faisant abstraction des variations saisonnières, on note une tendance constante vers de meilleurs prévisions.

 

 

Le GEM-GLB subira très prochainement (quelques semaines) une mise à jour majeure. Entre autres, la résolution passera à 25 km et plusieurs correctifs seront ajoutés à la physique du modèle. Voici la comparaison des performance du nouveau GEM-GLB (gdps_25km) vs la version présentement opérationnelle (Global_Op) pour la période allant de la fin octobre à aujourd'hui. On peut y constater une légère amélioration pour la quasi-totalité des échéances.

 

 

Et une nouvelle version est déjà en préparation. Celle-ci devrait porter la résolution à 15km et devrait voir le jour dès l'été prochain!

 

Cela dit, il serait faux de penser que le tableau est entièrement rose. Même avec tout ces ajouts, le GEM-GLB restera assurément moins bon, en moyenne, que les modèles du UKMET et de l'ECMWF. Avec un peu de chance, il rattrapera le GFS. Pourquoi? Beaucoup une question de moyen financier, mais pas uniquement (en preuve les États-Unis, les plus nantis, qui n'arrivent pas à faire jeu égal avec le UK et le centre Européen). Au CMC, il est clair que pas suffisamment d'effort (toute proportion gardée) sont mis sur la physique du modèle...

 

 

[Wave]

Merci monsieur Caron pour ces informations sur le GLB !

[A.Theunissen]

Est-ce qu'au long terme, très long terme, il est envisagé de laisser tomber le modèle ou on prévoit continuer le programme même s'il reste en queue de peloton année après année ? Si l'on se fit toujours aux meilleurs modèles pour faire une prévision, il ne serait pas fou de faire en sorte de créer un seul modèle en utilisant les données du GEM-GFS-NAM-UK-ECMWF ? Un super modèle quoi.

Modifié le 19 décembre 2012 par A.Theunissen

[Romie]

Un genre de Hara kiri ! Difficile d'envisager un tel dénouement car je présume que chaque pays tient à sa souveraineté, en particulier les voisins du sud et le centre Européen en tête de peloton.

[Regg001]

Merci Jean-François pour l'analyse et les données.

 

Les commentaires que j'ai fait étaient surtout qu'il y a 1 an ou même avant, en hiver le GEM était vraiment le modèle à suivre malgré parfois des scénarios difficiles à croire. Je me suis mordu les doigts plus souvant qu'autrement à ne pas le suivre dans le passé.

 

Mais depuis la version qui a été mise en place le printemps dernier, je ne m'y retrouve pas dans ce qu'il prévoit pour les conditions hivernales. Tu mentionnes le GLB, mais même le REG n'est pas l'ombre de ce qu'il a déja été, ça semble surtout l'affecter en condition hivernale. Tout l'été, j'ai pu faire d'assez bons pronostiques avec le REG et LAM sur du temps violents en retenant leur données et croisant le tout avec les autres. Mais depuis le début de l'hiver, je l'ai tassé parce qu'il n'apporte que confusion dans des situations biens établies dans tous les autres modèles.

 

Bref, l'impression générale c'est qu'une ou deux évolutions plus tard - le modèle est parti de fiable/très fiable, à douteux/très douteux. De là mon expression, on ne s'en va pas dans la bonne direction. Anyway, j'suis pas mal certain que des personnes bien plus à propos que moi on remarqué/subit cette dégradation. Je m'imagine les prévisionistes qui doivent faire avec en sachant que la solution n'est peut-être pas la bonne - ça doit être un méchant dilemme politique à l'interne pour l'agence.

[Jean-François]

Merci Jean-François pour l'analyse et les données.

 

Les commentaires que j'ai fait étaient surtout qu'il y a 1 an ou même avant, en hiver le GEM était vraiment le modèle à suivre malgré parfois des scénarios difficiles à croire. Je me suis mordu les doigts plus souvant qu'autrement à ne pas le suivre dans le passé.

 

Mais depuis la version qui a été mise en place le printemps dernier, je ne m'y retrouve pas dans ce qu'il prévoit pour les conditions hivernales. Tu mentionnes le GLB, mais même le REG n'est pas l'ombre de ce qu'il a déja été, ça semble surtout l'affecter en condition hivernale. Tout l'été, j'ai pu faire d'assez bons pronostiques avec le REG et LAM sur du temps violents en retenant leur données et croisant le tout avec les autres. Mais depuis le début de l'hiver, je l'ai tassé parce qu'il n'apporte que confusion dans des situations biens établies dans tous les autres modèles.

 

Bref, l'impression générale c'est qu'une ou deux évolutions plus tard - le modèle est parti de fiable/très fiable, à douteux/très douteux. De là mon expression, on ne s'en va pas dans la bonne direction. Anyway, j'suis pas mal certain que des personnes bien plus à propos que moi on remarqué/subit cette dégradation. Je m'imagine les prévisionistes qui doivent faire avec en sachant que la solution n'est peut-être pas la bonne - ça doit être un méchant dilemme politique à l'interne pour l'agence.

 

Salut Réjean,

 

Les dernières modifications au GEM-GLB datent de l'automne 2011 (http://collaboration.cmc.ec.gc.ca/cmc/CMOI/product_guide/docs/changes_f.html), il n'y a donc pas de raisons autres que le hasard ou le type de patron météo qui pourraient expliquer qu'il soit moins bon cet hiver que l'hiver dernier. Par contre, rien ne laisse croire qu'il est moins performant cet hiver selon les chiffres que j'ai pu voir. Je crois plutôt que c'est le fait que des améliorations significatives ont été apporté au GFS en mai dernier (http://www.nws.noaa.gov/os/notification/tin12-22gfs_hybridaab.htm) qui expliquent pourquoi le GEM-GLB semble "relativement" moins performant.

 

Pour ce qui est du GEM-REG, il a été mis à jour en Octobre dernier et, jusqu'à présent, les vérification objectives et subjectives (par les prévisionnistes) notent une amélioration par rapport à l'ancienne version. Et contrairement au modèle global, les chiffres montrent que le nouveau régional performe mieux que le NAM!

[Regg001]

J'ai indiqué le printemps, c'était pour les changements au modèles GEM (SHRPD et SRPD) qui a été mis à niveau (effectivement à l'automne dernier) et rétouché en décembre - mon erreur. Mais ça ne change pas le sens du reste du texte qui était exprimé en condition hivernale et estivale. Et je redis, le GEM Reg pour des conditions estivales me permet d'avoir plus de succès qu'avant - mais en mode hivernale, c'est la dèche. Aussi je parlais des hivers précédent (pas du dernier qui était vraiment très particulier de toute façon).

 

Qu'il soit mieux ou pire qu'un autre est très secondaire.. Est-ce qu'il donne l'heure juste ou non est plus pertinent selon moi. La météo, c'est souvant une question de perception (je te rejoins là dessus) et actuellement la perception n'est pas très bonne.

 

D'un autre côté je regarde les succès du domaine privé, et je trouve étonnant ces réussites - tout en comprenant que l'ampleur est différente et le contexte également.

Modifié le 23 décembre 2012 par Regg001

[beachcp31]

Jean-François, est-ce que tu sais si dans les évaluations des performances du modèle, la trajectoire et l'intensité des centres dépressionnaires sont évalués également?

[Jean-François]

Christian: Oui et c'est rendu possible grâce à MétéoCentre: http://meteocentre.com/tracking/verif/ . J'ai d'ailleurs ajoutée dernièrement la vérification des ensembles globaux du CMC et de NCEP suite à une requête du CMC (salutations ici à Olivier).

 

Ce n'est toutefois pas optimal car ces cartes imposent de faire du cas par cas et ne permettent pas une mesure objective calculée sur de longues périodes... Mais, pour le moment, je n'ai pas l'intention de m'aventurer jusque là sur MétéoCentre. EC a maintenant mon code pour faire le suivi des dépressions, à eux de jouer maintenant

[beachcp31]

Christian: Oui et c'est rendu possible grâce à MétéoCentre: http://meteocentre.com/tracking/verif/ . J'ai d'ailleurs ajoutée dernièrement la vérification des ensembles globaux du CMC et de NCEP suite à une requête du CMC (salutations ici à Olivier).

 

Oui je sais bien que cela a été rajouté dans les pages de MC, mais je faisais plutôt référence à des vérifications sur de longues périodes et des scores de performance... comme tu indiques ci-dessous.

 

Christian

 

Ce n'est toutefois pas optimal car ces cartes imposent de faire du cas par cas et ne permettent pas une mesure objective calculée sur de longues périodes... Mais, pour le moment, je n'ai pas l'intention de m'aventurer jusque là sur MétéoCentre. EC a maintenant mon code pour faire le suivi des dépressions, à eux de jouer maintenant

[serge44]

Bonjour,

 

J,ai comparé le gem reg et le nam depuis 10 jours ici. seulement pour les précipitations de neige .

 

Même si il n,a pas neigé beaucoup ici duran cette période .

 

 

Le résultat pour le dernier modèle qui sort avant que les précipitations débute est très bon pour le gem rég et très mauvais pour le nam pour 3 période ou il s,est accumulé un peu de neige.

 

ex cette après midi selon le nam 0.5 cm et gem rég 5 cm

 

4 cm de neige sont tombé depuis ce midi ici .

 

vendredi soir selon le nam 0.5 cm en neige et gem rég 7 cm résultat il est tombé 4 cm de neige avant la pluie.

 

vendredi de la semaine dernière nam 2 cm de neige gem rég 6cm résultat 7cm ..

 

Tout dépend de l,endroit ou de l,époque de l.année mais de ce temps ci chez moi le gem rég est gagnant. . mieux que l,euro en passant depuis 10 jours.

[Regg001]

Serge, en étant en bordure de mer - un modèle qui amplifie la chaleur sera avantagé vs un autre plus froid. C'est pour ça qu'il faut vérifier sur un ensemble d'endroits pour s'assurer qu'il n'y a pas de biais favorable (bias). Je ne dis pas ça pour défendre le NAM, mais que le REG aurait eu une meilleure performance que l'Euro - ça doit être juste chez toi que c'est arrivé.

[serge44]

Serge, en étant en bordure de mer - un modèle qui amplifie la chaleur sera avantagé vs un autre plus froid. C'est pour ça qu'il faut vérifier sur un ensemble d'endroits pour s'assurer qu'il n'y a pas de biais favorable (bias). Je ne dis pas ça pour défendre le NAM, mais que le REG aurait eu une meilleure performance que l'Euro - ça doit être juste chez toi que c'est arrivé.

 

Oui c,est vrais et j,ai bien dit pour les 10 dernier jours , pour la dépression du 10 décembre dernier ici c,est l,Euro qui a mieux performer .