Le rendez-vous de l’innovation

Les Partenaires
des Innovatives

Ministère de l'éducation nationale de l'enseignement supérieur et de la recherche ABG - L'intelli'agence Fist SA

Rechercher




Accueil > Éditions précédentes > Big Data > Innovatives Big Data > Espace Exposition - Posters > Traitement - visualisation des données

Flyingpigeon, un web processing service pour le traitement des données climatiques

par Benjamin LEVAUX - WEBMASTER FREELANCE - publié le , mis à jour le

Nils Hempelmann - CDD-Ingénieur-Chercheur CNRS, LSCE, nils.hempelmann chez lsce.ipsl.fr, 01.69.08.77.22
Sabine Radanovics - CDD-Ingénieur-Chercheur CEA, LSCE, sabine.radanovics chez lsce.ipsl.fr, 01.69.08.87.98
Cathy Nangini - CDD-Ingénieur CNRS, LSCE, cathy.nangini chez lsce.ipsl.fr , 01.69.08.38.76
Carmen Alvarez-Castro - CDD-Postdoc CEA, LSCE, carmen.alvarez-castro chez lsce.ipsl.fr 01.69.08.11.42
Carsten Ehbrecht - Ingénieur, DKRZ, ehbrecht chez dkrz.de
Pascal Yiou - Chercheur CEA (HDR), LSCE, pascal.yiou chez lsce.ipsl.fr
Robert Vautard - Directeur de recherche CNRS, LSCE, robert.vautard chez lsce.ipsl.fr

Laboratoire des Sciences du Climat et de l’Environnement (LSCE), UMR 8212
Deutsches Klimarechenzentrum (DKRZ), Datenmanagement

Flyingpigeon, un web processing service pour le traitement des données climatiques

Problématique :
Les innovations liées aux modèles climatiques et au calcul intensif entrainent une forte augmentation du volume de données de simulations climatiques. Ainsi, dans le cadre des études d’impact du changement climatique, le téléchargement et l’analyse de ces données devient coûteux. La représentation de ces données multidimensionnelles est en outre complexe car elle nécessite de passer de graphiques statiques à une visualisation interactive.

Solution proposée :
Nous proposons un web processing service (WPS), comportant quelques analyses-types (ou processus), qui permet d’effectuer les calculs nécessaires dans une insfrastructure de calcul proche des données. L’utilisateur pourra ainsi choisir une source de données, une analyse à effectuer et déclencher le calcul via le protocole HTTP et une interface web dans son navigateur. Une fois le calcul terminé, l’utilisateur aura la possibilité de télécharger ces résultats et, selon le processus, les explorer via la visualisation interactive. Le WPS Flyingpigeon fait partie d’une famille de WPS interopérable, le birdhouse, et suit le standard de l’Open Spatial Consortium (OGC). Les processus integrés vont des simples tests de conformité des métadonnées, via des statistiques climatiques classiques jusqu’aux modèles d’impact complets.
Nous montrerons en particulier deux processus utilisés pour le diagnostique de la fréquence des événements
extrêmes :

  1. les analogues de la circulation atmosphérique, qui consistent à trouver des situations à circulation similaire dans une base de données, avec une visualisation interactive des résultats.
  2. des régimes du temps, donc une définition des états d’atmosphère récurrent à l’aide d’un algorithme de classification, qui servent à décrire la variabilité atmosphérique.

Les avantages sont nombreux :

  1. nous avons besoin de moins de ressources de calcul et de stockage local,
  2. le traitement des données s’effectue d’une manière standardisée,
  3. une visualisation des données innovante est disponible.
  4. le service est open source et interopérable,
  5. cette solution favorise le partage des méthodes d’analyse.

Seul inconvénient : pour ajouter ses propres processus, l’utilisateur doit disposer d’un environnement linux et de connaissances en python.

Téléchargez le poster

Partenaires Innovatives Big Data

EDF Thalès Cap Digital

Avec le soutien du GDR

Madics