DWD: Migration GDS nach Open-Data-Server  (Gelesen 490 mal)

Offline falk

    • Wetterstation Scharnhausen
  • Registriert:
    15.04.2015, 07:28:04
  • Beiträge: 673
  • geogr. Position:
    48°42' 9°16'
  • Station:
    Davis Vantage Vue
DWD: Migration GDS nach Open-Data-Server
am: 20.09.2017, 20:00:46
Nachdem der DWD die Datenversorgung über GDS-FTP zum Ende des Jahres einstellen will, habe ich mich nun auch mit diesem Thema befasst. Ich verwende für meine Webseite Grafiken zu Radar und Wetterinformationen.

Wie ich nun feststellen musste, werden diese Daten auf dem neuen Open-Data-Server nicht mehr zur Verfügung gestellt werden. Stattdessen wird ein GeoWebservice angeboten, mit dem man Karten für die eigene Webseite erzeugen kann. Hat jemand hierzu schon nähere Informationen? Das zugehörige PDF-Dokument kenne ich bereits.

Wetterstationen.info Forum

DWD: Migration GDS nach Open-Data-Server
« am: 20.09.2017, 20:00:46 »

Offline falk

    • Wetterstation Scharnhausen
  • Registriert:
    15.04.2015, 07:28:04
  • Beiträge: 673
  • geogr. Position:
    48°42' 9°16'
  • Station:
    Davis Vantage Vue
Re: DWD: Migration GDS nach Open-Data-Server
Antwort #1 am: 16.01.2018, 21:00:15
Zitat
Sehr geehrte GDS-Nutzer,

mit dieser letzten Nachricht an Sie bedanken wir uns für Ihr
langjaehriges Vertrauen in unseren GDS-Dienst.

Wie Sie bereits erfahren haben, werden ab dem 17.01.2018 die allgemeinen
ftp-Zugaenge zum GDS eingestellt, und die freien Daten werden zukuenftig
ueber unser neues Angebot auf https://opendata.dwd.de abgegeben.
...

Morgen ist die Grundversorgung Geschichte.

Offline Holli

  • Hausmeister
    • http://wetter.altenessen.info
    • Männlich
  • Registriert:
    23.01.2006, 13:25:25
  • Beiträge: 9.221
  • Alles wird gut!
  • Ort:
    Essen/Ruhrgebiet
  • geogr. Position:
    N51°30' O7°0' 45m
  • Station:
    Davis VP2
Re: DWD: Migration GDS nach Open-Data-Server
Antwort #2 am: 16.01.2018, 21:33:18
Hoffentlich halten ein paar Leute im Hinterkopf, wem wir das verdanken und was der Zweck der ganzen Sache ist.
Dietmar

Eine Aussage, die durch ein Ausrufezeichen bekräftigt werden muß, ist zumindest zweifelhaft.
Eine Aussage, die durch mehrere Ausrufezeichen bekräftigt wird, ist definitiv falsch.
Der aktuelle Deppensport: Wir töten ein Akkusativ.

Offline jonn68

  • Registriert:
    04.01.2007, 21:24:52
  • Beiträge: 241
  • Ort:
    Grossraum Stuttgart
Re: DWD: Migration GDS nach Open-Data-Server
Antwort #3 am: 18.01.2018, 07:50:27
Hoffentlich halten ein paar Leute im Hinterkopf, wem wir das verdanken und was der Zweck der ganzen Sache ist.

An mir ist die ganze Sache vorbeigegangen: Wer ist denn der Übeltäter?
Davis Vantage Pro 2 Plus

http://ebersbach-weilerwetter.de/

Offline TheWeather

  • Allgemeiner Moderator
    • Männlich
  • Registriert:
    14.01.2007, 10:30:19
  • Beiträge: 4.913
  • 172 m über NN
  • Ort:
    55126 Mainz
Re: DWD: Migration GDS nach Open-Data-Server
Antwort #4 am: 18.01.2018, 10:52:03
Ich lese zwar häufig interessiert mit, aber ich habe den Kerninhalt des geänderten Zugriffs auf DWD-Daten noch nicht verstanden. Soweit ich verstehe, stehen alle Daten nach wie vor kostenfrei zur Verfügung, aber in einem völlig neuen Format, das bisherige Software-Entwicklungen zur Gestaltung von Websites nahezu hinfällig macht. Der Zugriff und die Auswertungen müssen völlig neu gestaltet werden.

Habe ich das soweit richtig verstanden?

Wenn sich jemand berufen fühlt, das "Dilemma" hier kurz mit eigenen Worten wiederzugeben, so dass es ein Interessierter, aber nicht Involvierter, auch versteht, würde das möglicherweise mir und vielen anderen Mitlesern helfen, das Problem zu verstehen ...

Gruß Hans
2xTFA Nexus, Sinus, Duo, EOS Max, Klima-Logger, Mebus TE923

Die Titanic wurde von Profis gebaut, die Arche Noah von einem Amateur. ...

Wetterstationen.info Forum

Re: DWD: Migration GDS nach Open-Data-Server
« Antwort #4 am: 18.01.2018, 10:52:03 »

Offline enager

    • Wetterstation Hohenwalde
  • Registriert:
    02.10.2005, 16:27:41
  • Beiträge: 242
  • Station:
    WS2500 mit Banana Pi
Re: DWD: Migration GDS nach Open-Data-Server
Antwort #5 am: 18.01.2018, 11:12:42
So wirklich verstanden habe ich es noch nicht. Laut dem, was der DWD schreibt, wurde diese Änderung wohl notwendig, da seit dem 25.07.2017 ein neues Gesetz gilt, welchem nach der DWD seine Daten weitgehend entgeltfrei zur Verfügung stellen muss:

Zitat
Der GDS ist zum 15.1.2018 eingestellt worden. Eine Neuregistrierung für den GDS ist nicht mehr möglich.

Am 25.07.2017 ist eine Änderung des Gesetzes über den Deutschen Wetterdienst in Kraft getreten. Der DWD ist hiermit gesetzlich beauftragt, seine Wetter- und Klimainformationen weitgehend entgeltfrei zur Verfügung zu stellen.

Mit dem Inkrafttreten des Gesetzes stehen Wetter- und Klimadaten des DWD auf dem Open Data Server https://opendata.dwd.de entgeltfrei zur Verfügung. Bitte beachten Sie entsprechende Nutzungsbedingungen.

Quelle: https://www.dwd.de/DE/leistungen/gds/gds.html


In wie fern sich da jetzt etwas durch dieses neue Gesetz geändert hat, erschließt sich auch mir nicht. Der alte FTP-Server war auch so schon immer kostenfrei nutzbar, es war lediglich eine kostenfreie Registrierung erforderlich.

Immerhin habe ich schonmal das gefunden, was mich interessiert. Nämlich die stündlich aktuellen Beobachtungsdaten der Wetterstationen: https://opendata.dwd.de/weather/weather_reports/poi/ Diese liegen nun als CSV-Datei vor, in welcher die Beobachtungwerte der vergangenen 24 Stunden hinterlegt sind. Hier sind die Stationen mit ihrer Stations-ID hinterlegt. Das Observatorium Lindenberg ist beispielsweise unter der 10393 zu finden. Wo was zu finden ist im neuen OpenData, zeigt diese Liste ganz gut: https://opendata.dwd.de/weather/tree.html Vielleicht für Euch eine kleine Hilfe, um sich in der neuen Verzeichnisstruktur schneller zurecht zu finden und das zu finden, was Ihr für Eure Projekte an Rohdaten benötigt.
Liebe Grüße vom Stefan aus Frankfurt (Oder)

Wetterstation: http://www.wetterstation-hohenwalde.info/
WS2500-Sensoren, ausgelesen mit Banana-Pi und eigener Wettersoftware.
Seit 09.02.2015 mit automatisierten Noaa-Wettersatelliten Empfang.

Offline klaus289

    • http://www.buehlertal-wetter.de http://www.buehlot-blick.de
    • Männlich
  • Registriert:
    03.01.2011, 20:18:49
  • Beiträge: 968
  • Ort:
    Bühlertal im Schwarzwald
Re: DWD: Migration GDS nach Open-Data-Server
Antwort #6 am: 18.01.2018, 12:12:19
Hallo,

für die, die das Problem noch nicht verstanden haben, beschreibe ich das Dilemma mal mit meinen Worten.

Der legendäre Peter Alexander hat einmal ein sehr schönes Lied gesungen das hier hervorragend zutrifft.
"Die süßesten Früchte fressen nur die großen Tiere."
Der vollständige Text dazu lässt sich googeln.

Natürlich sind alle Daten frei zugänglich und stehen kostenlos zur Verfügung.

A B E R:

Die Messlatte um damit arbeiten zu können, liegt extrem hoch.
Zu hoch für kleine Pupse wie wir Hobbybastler.
Die Daten wurden ohne Not in entsprechende Formate verschlüsselt, dass man sie teilweise nicht ohne Spezial-Software und Entschlüsselungstabellen verwenden kann.

Und warum das alles?
Um das gemeine Volk abzuhalten und den Nutzen nur denen zu gönnen, die ihn sich leisten können.
Diejenigen, für die diese Hürden kein Problem sind.
Diejenigen, die letztes Jahr den DWD per Gerichtsurteil in die Knie gezwungen haben.
Das Jammer und Wehklagen wäre sicher klein, wenn die Daten einfach nur umgezogen worden wären.
Nein, man hat sie zusätzlich versteckt und verschlüsselt, um den Nutzen zu erschweren, ja nahezu unmöglich zu machen.
Ein perfides und zynisches Mittel um die Fleischtöpfe nur für bestimmte Kreise zugänglich zu machen.
Eigentlich sehr zuverlässig und auch künftig einsetzbar um lästige "Fliegen" abzuwehren.

Das Ganze ist wohl ein Teil einer gesamten Strategie, die in anderen Themen hier im Forum auch schon behandelt wurde.



 

Offline TheWeather

  • Allgemeiner Moderator
    • Männlich
  • Registriert:
    14.01.2007, 10:30:19
  • Beiträge: 4.913
  • 172 m über NN
  • Ort:
    55126 Mainz
Re: DWD: Migration GDS nach Open-Data-Server
Antwort #7 am: 18.01.2018, 17:53:06
Danke schon mal, Klaus, für Deine erste Einführung in die Problematik.

Ich denke, ich fange an, zu verstehen.

Viele, wenn vielleicht auch nicht alle Dateien, sind mittlerweile gezipped (auch wenn's nur wenige Byte im kB-Bereich sind), so dass man einen Entpacker intergrieren müsste, um die Daten automatisch hochzuladen und zu entschlüsseln.

Zum Entschlüsseln werden anscheinend XML-Formate oder auch (wie der DWD selbst schreibt) nicht ganz gängige Formate verwendet, "BURG" (?) oder wie das treffend heißt, wo man je nach Typ der Station, die Daten von jeweiliger Startposition des Datensatzes mit jeweiliger Länge auslösen muss, bevor sie weiter verwendet werden können. Die Formate unterscheiden sich möglicherweise, je nach Stationstyp, von dem sie geliefert wurden, so dass entsprechend gewisser Stationen jeweils anders dekodiert werden muss.

Warum mussten die freien Daten aber laut Gesetzesbeschluss vom 25.07.2017 anders kodiert werden, wenn sie ja dann doch nach wie vor "zur freien Verfügung" stehen sollten?

Das ist Alles so undurchsichtig wie viele andere Dinge, die uns der Staat oder eine frühere Regierung, genau wie eine seit 100 Tagen nicht mehr bestehende Regierung, als Knüppel zwischen die Füße schmeissen.

Friss oder stirb, wobei wir fast wir wieder  :eek: beim Lied von Peter Alexander wären ...

Gruß Hans
2xTFA Nexus, Sinus, Duo, EOS Max, Klima-Logger, Mebus TE923

Die Titanic wurde von Profis gebaut, die Arche Noah von einem Amateur. ...

Offline admod

  • Registriert:
    08.05.2016, 19:02:59
  • Beiträge: 105
Re: DWD: Migration GDS nach Open-Data-Server
Antwort #8 am: 18.01.2018, 18:17:00
TheWeather, du hast die Problematik nicht nur angefangen zu verstehen, sondern einwandfrei vetstanden. Leider haben wir keine Lösung aber es kommt noch. Stickwort: Petition bei DWD. Wer macht mit?

Wetterstationen.info Forum

Re: DWD: Migration GDS nach Open-Data-Server
« Antwort #8 am: 18.01.2018, 18:17:00 »

Offline falk

    • Wetterstation Scharnhausen
  • Registriert:
    15.04.2015, 07:28:04
  • Beiträge: 673
  • geogr. Position:
    48°42' 9°16'
  • Station:
    Davis Vantage Vue
Re: DWD: Migration GDS nach Open-Data-Server
Antwort #9 am: 18.01.2018, 20:23:49
So schlecht ist der neue Dienst auch nicht. Unter ftp://ftp-cdc.dwd.de/pub/CDC/observations_germany/climate/10_minutes/ stehen nun alle relevanten Messgrößen der DWD-Stationen im 10-Minuten-Intervall zur Verfügung. Ich fülle gerade meine Datenbank mit den Werten meiner Referenzstation zu Kalibrierungs- und Auswertezwecken. Der GeoWebService bietet auch noch jede Menge Möglichkeiten.

Die notwendige Mehrarbeit lässt sich auch stemmen: Stichwort OpenSource   ;)