stoerti
Geowizard
Ich bin derzeit dabei, einen Weg zu finden, wie ich aus den OSM Quelldaten (XML Files)
direkt auf fertige routingfähige IMG Daten komme.
Ohne diesen ganzen Hickhack mit Java, Splitter, mkgmap und hasse nich gesehen.
Ich habe gestern die ersten Codezeilen begonnen mit einem vernünftigen Parser für die XML Files ohne über XML-Bibliotheken gehen zu müssen.
Das ganze mache ich in Perl.
Der Parser ist weitgehend auch schon fertig und haut auf meinem Notebook etwa eine Million Zeilen XML-Rohfile pro Minute weg.
Jetzt müsste ich die Daten aber zwischenspeichern.
Ich bin ein Freund von Software out of the box. Das heisst, ich will keinen Umweg über MySQL oder andere Datenbanken gehen sondern ein eigenes, für solche Massendaten geeigneteres Dateiformat nutzen.
Ich will nachher maximal 3 Programme haben.
OSM BuildUp - um eine Datenbank aus .oms aufzubauen
OSM Update - um die Diff-Files aus .osm einpflegen zu können
OSM Map - um .img Dateien erstellen zu können
Ich habe schonmal vor ein paar Monaten mit der gesamten OSM Datenbank gespielt.
Das Hauptproblem ist der Speicherplatz.
OSM Gesamt hat etwa 110 GB
Wenn ich das ganze in ein akzeptables Dateiformat konvertiere, komme ich auf etwa 70GB.
Und jetzt meine grosse Frage:
In dem XML File sind zu jedem Wegpunkt die Daten des Urhebers angegeben.
Das heisst, in jeder einzelnen Zeile ist der Benutzername und die Benutzer-ID mit angegeben.
Im .img File kann man mit den Daten nichts anfangen, die stehen da auch gar nicht drin.
Ich würde die auch nicht speichern wollen, denn, wenn ich diese überflüssigen Daten rausschmeisse, komme ich netto auf ein Datenvolumen von rund 50GB.
Wenn ich diese Daten dann noch binär speicher, komme ich weiter runter auf ca. 10GB.
Nun sagen aber die ganzen Open Source Lizenzen aus, dass man den Urheber immer nennen muss.
Was tun? Lizenzbruch oder schnelles rechnen mit "wenig" Platzverbrauch?
Die Diskussion ist eröffnet
direkt auf fertige routingfähige IMG Daten komme.
Ohne diesen ganzen Hickhack mit Java, Splitter, mkgmap und hasse nich gesehen.
Ich habe gestern die ersten Codezeilen begonnen mit einem vernünftigen Parser für die XML Files ohne über XML-Bibliotheken gehen zu müssen.
Das ganze mache ich in Perl.
Der Parser ist weitgehend auch schon fertig und haut auf meinem Notebook etwa eine Million Zeilen XML-Rohfile pro Minute weg.
Jetzt müsste ich die Daten aber zwischenspeichern.
Ich bin ein Freund von Software out of the box. Das heisst, ich will keinen Umweg über MySQL oder andere Datenbanken gehen sondern ein eigenes, für solche Massendaten geeigneteres Dateiformat nutzen.
Ich will nachher maximal 3 Programme haben.
OSM BuildUp - um eine Datenbank aus .oms aufzubauen
OSM Update - um die Diff-Files aus .osm einpflegen zu können
OSM Map - um .img Dateien erstellen zu können
Ich habe schonmal vor ein paar Monaten mit der gesamten OSM Datenbank gespielt.
Das Hauptproblem ist der Speicherplatz.
OSM Gesamt hat etwa 110 GB
Wenn ich das ganze in ein akzeptables Dateiformat konvertiere, komme ich auf etwa 70GB.
Und jetzt meine grosse Frage:
In dem XML File sind zu jedem Wegpunkt die Daten des Urhebers angegeben.
Das heisst, in jeder einzelnen Zeile ist der Benutzername und die Benutzer-ID mit angegeben.
Im .img File kann man mit den Daten nichts anfangen, die stehen da auch gar nicht drin.
Ich würde die auch nicht speichern wollen, denn, wenn ich diese überflüssigen Daten rausschmeisse, komme ich netto auf ein Datenvolumen von rund 50GB.
Wenn ich diese Daten dann noch binär speicher, komme ich weiter runter auf ca. 10GB.
Nun sagen aber die ganzen Open Source Lizenzen aus, dass man den Urheber immer nennen muss.
Was tun? Lizenzbruch oder schnelles rechnen mit "wenig" Platzverbrauch?
Die Diskussion ist eröffnet