Extract Deu+ Funktioniert nicht was mach ich nur falsch?

Hallo zusammen,

ich taste mich gerade an das erstellen ran. und habe die vorhanden Anleitungen auf

http://www.freizeitkarte-osm.de/garmin/de/entwicklung-extrakte.html

durchgearbeitet. Erst mit kleinen Karten und dann mit ganz Deutschland hat soweit funktioniert und die Karten laufen auf dem Garmin.

jetzt wollte ich mich mit der DEU+ versuchen. Nachdem die Europakarte runtergeladen (fetch_osm Freizeitkarte_EUROPE) gehen die Probleme los.

Beim Zuschneiden kommen da diverse Fehlermeldungen.

Mein System
Win 8.1pro 64Bit
I5@3,4gHz
16gB Ram
Java Version 8/ 121
strawberry-perl-5.24.1.1-64bit

Ich hoffe ihr könnt mir einen Tipp geben woran das liegt.

Vielen Dank schon mal Micha



hier mal die komplette Bildschirmausgabe:

D:\Freizeitkarte-Entwicklung>perl mt.pl -ram=4096-cores=1 extract_osm Freizeitka
rte_DEU+

mt.pl - Map Tool for creating Garmin maps, 1.3.13 - 2016/11/11


Checking the Development Environment...

Action: extract_osm
I. extract single map from big region data
Map: Freizeitkarte_DEU+ (7276)
Language: Deutsch (de)
CodePage: 1252
Typ file: freizeit.TYP
Style Dir: style/fzk
Elevation: 20 m
Map type: own extract, parent map needed
Parent Map: EUROPE
Release: 17.03 / 1703



Extracting needed data from OSM data file D:/Freizeitkarte-Entwicklung/work/Frei
zeitkarte_EUROPE/Kartendaten_Freizeitkarte_DEU+.osm.pbf ...

D:/Freizeitkarte-Entwicklung/tools/osmosis/bin/osmosis.bat --read-pbf file=D:/F
reizeitkarte-Entwicklung/work/Freizeitkarte_EUROPE/Kartendaten_Freizeitkarte_EUR
OPE.osm.pbf --tee 1 --bounding-polygon file=D:/Freizeitkarte-Entwicklung/poly/Fr
eizeitkarte_DEU+.poly --write-pbf file=D:/Freizeitkarte-Entwicklung/work/Freizei
tkarte_EUROPE/Kartendaten_Freizeitkarte_DEU+.osm.pbf omitmetadata=yes
Mõr 13, 2017 7:15:38 PM org.openstreetmap.osmosis.core.Osmosis run
INFORMATION: Osmosis Version 0.44.1
Mõr 13, 2017 7:15:38 PM org.openstreetmap.osmosis.core.Osmosis run
INFORMATION: Preparing pipeline.
Mõr 13, 2017 7:15:38 PM org.openstreetmap.osmosis.core.Osmosis run
INFORMATION: Launching pipeline execution.
Mõr 13, 2017 7:15:38 PM org.openstreetmap.osmosis.core.Osmosis run
INFORMATION: Pipeline executing, waiting for completion.
Mõr 13, 2017 7:58:37 PM org.openstreetmap.osmosis.core.pipeline.common.ActiveTas
kManager waitForCompletion
SCHWERWIEGEND: Thread for task 1-read-pbf failed
java.lang.OutOfMemoryError: Java heap space
at java.util.Arrays.copyOf(Unknown Source)
at java.util.Arrays.copyOf(Unknown Source)
at java.util.ArrayList.grow(Unknown Source)
at java.util.ArrayList.ensureExplicitCapacity(Unknown Source)
at java.util.ArrayList.ensureCapacityInternal(Unknown Source)
at java.util.ArrayList.add(Unknown Source)
at org.openstreetmap.osmosis.osmbinary.Osmformat$DenseNodes$Builder.addK
eysVals(Osmformat.java:10300)
at crosby.binary.osmosis.OsmosisSerializer$NodeGroup.serializeDense(Osmo
sisSerializer.java:207)
at crosby.binary.osmosis.OsmosisSerializer$NodeGroup.serialize(OsmosisSe
rializer.java:159)
at org.openstreetmap.osmosis.osmbinary.BinarySerializer.processBatch(Bin
arySerializer.java:121)
at crosby.binary.osmosis.OsmosisSerializer$Processor.checkLimit(OsmosisS
erializer.java:369)
at crosby.binary.osmosis.OsmosisSerializer$Processor.process(OsmosisSeri
alizer.java:381)
at org.openstreetmap.osmosis.core.container.v0_6.NodeContainer.process(N
odeContainer.java:58)
at crosby.binary.osmosis.OsmosisSerializer.process(OsmosisSerializer.jav
a:488)
at org.openstreetmap.osmosis.areafilter.v0_6.AreaFilter.emitNode(AreaFil
ter.java:281)
at org.openstreetmap.osmosis.areafilter.v0_6.AreaFilter.process(AreaFilt
er.java:166)
at org.openstreetmap.osmosis.core.container.v0_6.NodeContainer.process(N
odeContainer.java:58)
at org.openstreetmap.osmosis.areafilter.v0_6.AreaFilter.process(AreaFilt
er.java:125)
at org.openstreetmap.osmosis.core.tee.v0_6.EntityTee$ProxySinkSource.pro
cess(EntityTee.java:143)
at org.openstreetmap.osmosis.core.tee.v0_6.EntityTee.process(EntityTee.j
ava:81)
at crosby.binary.osmosis.OsmosisBinaryParser.parseDense(OsmosisBinaryPar
ser.java:138)
at org.openstreetmap.osmosis.osmbinary.BinaryParser.parse(BinaryParser.j
ava:124)
at org.openstreetmap.osmosis.osmbinary.BinaryParser.handleBlock(BinaryPa
rser.java:68)
at org.openstreetmap.osmosis.osmbinary.file.FileBlock.process(FileBlock.
java:135)
at org.openstreetmap.osmosis.osmbinary.file.BlockInputStream.process(Blo
ckInputStream.java:34)
at crosby.binary.osmosis.OsmosisReader.run(OsmosisReader.java:45)
at java.lang.Thread.run(Unknown Source)

Mõr 13, 2017 7:58:37 PM org.openstreetmap.osmosis.core.Osmosis main
SCHWERWIEGEND: Execution aborted.
org.openstreetmap.osmosis.core.OsmosisRuntimeException: One or more tasks failed
.
at org.openstreetmap.osmosis.core.pipeline.common.Pipeline.waitForComple
tion(Pipeline.java:146)
at org.openstreetmap.osmosis.core.Osmosis.run(Osmosis.java:92)
at org.openstreetmap.osmosis.core.Osmosis.main(Osmosis.java:37)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at org.codehaus.plexus.classworlds.launcher.Launcher.launchStandard(Laun
cher.java:330)
at org.codehaus.plexus.classworlds.launcher.Launcher.launch(Launcher.jav
a:238)
at org.codehaus.plexus.classworlds.launcher.Launcher.mainWithExitCode(La
uncher.java:415)
at org.codehaus.plexus.classworlds.launcher.Launcher.main(Launcher.java:
356)
at org.codehaus.classworlds.Launcher.main(Launcher.java:47)


Warning: system(D:/Freizeitkarte-Entwicklung/tools/osmosis/bin/osmosis.bat --re
ad-pbf file=D:/Freizeitkarte-Entwicklung/work/Freizeitkarte_EUROPE/Kartendaten_F
reizeitkarte_EUROPE.osm.pbf --tee 1 --bounding-polygon file=D:/Freizeitkarte-Ent
wicklung/poly/Freizeitkarte_DEU+.poly --write-pbf file=D:/Freizeitkarte-Entwickl
ung/work/Freizeitkarte_EUROPE/Kartendaten_Freizeitkarte_DEU+.osm.pbf omitmetadat
a=yes) failed: 256
Child exited with value 1

Elapsed, System-RC, Action-RC: 2580, 256, 1
ERROR:
Cutting out the data for Freizeitkarte_DEU+ failed.

Ist dein Aufruf genau so?
perl mt.pl -ram=4096-cores=1 extract_osm Freizeitkarte_DEU+
Schreib es so:
perl mt.pl --ram=4096 --cores=1 extract_osm Freizeitkarte_DEU+
Ausserdem darf es bei ram und cores auch etwas mehr sein.

Danke erstmal für die Antwort.

Ja hab ich so geschrieben allerdings erst ohne RAM und Core zu beschränken. Da kam das selbe raus. Ich werd es morgen nochmal versuchen. Mit der richtigen Schreibweise und auch mal mit mehr kernen und Speicher.

mach doch mal bitte einen:
perl mt.pl fingerprint
Und poste den output hier.... hast Du evtl Java nur in der 32bit Version installiert ? Soviel ich mich erinnern mag hat Java 32bit eine Beschränkung des benutzbaren Speichers.

Sonst würde ich sagen SwissPoPo hat die relevanten Dinge schon erwähnt (fehlender Abstand und zur Sicherheit --OptionsName).

Gruss Patrik

D:\Freizeitkarte-Entwicklung>perl mt.pl fingerprint

mt.pl - Map Tool for creating Garmin maps, 1.3.13 - 2016/11/11

Action: fingerprint
Show the versions of the different tools
Map n/a



================================================
+ +
+ Fingerprint: +
+ ------------ +
+ Show versions of used tools +
+ +
================================================

OS General
======================================
Perl Version: v5.24.1
Perl LC_CTYPE: German_Germany.1252
OS Name: MSWin32
OS Sysname: Windows NT
OS Nodename: Zocken
OS Release: 6.3
OS Version: Build 9600
OS Machine: amd64
OS Architecture:


Java
======================================
java version "1.8.0_121"
Java(TM) SE Runtime Environment (build 1.8.0_121-b13)
Java HotSpot(TM) Client VM (build 25.121-b13, mixed mode, sharing)


Java Encodings (no parameters)
--------------------------------------
Default Charset = windows-1252
file.encoding = Cp1252
Language = de
Country = DE
User Country = de
User Language = DE
Display Language = Deutsch
Display Country = Deutschland


Java Encodings (file.encoding=UTF-8)
--------------------------------------
Default Charset = UTF-8
file.encoding = UTF-8
Language = de
Country = DE
User Country = de
User Language = DE
Display Language = Deutsch
Display Country = Deutschland


osmosis
======================================
PROBLEM: either tool not found or no match for version string.
see detailed command output below:
----------------------------
Mõr 14, 2017 3:54:32 PM org.openstreetmap.osmosis.core.Osmosis run
INFORMATION: Osmosis Version 0.44.1
Mõr 14, 2017 3:54:32 PM org.openstreetmap.osmosis.core.TaskRegistrar loadJPFPlug
ins
FEIN: Searching for JPF plugins.
Mõr 14, 2017 3:54:32 PM org.openstreetmap.osmosis.core.TaskRegistrar loadJPFPlug
ins
FEIN: Registering the core plugin.
Mõr 14, 2017 3:54:32 PM org.openstreetmap.osmosis.core.TaskRegistrar loadJPFPlug
ins
FEIN: Registering the extension plugins.
Mõr 14, 2017 3:54:32 PM org.openstreetmap.osmosis.core.Osmosis run
INFORMATION: Preparing pipeline.
Mõr 14, 2017 3:54:32 PM org.openstreetmap.osmosis.core.pipeline.common.Pipeline
prepare
FEIN: Building tasks.
Mõr 14, 2017 3:54:32 PM org.openstreetmap.osmosis.core.pipeline.common.Pipeline
prepare
FEIN: Connecting tasks.
Mõr 14, 2017 3:54:32 PM org.openstreetmap.osmosis.core.Osmosis run
INFORMATION: Launching pipeline execution.
Mõr 14, 2017 3:54:32 PM org.openstreetmap.osmosis.core.Osmosis run
INFORMATION: Pipeline executing, waiting for completion.
Mõr 14, 2017 3:54:32 PM org.openstreetmap.osmosis.core.Osmosis run
INFORMATION: Pipeline complete.
Mõr 14, 2017 3:54:32 PM org.openstreetmap.osmosis.core.Osmosis run
INFORMATION: Total execution time: 219 milliseconds.

----------------------------


splitter
======================================
splitter 437 compiled 2016-03-26T09:10:19+0000


mkgmap
======================================
mkgmap r3741


PPP - Perl Preprocessor
======================================
PERL Preprocessor Ver 1.2.44.2 (4/2/12) RELEASE SGP
Copyright (c) 2009-2012 D. L. Gipson All Rights Reserved.


7-Zip CLI (7za) - Windows only
======================================
7-Zip (A) 9.20 Copyright (c) 1999-2010 Igor Pavlov 2010-11-18


jmc_cli
======================================
JaVaWa MapConverter CLI version 0.7


osmconvert
======================================
osmconvert 0.8.5


osmfilter - not used during build
======================================
osmfilter 1.3A


GNU Wget - Windows only
======================================
GNU Wget 1.14 built on mingw32.
+digest +https +ipv6 +iri +large-file +nls +ntlm +opie +ssl/openssl


NSIS: makensis - Windows and linux
======================================
MakeNSIS v2.46


Bounderies (bounds)
======================================
20170103


Sea Bounderies (sea)
======================================
20170121

Wie gewünscht der Fingerprint

ich hab es gerade noch mal durchlaufen lassen.
mit --ram=3096 --cores=4

es läuft genauso ab wie wenn ich nichts beschränke oder auch falsch.

es wird eine neue Datei erstellt Kartendaten_Freizeitkarte_DEU+.osm.pdf

und bei ca. 500Mb bricht die lese bzw. schreib Geschwindigkeit zusammen. bei 800Mb ist es dann aus.
erst sind es beim lesen etwa 11MB/s und dann geht es immer mehr bergab bis die Fehlermeldung kommt.

Der Arbeitsspeicher ist laut Task-Manager nur zu 14% benutzt und der Prozessor 30%

irgendwie schon eigenartig

ich probiere Jetzt mal das Java neu als 64bit zu installieren 32bit passt ja dann zu dem Hinweis von keenonkites

Danke erstmal mal sehen was sich tut.

Also das mit dem Java 64bit hat was gebracht jetzt wird die DEU+ ausgeschnitten.
Ich probiere jetzt die nächsten Schritte.

Was genau bewirkt den der --ram Befehl? Reservierung je Kern oder insgesamt.
wie viel sollte man bei 16Gb einstellen gibt es da Erfahrungswerte?

Bei Java sollte schon folgendes stehen (Version ist nicht wirklich wichtig für mt.pl, aber der Zusatz 64bit beim Hotspot Server):

Bezüglich --ram:
Soviel ich weiss, ist es nicht pro Kern sondern insgesammt.... ich verwende übrigens den parameter --cores eigentlich nie auf meinem Windows 7 64bit...
Und mit --ram=4096 kommst Du meiner Ansicht nach bei DEU+ gut durch und das ist im Moment die 'gröbste' Karte.

Gruss Patrik

Vielen Dank für die Tipps es scheint erstmal alles zu funktionieren.
was mich wundert ist das es beim runterladen der Höhendaten die licence Datei nicht findet.
es werden dann aber trotzdem Karten erstellt.

LG Micha

Hallo Micha,
Licensefiles: Das hat alles seine Richtigkeit so: einfach gesagt nimmt er die in der Entwicklungslizenz hinterlegte 'Standard' Lizenz, wenn bei den Höhendaten keine spezielle hinterlegt ist...

Gruss Patrik