• Willkommen im Geoclub - dem größten deutschsprachigen Geocaching-Forum. Registriere dich kostenlos, um alle Inhalte zu sehen und neue Beiträge zu erstellen.

CW 3107: Import von GC.com - Untergrenze wird ignoriert

dixie77

Geocacher
Hallo zusammen,

seit ein paar Tagen hatte ich die bekannten Probleme beim spidern, mit der 3107 sind diese behoben. Die Probleme vorher traten beim mir erst auf, wenn ich mehr als 10km Umkreis durchsuchen wollte, also hab ich heute nach dem Update auf die 3107 zum Testen nur noch von 10 km bis 11 km aktuallisieren wollen.

Resultat: Angeblich 1x neu / 7x aktualisierbar gefunden, trotzdem werden über 700 Seiten neu geladen. Die meisten davon liegen unter 10 km Umkreis.

Ist wahrscheinlich kein neues Thema, ist mir aber irgendwie nie aufgefallen

Gruß
- dixie77

Plattform: Java
Lokale Sprache ist: de
Ländereinstellung ist: DEU
Dezimaltrennzeichen ist: "."
Gerät ist PDA: false
Bildschirm: 1600 x 900
Schriftgröße: 16
Einträge in der der DB: 30863
Dateitrennzeichen: "\"
Programm-Verzeichnis ist: T:/Caching/CacheWolf
Anzahl der Details im Speicher ist: 45 Maximal: 50
CacheWolf Version: 1.3.3107 In Entwicklung, neuste:

 

MiK

Geoguru
Wenn die näheren Caches nicht geladen wurden, dann wurde die Grenze auch nicht ignoriert. BEi der Anfrage an GC kann keine untere Grenze angegeben werden. Deswegen müssen alle Listen bis 11km geladen werden und CW filtert dann die näheren aus.

Trotzdem wundert mich die Zahl von 700 Listen-Seiten. Das würde bedeuten in 11km Umkreis gibt es 1400 Caches. Das ist dann ein sehr dichtes Cachegebiet, oder?
 
OP
D

dixie77

Geocacher
Danke für die schnelle Antwort.
Die 700 Caches sind als Gesamtzahl schon ok, über mangelnde Cache-Dichte kann man sich hier im Rhein-Main-Gebiet echt nicht beschweren :D . (Mein Mittelpunkt liegt ungefähr bei GC2TYPE, da liegt dann z.B.ganz Wiesbaden und ein Teil von Mainz innerhalb der 10 km)
 

MiK

Geoguru
Reden wir jetzt von 700 Caches oder von 700 Listen-Seiten (mit jeweils 20 Caches)? Woher hast Du die Zahl? Hier in Darmstadt erreiche ich diese Zahlen nicht, obwohl es auch sehr dicht ist.
 
OP
D

dixie77

Geocacher
Sorry, hab ich mich wohl unklar ausgedrückt: 700 Listings (nicht Seiten) werden geladen. 14000 Caches wär wohl schon etwas viel für 10 km.
In die Größenordnung komme ich dann doch erst im 50 km Umkreis.
 

MiK

Geoguru
Und wo hast Du diese Zahl 700 abgelesen? Bei Dir wurden doch am Ende nur 8 Listings geladen, oder?
 
OP
D

dixie77

Geocacher
Geladen wurden dann alle 702 (was entsprechend lange dauerte).
Das wars ja, was ich nicht verstanden habe, wenn schon vorher die kleine Deltamenge identifiziert wurde.
 

MiK

Geoguru
Wird bei Dir automatisch aktualisiert, oder steht es auf "Nachfragen"? Wenn nachgefragt wird, wird dann diese hohe Zahl erwähnt? Kurz bevor angefangen wurde die 700 Caches zu laden stand also "1 neuer 7 zu aktualisiern" in der Anzeige?
 
OP
D

dixie77

Geocacher
Ich lasse Nachfragen.
Im Prompt zwischen Scannen und Aktualisieren erscheint schon die hohe Zahl, davor wird im Statusfenster noch 1/7 für die gefundenen angezeigt.
 
OP
D

dixie77

Geocacher
Jetzt bleibt nur noch das Problem, mit der "Addi:Waypoints"-Fehlermeldung. bzw dass bei mir irgendwann (d.h. beim ersten Versuch nach 50 Updates, biem zweiten nach 200) die Verbindung ohne erkennbaren Grund abbricht.
...
21.09.2011/18:40:50.338: Fetched: GC26AD1
21.09.2011/18:40:53.099: Got logs
21.09.2011/18:40:53.115: LatLon: N 50° 09.950 E 008° 20.500
21.09.2011/18:40:53.130: Got description
21.09.2011/18:40:53.130: Name: Der Urmelschatz
21.09.2011/18:40:53.130: Got location (country/state)
21.09.2011/18:40:53.130: Owner: teamguzbach; is_owned = false; alias1,2 = [dixie77|]
21.09.2011/18:40:53.130: Hidden: 2010-04-06
21.09.2011/18:40:53.146: Hints:
21.09.2011/18:40:53.146: Size: 4
21.09.2011/18:40:53.146: Hard: 25
21.09.2011/18:40:53.146: Terr: 20
21.09.2011/18:40:53.161: Type: 101
21.09.2011/18:40:53.161: Got TBs
21.09.2011/18:40:53.161: Got additional waypoints
21.09.2011/18:40:53.161: Got attributes
21.09.2011/18:40:53.161: ready GC26AD1 : 20110921184053
21.09.2011/18:40:53.177: Writing file: gc26ad1.xml
21.09.2011/18:40:53.193:
21.09.2011/18:40:53.427: Could not fetch GC2ZX0R
ewe.io.IOException: Stream closed.
21.09.2011/18:40:53.645: Could not fetch GC2ZX0R
ewe.io.IOException: Stream closed.
21.09.2011/18:40:53.863: Could not fetch GC2ZX0R
ewe.io.IOException: Stream closed.
21.09.2011/18:40:53.879: >>> Failed to spider cache. Number of retrys exhausted.
21.09.2011/18:43:29.601:
21.09.2011/18:43:32.908: Fetched: GC2RBW1
21.09.2011/18:43:33.142: [getCacheByWaypointName: ]Error reading cache: GC2RBW1
ewe.io.IOException: Stream closed.
21.09.2011/18:43:33.345: Could not fetch GC2RBW1
ewe.io.IOException: Stream closed.
21.09.2011/18:43:33.563: Could not fetch GC2RBW1
ewe.io.IOException: Stream closed.
21.09.2011/18:43:33.563: >>> Failed to spider cache. Number of retrys exhausted.
21.09.2011/18:43:35.190:
21.09.2011/18:43:35.424: Could not fetch GC2Y4Y2
ewe.io.IOException: Stream closed.
21.09.2011/18:43:35.658: Could not fetch GC2Y4Y2
ewe.io.IOException: Stream closed.
21.09.2011/18:43:35.877: Could not fetch GC2Y4Y2
ewe.io.IOException: Stream closed.
21.09.2011/18:43:35.877: >>> Failed to spider cache. Number of retrys exhausted.
21.09.2011/18:43:36.688:
21.09.2011/18:43:36.988: Could not fetch GC2WT3V
ewe.io.IOException: Stream closed.
21.09.2011/18:43:40.201: Could not fetch GC2WT3V
ewe.io.IOException: Stream closed.
21.09.2011/18:43:40.435: Could not fetch GC2WT3V
ewe.io.IOException: Stream closed.
21.09.2011/18:43:40.435: >>> Failed to spider cache. Number of retrys exhausted.
21.09.2011/18:43:41.187:
21.09.2011/18:43:41.427: Could not fetch GC2JFKE
ewe.io.IOException: Stream closed.
21.09.2011/18:43:41.637: Could not fetch GC2JFKE
ewe.io.IOException: Stream closed.
21.09.2011/18:43:41.869: Could not fetch GC2JFKE
ewe.io.IOException: Stream closed.
21.09.2011/18:43:41.869: >>> Failed to spider cache. Number of retrys exhausted.
21.09.2011/18:43:42.504:
21.09.2011/18:43:42.514: Could not fetch GC1FYX1
ewe.io.IOException: Could not connect.
21.09.2011/18:43:42.524: Could not fetch GC1FYX1
ewe.io.IOException: Could not connect.
21.09.2011/18:43:42.534: Could not fetch GC1FYX1
ewe.io.IOException: Could not connect.
21.09.2011/18:43:42.534: >>> Failed to spider cache. Number of retrys exhausted.
21.09.2011/18:43:43.526:
21.09.2011/18:43:43.556: Could not fetch GC136W7
ewe.io.IOException: Could not connect.
21.09.2011/18:43:43.566: Could not fetch GC136W7
ewe.io.IOException: Could not connect.
21.09.2011/18:43:43.606: Could not fetch GC136W7
ewe.io.IOException: Could not connect.
21.09.2011/18:43:43.612: >>> Failed to spider cache. Number of retrys exhausted.
21.09.2011/18:43:44.463:
21.09.2011/18:43:44.483: Could not fetch GC1DDY8
ewe.io.IOException: Could not connect.
21.09.2011/18:43:44.493: Could not fetch GC1DDY8
ewe.io.IOException: Could not connect.
21.09.2011/18:43:44.503: Could not fetch GC1DDY8
ewe.io.IOException: Could not connect.
21.09.2011/18:43:44.503: >>> Failed to spider cache. Number of retrys exhausted.
21.09.2011/18:43:45.402:
21.09.2011/18:43:45.402: Could not fetch GC253D2
ewe.io.IOException: Could not connect.
21.09.2011/18:43:45.422: Could not fetch GC253D2
ewe.io.IOException: Could not connect.
21.09.2011/18:43:45.442: Could not fetch GC253D2
ewe.io.IOException: Could not connect.
21.09.2011/18:43:45.442: >>> Failed to spider cache. Number of retrys exhausted.
21.09.2011/18:43:46.155:
21.09.2011/18:43:46.175: Could not fetch GCQWVD
ewe.io.IOException: Could not connect.
21.09.2011/18:43:46.195: Could not fetch GCQWVD
ewe.io.IOException: Could not connect.
21.09.2011/18:43:46.205: Could not fetch GCQWVD
ewe.io.IOException: Could not connect.
21.09.2011/18:43:46.205: >>> Failed to spider cache. Number of retrys exhausted.
21.09.2011/18:43:46.916:
21.09.2011/18:43:46.936: Could not fetch GC2JCPA
ewe.io.IOException: Could not connect.
21.09.2011/18:43:46.946: Could not fetch GC2JCPA
ewe.io.IOException: Could not connect.
21.09.2011/18:43:46.956: Could not fetch GC2JCPA
ewe.io.IOException: Could not connect.
21.09.2011/18:43:46.956: >>> Failed to spider cache. Number of retrys exhausted.
21.09.2011/18:43:47.574:
21.09.2011/18:43:47.594: Could not fetch GC1Z93E
ewe.io.IOException: Could not connect.
21.09.2011/18:43:47.604: Could not fetch GC1Z93E
ewe.io.IOException: Could not connect.
21.09.2011/18:43:47.614: Could not fetch GC1Z93E
ewe.io.IOException: Could not connect.
21.09.2011/18:43:47.614: >>> Failed to spider cache. Number of retrys exhausted.
21.09.2011/18:43:48.341:
21.09.2011/18:43:48.351: Could not fetch GC28RP6
ewe.io.IOException: Could not connect.
21.09.2011/18:43:48.361: Could not fetch GC28RP6
ewe.io.IOException: Could not connect.
21.09.2011/18:43:48.381: Could not fetch GC28RP6
ewe.io.IOException: Could not connect.
21.09.2011/18:43:48.381: >>> Failed to spider cache. Number of retrys exhausted.
 
OP
D

dixie77

Geocacher
Kann sein, wär dann aber auch mit dem letzten Update gekommen. Davor ist mein 2-wöchentlches 25 km-Update immer sauber durchgelaufen.
 

arbor95

Geoguru
denke ich nicht: ich vermute noch Folgefehler von Pfeffers Änderungen wegen https.
Ev auch mal die Speicherauslastung nachschauen.

Du kannst den Import ja einfach noch mal anwerfen. Falls die Indexdatei nicht alles hat vorher den Index neu aufbauen.
 
OP
D

dixie77

Geocacher
Ich probiers jetzt grad nochmal parallel an zwei Rechnern.
Auf meinem Notebook sind 300 GB frei, sollte also reichen, auch die RAM-Auslastung scheint z.Zt. kaum über 50% zu kommen.
Der Desktop nutzt die Datenbank, die auf meiner NAS liegt, hier könnte der Flaschenhals dann eher am Netzwerk (100MBit), als am mangelnden Speicher (2,5 TB frei) liegen.
Ich melde mich dann morgen, was rausgekommen ist.
 
OP
D

dixie77

Geocacher
OK, hier die Ergebnisse:

Notebook (Win7Pro 32Bit, CW 3108 (Java), Daten lokal):
Verbindungsabbruch nach 202 aktualisierten Einträgen, Speicherauslastung max. 60%.

Desktop (Win7Pro 64Bit, CW3108 (Java), Daten auf Netz-LW)
Verbindungsabbruch nach 272 aktualisierten Einträgen, Speicherauslastung max. 54%.

Die Logfiles brauche ich wohl nicht anhängen, die sehen ähnlich aus wie bei meinem Post zuvor (nur mit anderen Caches, bei denen der Fehler auftritt).
Die Speicherauslastung bezieht sich aufs Gesamtsystem, ich hab jetzt nicht gesondert für den Java-Prozess aufzeichnen lassen, aber solange noch was frei ist, sollte der ja falls erforderlich allokieren können, oder?

Die Indizes bei beiden hatte ich vorher mal neu aufgebaut.
 

MiK

Geoguru
Es wäre hilfreich, wenn Du in MB angeben könntest, wie viel der CW-Prozess im Höchstfall benötigt.

Außerdem könntest Du auch mal schauen, ob es sich mit der Exe anders verhält.

Generell hat CW schon immer ein Speicherproblem, wenn man zu viele Caches lädt.

Von dem Problem, das CW hier zweifelsfrei hat, abgesehen, solltest Du Dir mal überlegen, ob es sinnvoll ist, dass Du immer so viele Caches manuell aktualisierst. Ich mache eigentlich immer nur die Umkreissuche. Dabei werden die wichtigsten Änderungen erkannt und diese Caches auf Wunsch aktualisiert. Wenn man möchte, kann man dann ab und zu nach dem Änderungsdatum sortieren und die ältesten Paar von Hand aktualisieren. Oder eben die, die man sich demnächst vornehmen will. Vom Laden von mehreren hundert Cachebeschreibungen auf einen Schlag würde ich generell abraten.
 
OP
D

dixie77

Geocacher
Was ich hier versuche, ist ne Umkreissuche von 20 km, manuell wär mir das zu aufwendig. Ich probiers jetzt erstmal mit der exe.
 
Oben