• Willkommen im Geoclub - dem größten deutschsprachigen Geocaching-Forum. Registriere dich kostenlos, um alle Inhalte zu sehen und neue Beiträge zu erstellen.

Cachewolf spidert nicht vollständig...

Nojan

Nojan

Geowizard
Beim Import von GC wird das spidern mittendrin nicht mehr korrekt ausgeführt, im Statusfenster werden die Seiten zwar hochgezählt, aber keine geänderten oder neuen Caches mehr gefunden.

Auszug aus dem Log:

Code: 
20.04.2014/15:05:37.645: CW Version 1.3.3378 In Entwicklung, neuste: 
20.04.2014/15:05:37.648: Operating system: Windows 7/x86
20.04.2014/15:05:37.648: Java: Oracle Corporation/1.7.0_55
20.04.2014/15:05:51.231: [checkGCSettings]:loggedInAs= nojan32
20.04.2014/15:05:51.232: [checkGCSettings]:Language= en-US
20.04.2014/15:05:51.233: [checkGCSettings]:Units= Metric
20.04.2014/15:05:51.233: [checkGCSettings]:GCDateFormat= MM/dd/yyyy
20.04.2014/15:05:52.331: [fetchFirstListPage] Got first page http://www.geocaching.com/seek/nearest.aspx?lat=52.97907&lng=010.57413&dist=22
20.04.2014/15:05:52.335: ListPages Properties : 
minDistance          : 0.0
maxDistance          : 35.0
maxNew               : 2147483647
maxUpdate            : 2147483647
with Founds          : yes
alias is premium memb: yes
Update if new Log    : no
Update if TB changed : no
Update if DTS changed: no
maxPages for x Miles : 133 for 22

20.04.2014/15:05:52.336: Download properties : 
maxLogs: 10
with pictures     : no
with tb           : no

20.04.2014/15:05:53.441: [fetchFirstListPage] Got first page http://www.geocaching.com/seek/nearest.aspx?lat=52.97907&lng=010.57413&dist=11
20.04.2014/15:05:54.420: [fetchFirstListPage] Got first page http://www.geocaching.com/seek/nearest.aspx?lat=52.97907&lng=010.57413&dist=6
20.04.2014/15:05:55.404: [fetchFirstListPage] Got first page http://www.geocaching.com/seek/nearest.aspx?lat=52.97907&lng=010.57413&dist=7
20.04.2014/15:05:55.407: [SpiderGC:fillDownloadLists] got Listpage: 1
20.04.2014/15:05:55.408: List up to 18 pages (1..18). From 0 miles (0.0 km/miles) to 7 miles (8.75 km/miles)
20.04.2014/15:05:55.459: Reading file GC1BEGP.xml
20.04.2014/15:05:55.501: Reading file GC22TNW.xml
20.04.2014/15:05:55.596: Reading file GC3NEEA.xml
20.04.2014/15:05:55.643: Reading file GC18JHR.xml
20.04.2014/15:05:55.691: Reading file GC26GAB.xml
20.04.2014/15:05:55.734: Reading file GC4E86R.xml
20.04.2014/15:05:55.782: Reading file GCK039.xml
20.04.2014/15:05:55.830: Reading file GC16NRH.xml........
Soweit alles OK, aber dann irgendwann:
Code: 
.....20.04.2014/15:08:02.282: [fetchFirstListPage] Got first page http://www.geocaching.com/seek/nearest.aspx?lat=52.97907&lng=010.57413&dist=13
20.04.2014/15:08:03.281: [fetchFirstListPage] Got first page http://www.geocaching.com/seek/nearest.aspx?lat=52.97907&lng=010.57413&dist=18
20.04.2014/15:08:04.039: [fetchFirstListPage] Got first page http://www.geocaching.com/seek/nearest.aspx?lat=52.97907&lng=010.57413&dist=15
20.04.2014/15:08:04.858: [fetchFirstListPage] Got first page http://www.geocaching.com/seek/nearest.aspx?lat=52.97907&lng=010.57413&dist=12
20.04.2014/15:08:05.583: [fetchFirstListPage] Got first page http://www.geocaching.com/seek/nearest.aspx?lat=52.97907&lng=010.57413&dist=16
20.04.2014/15:08:11.906: [SpiderGC:fillDownloadLists] got Listpage: 40
20.04.2014/15:08:11.907: List up to 15 pages (40..54). From 12 miles (20.234375 km/miles) to 16 miles (23.92578125 km/miles)
20.04.2014/15:08:11.912: [SpiderGC.java:fillDownloadLists]check listBlockRex!
20.04.2014/15:08:11.912: [SpiderGC.java:fillDownloadLists]check lineRex!
20.04.2014/15:08:11.913: Checked 1 pages
with 0.0 caches
Found 0 new caches
Found 158/0 caches for update
Found 158 caches possibly archived.
Found 0 Premium Caches (for non Premium Member.)
Found 0 caches with changed available status.
Found 0 caches with new found in log.
Found 0 own Finds
Found 0 unarchived.

20.04.2014/15:08:11.914: possibly 0 + known 0
20.04.2014/15:08:11.915: now will update: 0
20.04.2014/15:08:11.915: These Caches will be updated :
Out of 158

20.04.2014/15:08:13.244: [fetchFirstListPage] Got first page http://www.geocaching.com/seek/nearest.aspx?lat=52.97907&lng=010.57413&dist=15
20.04.2014/15:08:14.015: [fetchFirstListPage] Got first page http://www.geocaching.com/seek/nearest.aspx?lat=52.97907&lng=010.57413&dist=19
20.04.2014/15:08:14.980: [fetchFirstListPage] Got first page http://www.geocaching.com/seek/nearest.aspx?lat=52.97907&lng=010.57413&dist=17
20.04.2014/15:08:15.899: [fetchFirstListPage] Got first page http://www.geocaching.com/seek/nearest.aspx?lat=52.97907&lng=010.57413&dist=14
20.04.2014/15:08:16.728: [fetchFirstListPage] Got first page http://www.geocaching.com/seek/nearest.aspx?lat=52.97907&lng=010.57413&dist=18
20.04.2014/15:08:23.592: [SpiderGC:fillDownloadLists] got Listpage: 40
20.04.2014/15:08:23.593: List up to 37 pages (40..76). From 14 miles (23.92578125 km/miles) to 18 miles (26.6943359375 km/miles)
20.04.2014/15:08:23.598: [SpiderGC.java:fillDownloadLists]check listBlockRex!
20.04.2014/15:08:23.598: [SpiderGC.java:fillDownloadLists]check lineRex!
20.04.2014/15:08:23.599: Checked 1 pages
with 0.0 caches
Found 0 new caches
Found 269/0 caches for update
Found 269 caches possibly archived.
Found 0 Premium Caches (for non Premium Member.)
Found 0 caches with changed available status.
Found 0 caches with new found in log.
Found 0 own Finds
Found 0 unarchived.

20.04.2014/15:08:23.600: possibly 0 + known 0
20.04.2014/15:08:23.600: now will update: 0
20.04.2014/15:08:23.601: These Caches will be updated :
Out of 269......
und immer so weiter....
Hat Jemand eine Idee was da falsch läuft?

Gruß,
Nojan
 
arbor95

arbor95

Geoguru
Solche offensichtlichen "Falsch"-Meldungen lassen sich nicht verhindern. Da ist irgendwas in der Kommunikation mit GC falsch gelaufen.
Einfach noch mal versuchen.
Wenn es hartnäckig an der selben Stelle hängen bleibt, dann kann ich es mal näher untersuchen.

also z.b. wiederholt:
From 12 miles (20.234375 km/miles) to 16 miles (23.92578125 km/miles)
20.04.2014/15:08:11.912: [SpiderGC.java:fillDownloadLists]check listBlockRex!

der listBlockRex wurde ja vorher schon 40 mal verwendet und ist also ok, aber die zu untersuchenden Daten (halt die Listpages von GC) sind nicht richtig angekommen.
 
OP
Nojan

Nojan

Geowizard
Ich habe jetzt mal diverse Durchläufe mit unterschiedlichen Entfernungen ausprobiert, und der Import bleibt immer an anderer Stelle hängen, aber er läuft nie durch. Das Log für den letzten Versuch (max 45 KM) hänge ich mal an, damit kam ich bisher am weitesten. Ich konnte bisher keine Regelmässigkeit feststellen.
Gruß,
Nojan
 

Anhänge

  • log.zip
    10 KB · Aufrufe: 50
H

hofoen

Geonewbie
Ich weiß zwar nicht ob es das gleiche Problem ist, aber das Spidern geht momentan definitiv nicht.

Ursache: Die bisherige HTTP-GET-Methode mittels "dist=" wird nicht mehr unterstützt, z.B.:
Code: 
http://www.geocaching.com/seek/nearest.aspx?lat=52.97907&lng=010.57413&dist=15
Stattdessen wird jetzt eine komplizierte HTTP-Post-Methode zum "Blättern" verwendet, die beim Klicken im Browser durch einem Javascript-Aufruf ausgelöst wird.
 
arbor95

arbor95

Geoguru
Deine Analyse ist mal soweit ok.
CacheWolf POSTet das aber schon lange bzw war das immer schon so.

Vielleicht kannst du mal deine CW - Version mitteilen, bzw auf den aktuellen Stand bringen. Das ist die 1.3.3382

Mit der habe ich gerade getestet und kein Problem festgestellt.
 
Gavriel

Gavriel

Geocacher
ich habe die Version 3383, habe aber auch ein Problemchen mit dem Spidern.

Neue Caches wurden heute gar nicht mehr gefunden.Ich habe es jetzt mehrfach versucht mit und ohne Platzhalter für PMcaches. Kein Unterschied feststellbar. Aktualisierungen wurden allerdings durchgeführt.
Ich habe mit verschiedenen Entfernungen herumgespielt, dabei ist mir aufgefallen, dass in der log.txt trotz jedesmal neuem Datum immer die zuerst eingestellten Begrenzungen drinstanden.

Ich habe jetzt die Log.txt gelöscht und nochmal gespidert, da ist jetzt zumindest ein neuer Cache mitgekommen. Aus der Liste mit neuen Caches weiss ich aber, dass da mehr als nur einer ist.
normalerweise begrenze ich die Anzahl der zu ladenden Caches auf ca. 20. Jetzt habe ich es noch ohne die Begrenzung probiert, es wird kein weiterer Cache gefunden.
Ich habe jetzt nochmal pref.xml und log.txt gelöscht und es nochmal probiert: nichts.

Zumindest diese beiden liegen aber ganz sicher innerhalb des Suchradius, sind weder private noch auf der Blacklist
http://coord.info/GC570PM
http://coord.info/GC56VEJ

Das ist der Anfang von der log.txt. Was mich etwas irritiert: Bei alias für PM steht da no. Ich hatte jetzt aber eingestellt, dass er das machen soll.

18.06.2014/19:21:46.825: [checkGCSettings]:loggedInAs= Gavriel
...
minDistance : 0.0
maxDistance : 20.0
maxNew : 2147483647
maxUpdate : 2147483647
with Founds : no
alias is premium memb: no
Update if new Log : no
Update if TB changed : no
Update if DTS changed: yes
maxPages for x Miles : 77 for 13
...
18.06.2014/19:22:54.358: [fetchAListPage] Error at ctl00$ContentBody$pgrTop$ctl08
ewe.io.IOException: URL: /error/500.aspx
http response code: 500
..

das mit der Fehlermeldung taucht ab dem dritten Entfernungsbereich auf und wiederholt sich dann
 
schliessdruide

schliessdruide

Geocacher
Deshalb habe ich mir auch gedacht das ich mir viele Probleme und auch Zeit sparen kann - und das für nicht mal 10 Cent am Tag. Ohne Leistung eben keine Gegenleistung - denn umsonst gibt es nichts. Das Geld kann man woanders schnell sparen: eine Zigarette weniger, ein Bier in der Woche weniger, einmal das Auto stehen lassen und laufen....... Bei mir kommen die 30 Euro im Jahr schon zusammen wenn ich ab und an weggeworfene Pfandflaschen im Wald einsammele - so tue ich auch noch etwas für die Umwelt.
 
OP
Nojan

Nojan

Geowizard
Teleskopix schrieb:
biraconda schrieb:
Kann ich bestätigen. Bei mir bricht das Spidern nach der ersten Seite ab.
Zum Vergrößern anklicken....
Ist bei mir auch so.
Zum Vergrößern anklicken....
Bei mir der gleiche Effekt,
nach der ersten Seite ist Schluss:
Code: 
20.06.2014/23:28:39.056: Reading file GC2VXCK.xml
20.06.2014/23:28:43.127: [fetchAListPage] Error at ctl00$ContentBody$pgrTop$ctl08
ewe.io.IOException: URL: /error/500.aspx
http response code: 500
20.06.2014/23:28:43.127: Checked 1 pages
Gruß,
Nojan
 
D

dannyM

Geonewbie
Es sieht so aus, als ob geocaching.com die Seiten geändert hätte. Der Link zur nächsten Seite enthält nun auch einen Parameter __VIEWSTATE2.
Ich habe in meiner lokalen Installation in GCImporter.java in fetchAListPage() auch diesen Parameter aus der Seite extrahiert und in postData wieder integriert, außerdem __VIEWSTATEFIELDCOUNT auf 3 gesetzt. Neu compiliert - und jetzt geht es. Das müsste also jemand mit Schreibrechten auch im SVN machen...
 
arbor95

arbor95

Geoguru
mit Version 3384 sollte das Blättern in den Listpages wieder funktionieren (http Code 500).
(GC hat einen Parameter für den POST hinzugefügt)
 
Du musst dich einloggen oder registrieren, um hier zu antworten.
Oben