Premium Member only nicht spidern

[MiK]

eine Option in Cachewolf wäre jedenfalls die schönere Lösung.

Das steht außer Frage. Nur müsste das eben jemand machen. Hatte sich dazu nicht schon jemand gemeldet?

 

[Engywuck]

Ich kann mir das zumindest mal anschauen, muss allerdings gestehen, dass ich von dem Spider-Geschäft bislang nicht sehr viel verstehe...
MiK, wenn ich das einbaue - würdest Du Dich zu einem Sourcecodereview bereit erklären?

Gruß,
E.

 

[MiK]

MiK, wenn ich das einbaue - würdest Du Dich zu einem Sourcecodereview bereit erklären?

Das kann ich machen. Prinzipiell würde ich an dieser Stelle ansetzen:

						//first check if coordinates are available to prevent deleting existing coorinates
						String latLon = getLatLon(completeWebPage);
						if (latLon.equals("???")) {
							pref.log(">>>> Failed to spider Cache. Retry.");
							ret = 0;
							continue; // Restart the spider
						}

Anstatt hier nur zu versuchen die Koordinaten auszulesen, sollte erst geschaut werden, ob man die Meldung bekommen hat, dass man den Cache nicht sehen kann, weil man kein Premium ist. In dem Fall sollten keine weiteren Versuche gestartet werden.

Ich denke, wir brauchen dafür eigentlich weder eine Meldung noch eine Einstellmöglichkeit. Einfaches Ignorieren und Überspringen sollte genügen. Nur einen Eintrag ins Log würde ich dafür machen.

 

[Engywuck]

Prinzipiell würde ich an dieser Stelle ansetzen

Die Stelle hatte ich auch im Kopf.

Einfaches Ignorieren und Überspringen sollte genügen. Nur einen Eintrag ins Log würde ich dafür machen.

Es wäre noch eine Idee, dafür einen Wegpunkt (automatisch? Direkt auf Blacklist?) anzulegen, damit beim nächsten Mal nicht wieder versucht wird, die Seite zu spidern. Macht weniger Traffic und das Spidern wieder einen Cache schneller...

Gruß,
E.

 

[Geo-Johnny]

Einfaches Ignorieren und Überspringen sollte genügen. Nur einen Eintrag ins Log würde ich dafür machen.

Es wäre noch eine Idee, dafür einen Wegpunkt (automatisch? Direkt auf Blacklist?) anzulegen, damit beim nächsten Mal nicht wieder versucht wird, die Seite zu spidern. Macht weniger Traffic und das Spidern wieder einen Cache schneller...

Und ich habs vor ein paar Minuten manuell in die Blacklist eingetragen.

 

[MiK]

Es wäre noch eine Idee, dafür einen Wegpunkt (automatisch? Direkt auf Blacklist?) anzulegen, damit beim nächsten Mal nicht wieder versucht wird, die Seite zu spidern. Macht weniger Traffic und das Spidern wieder einen Cache schneller...

Das würde ich dann aber auf jeden Fall konfigurierbar machen. Sonst bekommt man nicht mit, wenn der Cache wieder "normal" wird. Das kam hier in der Gegend schon vor, nachdem ich den Owner darum gebeten hatte.

 

[Geo-Johnny]

Es wäre noch eine Idee, dafür einen Wegpunkt (automatisch? Direkt auf Blacklist?) anzulegen, damit beim nächsten Mal nicht wieder versucht wird, die Seite zu spidern. Macht weniger Traffic und das Spidern wieder einen Cache schneller...

Das würde ich dann aber auf jeden Fall konfigurierbar machen. Sonst bekommt man nicht mit, wenn der Cache wieder "normal" wird. Das kam hier in der Gegend schon vor, nachdem ich den Owner darum gebeten hatte.

Man kann doch auch die Blacklist alleine aktualisieren, dann merkt man es, oder?

 

[UncleOwen]

Naja, wie oft aktualisiert man die Cache aufs der Black list? Ich wuerds schon gerne automatisch merken, wenn ein Cache wieder verfuegbar ist.

 

[greiol]

Man kann doch auch die Blacklist alleine aktualisieren, dann merkt man es, oder?

das schon, aber dafür muss man sich daran erinnern das etwas auf der blacklist ist. ich hab mal vergessen dass ich mit der funktion gespielt hatte und mich dann gewundert dass wir bei einer cachetour an einer stelle gehalten haben an der ich noch nicht war und an der auch kein cache verzeichnet war. hat ein wenig gedauert bis ich herausfand, dass ich vor monaten mal rumgespielt hatte. falls die funktion das blacklicten automatisch macht, ist die chance dass man sich erinnert noch geringer. und eigene funde die später zum soc werden, will man ja auch nicht automatisch ausgeblendet haben.

 

[Geo-Johnny]

Naja, wie oft aktualisiert man die Cache aufs der Black list? Ich wuerds schon gerne automatisch merken, wenn ein Cache wieder verfuegbar ist.

Gegenfrage, wie oft kommt es vor, daß ein MOC "normal" wird? Man müsste halt dann den einen manuell aus der Blacklist nehmen. Ansonst finde ich die Idee von Engywuck, gar nicht so übel. Wozu, solche Caches nochmal abspidern?

 

[MiK]

Ich habe mal beim Cachen im Feld aus Versehen den Knopf erwischt und dann war der Cache weg, den ich gerade machen wollte. Habe dann erfolglos versucht ihn neu zu laden. Hat alles nichts genutzt. Bis ich auf die Idee kam, dass er auf die Blacklist gerutscht sein könnte... Im Allgemeinen denkt man wirklich nicht daran.

 

[Geo-Johnny]

Ich habe mal beim Cachen im Feld aus Versehen den Knopf erwischt und dann war der Cache weg, den ich gerade machen wollte. Habe dann erfolglos versucht ihn neu zu laden. Hat alles nichts genutzt. Bis ich auf die Idee kam, dass er auf die Blacklist gerutscht sein könnte... Im Allgemeinen denkt man wirklich nicht daran.

Okay, und wie wäre es mit einem Häckchen, "Blacklist auch aktualisieren" oder so ähnlich?

 

[Geo-Johnny]

Mir fällt gerade ein, so einfach ist es doch nicht. Was machen die PM's die ihre Caches mittels spidern aktualisieren? Vielleicht wäre es besser wenn die MOC's automatisch in ein eigenes Profil wandern, anstatt in die Blacklist?

 

[MiK]

Das Aktualisieren funktioniert ja nur, wenn man in der Liste schon erkennt, dass sich an einem Cache etwas geändert hat. Das könnte man zwar noch erkennen, wenn das Premium-Symbol nicht erscheint. Aber wenn man das auswertet, braucht man die Blacklist sowieso nicht mehr, weil man dann diese Caches eben schon in der Liste ausfiltern könnte. Man müsste dann nur noch erfassen, ob man Premium-Member ist.

Bei der geringen Zahl an diesen Caches würde ich das aber lieber komplett im Hintergrund abwickeln. Ohne dass man dafür etwas einstellen muss. Dann wird eben ab und zu diese Fehler-Seite geladen.

 

[Kappler]

Bei den PMs dürfte es eigentlich den Fehler nicht geben und somit das Aktualisieren klaglos durchlaufen.
Zumindest bei mir funktioniert das Aktualisieren mit der aktuellen Version... Auch mit MOC-Caches.

 

[Geo-Johnny]

Bei der geringen Zahl an diesen Caches würde ich das aber lieber komplett im Hintergrund abwickeln. Ohne dass man dafür etwas einstellen muss. Dann wird eben ab und zu diese Fehler-Seite geladen.

Das wäre das Einfachste, wer weiß lohnt sich ein größerer Aufwand überhaupt? So interessant sind die paar MOC's auch wieder nicht.

 

[greiol]

Mir fällt gerade ein, so einfach ist es doch nicht. Was machen die PM's die ihre (MO)-Caches mittels spidern aktualisieren?

die bekommen die daten brav angezeigt, denn sie sind ja nach dem login als M erkennbar

von mir ergänzt

 

[Geo-Johnny]

Bei den PMs dürfte es eigentlich den Fehler nicht geben und somit das Aktualisieren klaglos durchlaufen.

Auch wieder wahr. Klar ... ps:

 

[Engywuck]

Hier meine Bemühungen.
Premium Member Caches werden jetzt beim spidern ignoriert. Es gibt nur eine Meldung im Log, ansonsten wird, wenn die Fehlerseite bemerkt wird, einfach weiter gemacht. Also kein Eintragen in Blacklisten oder so.

MiK, übernehmen sie

Gruß,
E.

 

[MiK]

Auf den ersten Blick sind mir 3 Sachen aufgefallen:

1. Beim Aufruf aus doIt muss der Rückgabewert noch richtig behandelt werden.

2. Der neue Rückgabewert sollte kommentiert werden.

3. Der String auf den Du testest sollte in die spider.def.

Zumindest 2+3 kann man noch nachziehen. Aber 1 sollten wir vor dem Commit noch klären.