[DEV] Konfigurierbare Spinne

Für Rev. 1 hätte ich folgendes vor: Auslagerung aller Strings in SpiderGC in eine Property-Datei wie z.B.
Diese Datei kann beim erstmaligen Spidern mit einer Zeile Code mit der "load" Methode der Properties Klasse eingelesen werden.

Den großen Vorteil sehe ich darin, daß wir dann sehr rasch auf weitere zu erwartende Änderungen der GC Webseiten reagieren können ohne einen kompletten Build-Zyklus anwerfen zu müssen.

Wäre machbar. Und ist eine gute Idee.

hmm - an sich eine gute Idee. Allerdings würde ich vermuten, dass es bei größeren Änderungen nicht genügt, diese Strings anzupassen. Evtl. muss die Reihenfolge der Auswertung der html-datei geändert werden oder ähnliches.
Ich habe mich mit dem spider bisher gar nicht beschäftigt, Bilbowolf und SKG, Ihr wisst glaub ich selbst am besten, wie häufig welche Art von Änderungen auf geocaching.com vorkommt.

Schöne Grüße,
Pfeffer.

Hört sich gut an. Vieleicht macht es noch Sinn, Regex-Sequenzen über irgendwelche Strings zu escapen, soll heißen, man kann in der Datei auch Regex-Ausdrücke ablegen, die dann als solche genutzt werden.

@Pfeffer: Es ist natürlich denkbar, daß es in Zukunft strukturelle Änderungen gibt, die mit dieser Methode nicht lösbar sind. Z.B. könnte dort wo jetzt ein Extractor arbeitet ein Regex notwendig werden. Dann wird eine neue Version unumgänglich.

Wenn es aber nur eine kleine Änderung ist, so wie vor einigen Tagen, dann können wir sehr schnell darauf reagieren.

@Kalli: Ich will alle Strings, auch die RegExe in dieser Datei ablegen. Eventuell sogar die Adressen der Webseiten.

Fazit: Nachdem diese Änderung mehrheitlich befürwortet wird, werde ich das bei Gelegenheit mal anpacken.

etwas off-topic:
ich wollte sagen, ich find super, dass Du, SKG, angefangen hast die Datenbank besser zu strukturieren! - schade, dass man nicht auf SVN-Commits mit "danke" anwtorten kann


Schöne Grüße,
Pfeffer.