Radio Eriwan.Lion & Aquaria schrieb:denke ich so an der Realität vorbei?
Es ist ja nicht damit getan alles nur genau einmal abzugrasen, sondern du
mußt auch irgendwie die Veränderungen (neuer Startpunkt,
Cachebeschreibung, Available, Archiv etc.) mitbekommen.
Also mußt Du den Vorgang regelmäßig wiederholen um die Daten auch
aktuell zu halten.
Wenn Du das dann auch noch mit einem auf Scanperformance getrimmten
Scanner machst, geht der armen Website schnell die Puste aus (es ist
beeindruckend wenn man sich mal anschauen kann, was eine Suchmaschine
mit einem kleinen Server veranstaltet, wenn der jede seiner Seiten
dynamisch aufbaut).
Und dann kommt noch hinzu, daß nicht nur einer spidert, sondern ganz
viele Leute auf einmal spidern. So schnell kannst Du gar nicht Hardware
und Bandbreite nachkaufen wie du sie brauchen würdest.
Um eine volldynamische Website massenspidertauglich zu machen,
braucht es einen nicht unerheblichen zeitlichen und/oder finaziellen
Aufwand.