[WLANnews] Neue Diskusions-Seite zur Dezentralen Suche

[Allan Wegan]

> Was bedeutet
> diese Daten müssten auf Aktualität geprüft werden, wenn wir davon
> ausgehen das die Daten nun einmal pro Tag abgerufen werden ist das
> schon einiges. Zum Glück gibt (AFAIR) die Wiki das Datum der letzten
> Änderung an, sodass wir nicht die ganze Seite laden müssen.

Suchmaschinen fragen nicht jede bekannte Seite täglich ab - nicht mal
Google macht das (denen trau ich immerhin zu, dass sie es könnten, wenn
sie wollten).
Und es gibt universellere Methoden, Seiten auf Änderung zu prüfen -
If-Modified-Since
(<http://www.w3.org/Protocols/rfc2616/rfc2616-sec14.html#sec14.25>) ist
seit 1999 offiziell standardisiert (vorgeschlagen 1997 in RFC 2068).
Dieses Headerfeld wird von allen großen Webservern und vielen CMSes und
Wiki-Engines unterstützt.

Und nachfolgender Test mit Telnet zeigt deutlich, dass auch Mediawiki
auf If-Modified-Since korrekt mit "HTTP/1.1 304 Not Modified" reagiert...

Eingabe auffer Shell >>>
telnet wiki.freifunk.net 80
GET /Freifunk_Hamburg/Karte HTTP/1.1
Host: wiki.freifunk.net
If-Modified-Since: Thu, 18 Apr 2013 02:46:24 GMT

<<<

Ausgabe von Telnet >>>
HTTP/1.1 304 Not Modified
Date: Thu, 18 Apr 2013 04:34:41 GMT
Server: Apache
Expires: Thu, 01 Jan 1970 00:00:00 GMT
Cache-Control: private, must-revalidate, max-age=0
Vary: Accept-Encoding,Cookie

Connection closed by foreign host
<<<

> Das Problem ist hier, wenn nun in jeder aktiven Community zwei
> Suchserver stehen, um Redundanz und Stadtinterne Suchen zu
> ermöglichen, ein szenario von dem auszugehen ist, dann hätten wir
> immerhin Traffic mal Aktive Community mal Redundanz.

Es werden weniger als 6 MiB (< 500 Byte pro Seite) an Traffic für den
Update-Check vom kompletten wiki.freifunk.net erzeugt.
Das handy-sized 20-Minuten-Starcraft-Liga-Video ausd dem letzten Post
ist mit 50 MiB acht mal so groß.

Ein einzelner User, der auf Youtube surft, verbraucht so viel Traffic in
ner Stunde, wie eine Suchmaschine im Freifunknetz vermutlich für die
Indexpflege inner Woche benötigen wird. Der meiste Kram ändert sich
schließlich eher selten.

Ich denke nicht, dass ausgerechnet der Traffic das Problem ist. Eher
scheiterts daran, dass keiner Zeit oder Lust hat, son Ding zu bauen oder
was Fertiges ordentlich zu konfigurieren. Suchmaschinen sind komplexe
Biester...

Apropos Komplexität: Wie gesagt wäre auch die Zusammenarbeit mehrerer
Suchmaschhinen möglich. Suchmaschinen könnten sich gegenseitig fragen,
was es neues gibt, sodass sich jeder auf seine Community konzentrieren
und den Index fremder Communitys von deren Suchmaschinen holen kann. Das
gibts so im Internet nicht, weil dort die Suchmaschinenbetreiber
Konkurenten sind. Dies ist im Freifunk anders. Es gibt also mittels
Kooperation auch die Möglichkeit, den nötigen Intercommunitytraffic für
die Indexpflege drastisch zu reduzieren.


Weiß eigendlich wer, wie viele Inhaltesites es im Freifunk überhaupt gibt?
Ich denke nicht, dass das allzu viele sind. Und die Mehrzahl dürfte auch
weit weniger Text-Daten, als wiki.freifunk.net enthalten...



-- 
Allan Wegan
Jabber: allanwegan at erdor.de
ICQ: 209459114

-------------- nächster Teil --------------
Ein Dateianhang mit Binärdaten wurde abgetrennt...
Dateiname   : signature.asc
Dateityp    : application/pgp-signature
Dateigröße  : 490 bytes
Beschreibung: OpenPGP digital signature
URL         : <http://lists.freifunk.net/pipermail/wlannews-freifunk.net/attachments/20130418/8eac19e4/attachment.pgp>