[WLANnews] Neue Diskusions-Seite zur Dezentralen Suche

[Ruben Kelevra]

Am 17. April 2013 05:56 schrieb Allan Wegan <allanwegan at allanwegan.de>:
>> Zentrale Lösung, klar geht, aber je nachdem was im Netzwerk verfügbar
>> ist würde der Traffic dies abzurufen das Netz zu stark belasten,
>> überleg das wir mehrere Wikis im Netzwerk haben.
>
> Auf wie viele Gigabytes schätzt du diese Wikis denn ein?!
Nun, man müsste die Daten einigermaßen aktuell halten. Was bedeutet
diese Daten müssten auf Aktualität geprüft werden, wenn wir davon
ausgehen das die Daten nun einmal pro Tag abgerufen werden ist das
schon einiges. Zum Glück gibt (AFAIR) die Wiki das Datum der letzten
Änderung an, sodass wir nicht die ganze Seite laden müssen.

Das Problem ist hier, wenn nun in jeder aktiven Community zwei
Suchserver stehen, um Redundanz und Stadtinterne Suchen zu
ermöglichen, ein szenario von dem auszugehen ist, dann hätten wir
immerhin Traffic mal Aktive Community mal Redundanz.

Wenn wir von 12 MB Traffic ausgehen, der nötig ist um das gesamte Wiki
auf Aktualität im Cache zu prüfen, wo man bei der Anzahl der Seiten
wohl ausgehen kann, dann wären das (ich nehm mal die Anzahl der IC-VPN
Peers (21) zum Multiplizieren) 252 MB pro Wiki.

Wenn wir in jeder dritten Community ein Wiki und ein Paar Webseiten
haben würde so ein Trafficaufkommen von 1764 MB entstehen. Pro
Aktualisierung. Das wären für die "nur" 12 MB schon ein konstanter
Datenstrom im Netzwerk von 0,16 Mbit/s.


LG Ruben

>
> Zum Vergleich:
> wget --recursive --page-requisites --level=5 --tries=0
> --retry-connrefused --no-clobber
> --restrict-file-names=windows,lowercase,nocontrol,ascii --accept-regex
> "^http://wiki\\.freifunk\\.net/" -- http://wiki.freifunk.net
> lief 2 Stunden und ergab 365 MiB in 10578 Dateien. Da sind auch die
> Meta- und Spezialseiten und die Bilder mit drinn.
>
> Vieleicht hilft das ein wenig beim einschätzen dieser Datenmenge:
> 365 MiB sind etwas mehr, als ne halbe CD.
> Oder ein Sechsunfünfzigstel (3,2 Minuten) "Der Herr der Ringe - Die Zwei
> Türme" in x264 full-HD.
> Oder 7 zwanzigminütige Starcraft-Ligamitschnitte in 240p (das ist quasi
> uralt Handyformat!) flv auf Youtube.
>
> Haben wir eigendlich Youtube-Nutzer im Freifunk?
>
> HTML ist also kein Problem, PDFs dürften auch meist wenige MiB groß
> sein. Bilder, Videos und Mucke müssen verlinkt oder embedded werden,
> damit sie jemand anbrowsen kann und sind eh schwer zu parsen und damit
> erst mal uninteressant. Die entsprechenden HTML-Seiten sind
> vergleichsweise winzig und enthalten normalerweise auch Schlüsselwörter,
> die man für eine Suche verwenden kann. Ich sehe also keine
> Notwendigkeit, dass eine Freifunksuchmaschine Nichttextdateien lädt.
> Nur mit Text bekommst du auch das Freifunknetz nicht dicht. Also Traffic
> ist nicht das Problem, wenns ums Suchen im Freifunknetz geht.
>
> Und man kann auch Rate-Limiten. Üblicherweise kommt es nicht so sehr
> darauf an, ob der Kram einen Tag früher oder später gecrawlt wird.
>
>
>> Dezentrale Lösung: Kann nicht über die Broadcast-Domain hinaus Suchen,
>> das heißt du wärst auf einzelne Communitys beschränkt. Einige
>> Communitys blockieren Multi und Broadcast, was zu keinem Suchergebnis
>> führen würde.
>
> Mal abgesehen davon, dass ich für die zentrale und gegen die dezentrale
> Suche bin, ist die Beschränkung auf einzelne Communities nicht zwingend
> ein Ausschlusskriterium.
>
> Das Konzept der Metasuchmaschine, die ihrerseits mehrere Suchmaschinen
> befragt und die Ergebnisse zusammengeführt präsentiert, ist nicht neu.
> Metasuchmaschinen benötigen nicht zwingend einen eigenen Index und
> können sogar clientseitig in JavaScript sinnvoll realisiert werden!
>
> Außerdem muss eine dezentrale Suche nicht zwingend Broadcasts zur
> Kommunikation verwenden. P2P mit
> <https://de.wikipedia.org/wiki/Kademlia> funktioniert auch gut im
> Internet, wo die meisten Router keine Broadcasts weiterreichen.
> Eventuell könnte man jeden Router zu einer rein weiterleitenden
> Suchmaschinennode machen - die Daten müssen da eh durch...
>
>
>
> --
> Allan Wegan
> Jabber: allanwegan at erdor.de
> ICQ: 209459114
>
>
>
> _______________________________________________
> WLANnews mailing list
> WLANnews at freifunk.net
> Abonnement abbestellen? -> http://lists.freifunk.net/mailman/listinfo/wlannews-freifunk.net
>
> Weitere Infos zu den freifunk.net Mailinglisten und zur An- und Abmeldung unter http://freifunk.net/mailinglisten