[Freifunk Franken] Suche VM fuer monitoring

Do Apr 5 18:34:46 CEST 2018

Hi

Am 5. April 2018 17:48:15 MESZ schrieb Adrian Schmutzler <mail at adrianschmutzler.de>:
>Hallo,
>
> 
>
>wir haben glücklicherweise einen gesponserten Server für das Monitoring
>bekommen.
>
> 
>
>Jetzt mal kucken, was da mit der Performance passiert. Gewisse Probleme
>wie die Ladezeiten der Routerdetailseite sind davon ja nur zum Teil
>abhängig, deshalb waren die Vorschläge diesbezüglich generell
>interessant.

Wir haben aktuell ja auch gar kein Performance Problem. Das Problem war, einen alternativen Server zu finden. Aber das Problem ist zum Glück vom Tisch.

> 
>
>Gerade Tim war es so wie es verstanden habe auch wichtig, dass man die
>integralen/notwendigen Komponenten von Freifunk von den optionalen wie
>dem Monitoring stärker trennt. Dies spricht eher gegen die
>Backboneuplinks (oder?) …
>

Das ist total korrekt, auch wenn das nichts mit "Backboneuplinks" (was auch immer das ist) zu tun hat.

Es ist super wichtig, dass das Monitoring rein passiv bleibt und nur solche Features dort angesiedelt werden, die anders nicht realisierbar sind.

Zum Beispiel für eine zentrale Anlaufstelle um einen Überblick über Knotenstandorte zu bekommen ist es mMn notwendig.

Zum Beispiel um genauere Statistiken pro Router zu bekommen nicht.

Wir müssen bei unseren Entwicklungen darauf achten. Nur weil es eine schnelle Lösung gibt die funktioniert, heißt es nicht, dass es die richtige Lösung ist. Insbesondere funktionierende Lösungen, die aber nicht ins politische Freifunk Spektrum passen hindern oft die Entwicklung von geeigneteren Lösungen. Will heißen, dass wir bitte aufhören sollten die Statistiken im Monitoring geiler zu machen und diese dann per API zur Verfügung zu stellen. Sondern stattdessen bitte anfangen sollten Statistiken z.B. am Knoten bereit zu stellen und die Leute dazu zu befähigen diese Daten nutzen zu können.

Grüße
Tim

>
>Grüße
>
> 
>
>Adrian
>
> 
>
> 
>
>From: franken [mailto:franken-bounces at freifunk.net] On Behalf Of
>Sebastian Beck
>Sent: Donnerstag, 5. April 2018 17:39
>To: Freifunk Franken <franken at freifunk.net>; Mister Crumble
><MisterCrumble at web.de>
>Subject: Re: [Freifunk Franken] Suche VM fuer monitoring
>
> 
>
>Hallo zusammen,
>
>Wo läuft denn das Monitoring bisher?
>Gibt es ne Möglichkeit aufzurüsten?
>
>Es gibt ja anscheinend ganz gute Backboneuplinks, könnte man da einen
>Server aufbauen?
>
>Grüße Sebastian 
>
>Am 5. April 2018 15:53:11 MESZ schrieb Mister Crumble
><MisterCrumble at web.de <mailto:MisterCrumble at web.de> >:
>
>Hallo, grundsätzlich gäbe es die Möglichkeit die Statistik Daten zu
>Trennen ( mit 2 Unterschiedlichen Datentypen zu senden) und die
>Auswertung zu trennen.
>
> 
>
>Bei einigen  anderen Communitys wird das meines wissens nach schon
>gemacht. Das ganze wichtige kommt in den ersten Datentyp, die ganze
>Statistik in den zweiten Datentyp.
>
> 
>
>MFG MisterCrumble
>
> 
>
>Falls ich mal Doku dazu finde schicke ich sie an die ML
>
> 
>
>Am 5. April 2018 um 15:10 schrieb Adrian Schmutzler
><mail at adrianschmutzler.de <mailto:mail at adrianschmutzler.de> >:
>
>Hallo Miki,
>
>ich überlege schon seit einiger Zeit, ob man die Statistik-Daten nicht
>irgendwie "nachladen" kann.
>
>Neben dem Button gibt es bestimmt auch nette Möglichkeiten, per Skript
>erst
>die Seite aufzubauen und dann erst die Statistiken zu laden. Dies ist
>aber
>einerseits relativ viel Arbeit zwecks Einlesen, Testen und Umbauen;
>andererseits löst es das Problem nur teilweise:
>
>Man kann zwar so den Stress zwecks Lesen auf die Datenbank wegkriegen.
>Die
>Daten müssen aber ja immer noch geschrieben werden (alle 5 min.) und
>alte
>Daten müssen entfernt werden (einmal pro Tag nachts). Vor allem das
>Schreiben der Daten, wenn sie von den Gateways kommen, machen eine
>Grundlast
>an der DB, die sich aber nur bei leseintensiven Prozessen wie der
>Routerdetailseite niederschlägt.
>
>InnoDB optimiert intern relativ intelligent, man kann also davon
>ausgehen,
>dass alle Nicht-Statistik-Daten (alles ohne Zeitachse) ohnehin im RAM
>liegen, da diese ja alle 5 Minuten aktualisiert werden (und insgesamt
>auch
>nur einige MB sind). Lediglich die alten Statistik-Daten fallen dann
>irgendwann aus dem RAM raus. Nichtsdestotrotz muss natürlich jede
>Änderung
>irgendwann auf die Festplatte geschrieben werden, siehe Grundlast im
>letzten
>Absatz.
>Ich habe auch schon überlegt, mal den MEMORY-Tabellentyp
>auszuprobieren; im
>Prinzip hat das dann aber mehr Nachteile, weil ich entweder beim
>Neustart
>die Daten verliere oder sie zusätzlich manuell wegschreiben muss
>(wodurch
>ich dann keinen Gewinn mehr habe). Letzteres macht aber InnoDB im
>Prinzip
>implizit selbst.
>
>Um also auf deinen Vorschlag zurückzukommen:
>Für das Backend glaube ich nicht, dass uns das viel bringt. Für das
>Frontend
>werde ich früher oder später irgendwas in der Richtung bauen (müssen),
>auch
>weil es mir selbst auf die Nerven geht, das die Routerseiten jetzt
>schon
>ewig laden. Vorher werde ich aber erstmal noch etwas umfangreicher
>debuggen
>(müssen), was da eigentlich wie viel Zeit braucht. Alles, wenn ich mal
>Zeit
>habe, ich bin froh, dass jetzt endlich mal alle deadlocks in der
>alfred-api
>weg sind.
>
>Beste Grüße
>
>Adrian
>
>
>> -----Original Message-----
>> From: franken [mailto:franken-bounces at freifunk.net
><mailto:franken-bounces at freifunk.net> ] On Behalf Of Miki
>> Sent: Mittwoch, 4. April 2018 22:24
>> To: Freifunk Franken <franken at freifunk.net
><mailto:franken at freifunk.net> >
>> Subject: Re: [Freifunk Franken] Suche VM fuer monitoring
>>
>
>> Hallo,
>>
>> vielleicht können die Daten auf zwei Datenbanken aufgeteilt werden?
>>
>> 1) Eine kleine Datenbank, die ins RAM gewöhnlicher VM's passt, für
>die
>> aktuellen Daten. Damit meine ich alles, was spontan angezeigt werden
>muss,
>> wenn man auf die Seiten klickt.
>>
>> 2) Eine riesige Datenbank, die wie herkömmlich auf einer Festplatte
>liegt.
>> Darin wären dann die Historiendaten, also z.B. was die letzten
>Tage/Wochen
>> auf den Knoten los war. Wenn sich jemand nun für die Historie eines
>> bestimmten Routers interessiert, ist es meiner Meinung nach zumutbar,
>dass
>> man auf einen Button "Historie laden" klicken muss und ggf. ein paar
>> Sekunden lang einen Fortschrittsbalken sieht.
>>
>> Viele Grüße,
>> Miki
>>
>> _______________________________________________
>> franken mailing list
>> franken at freifunk.net <mailto:franken at freifunk.net> 
>> http://lists.freifunk.net/mailman/listinfo/franken-freifunk.net
>
>_______________________________________________
>franken mailing list
>franken at freifunk.net <mailto:franken at freifunk.net> 
>http://lists.freifunk.net/mailman/listinfo/franken-freifunk.net
>
> 