Neue Firmwareversion 20210218

Fr Feb 26 12:19:42 CET 2021

Das Problem ist aber doch gar nicht der OOM-Killer, sondern dass diese Geräte normalerweise 30 MiB freien RAM haben, und dann plötzlich diese Spikes auftauchen. Die Frage ist doch gar nicht, was bei 8 MiB RAM passiert, sondern wie wir überhaupt von 30 auf 8 kommen …

Wo kommen diese Zacken im RAM-Graphen her?

Beste Grüße

Adrian

From: Florian Wiessner [mailto:f.wiessner at smart-kvm.com] 
Sent: Freitag, 26. Februar 2021 04:15
To: Adrian Schmutzler <mail at adrianschmutzler.de>; franken-dev at freifunk.net; 'Fabian Bläse' <fabian at blaese.de>
Cc: franken at freifunk.net
Subject: Re: Neue Firmwareversion 20210218

Hallo,

ja, diese Probleme habe ich seit dem Upgrade nach der 2018er Firmware. Das es mit der Anzahl der User oder Airtime koreliert kann ich nicht sagen, ich habe auch Router die relativ Idle sind und da tritt das Problem auch auf. 

Der OOM Killer ist in jedem Fall dran Schuld dass die Nodes als offline oder rebooted auftauchen im Monitoring, das passiert immer dann, wenn der oom Killer alfred killt. 

Wie dem auch sei ist es falsch bei < 8192kb free mem den OOM-Killer anzuwerfen. Das ist bei nodes mit wenig ram viel zu knapp! 1024kb würde ich mir ja noch eingehen lassen, aber so wird ja defakto 8MB vom RAM verschenkt. 

Reboot nach oom-kill sollte immer eingebaut werden, man kann zwar konfigurieren welche prozesse je nach prio gekillt werden sollen, aber  wenn es hostapd zerlegt oder dhcp etc hat man einen node der zwar eine ssid ausstrahlt aber nicht funktioniert, daher sollte der reboot mandatory sein!

Im alten dmesg habe ich gesehen das macnock den Speicher angefordert hat - irgendwo gibts ein memleak...

Am 25.02.2021 um 23:19 schrieb Adrian Schmutzler:

	Es fällt auf, dass beide recht viele Zacken im Memory-Graphen und auch diverse Reboots aufzuweisen haben.

	Scheinbar korreliert das mit der Anzahl der Clients und der Airtime.

	Die Router, die weniger Clients haben (Mittelwert <5) haben einen recht stetigen Graphen, z.B.

	https://monitoring.freifunk-franken.de/routers/8703

	Besonders deutlich sieht man den negativen Effekt hier:

	https://monitoring.freifunk-franken.de/routers/5583

	Der Verlauf der Graphen und die reboot-Events deuten für mich darauf hin, dass diese auch bisher nicht wirklich stabil waren.

	Kann es sein, dass das Problem gar nichts mit der neuen FW zu tun hat, sondern schon länger bestand und nur gerade jetzt zufällig das OOM Log zugänglich war?

	Beste Grüße

	Adrian

	From: franken-dev [mailto:franken-dev-bounces at freifunk.net] On Behalf Of Florian Wiessner
	Sent: Donnerstag, 25. Februar 2021 22:45
	To: Fabian Bläse <fabian at blaese.de> <mailto:fabian at blaese.de> ; franken-dev at freifunk.net <mailto:franken-dev at freifunk.net> 
	Cc: franken at freifunk.net <mailto:franken at freifunk.net> 
	Subject: Re: Neue Firmwareversion 20210218

	Am 25.02.2021 um 20:25 schrieb Fabian Bläse:

		On 25.02.21 20:14, Florian Wiessner wrote: 

			Reboot bei OOM ist besser, als nen node zu haben ohne SSH/httpd aber mit hostapd aber dafür ohne dhcp. Das macht dann wirklich Ärger, dann lieber Reboot und es geht wieder alles für eine gewisse Zeit! 

		Da stimme ich dir zu, aber dennoch sollten wir hier unbedingt die Ursache des Problems ermitteln. 
		Hast du zu den 1043 einen Monitoring-Link? Geht es um 1043v1 (32MB RAM) oder um neuere Revisionen (64MB RAM)? 

	https://monitoring.freifunk-franken.de/routers/7196

	Der router war nicht offline, aber alfred etc war alles weg und auch hostapd. SSH ging zum Glück noch, ich habe dann logs abgegriffen und rebootet.

	Dieser hier: 

	https://monitoring.freifunk-franken.de/routers/7266

	hat auch Probleme ohne WAN Uplink. 

	-- 

Mit freundlichen Grüßen

Florian Wiessner

<http://www.smart-kvm.com/>  <http://www.smart-kvm.com/>  <http://www.smart-kvm.com/> 

	smart-kvm.com
	c/o Smart Weblications GmbH
	Martinsberger Str. 1
	D-95119 Naila
	fon.: +49 9282 9638 200
	fax.: +49 9282 9638 205
	24/7: +49 900 144 000 00 - 0,99 EUR/Min*
	http://www.smart-kvm.com

	--
	Sitz der Gesellschaft: Naila
	Geschäftsführer: Florian Wiessner
	HRB-Nr.: HRB 3840 Amtsgericht Hof
	*aus dem dt. Festnetz, ggf. abweichende Preise aus dem Mobilfunknetz 

-- 

Mit freundlichen Grüßen

Florian Wiessner

<http://www.smart-kvm.com/>  <http://www.smart-kvm.com/>  <http://www.smart-kvm.com/> 

smart-kvm.com
c/o Smart Weblications GmbH
Martinsberger Str. 1
D-95119 Naila
fon.: +49 9282 9638 200
fax.: +49 9282 9638 205
24/7: +49 900 144 000 00 - 0,99 EUR/Min*
http://www.smart-kvm.com

--
Sitz der Gesellschaft: Naila
Geschäftsführer: Florian Wiessner
HRB-Nr.: HRB 3840 Amtsgericht Hof
*aus dem dt. Festnetz, ggf. abweichende Preise aus dem Mobilfunknetz 
-------------- nächster Teil --------------
Ein Dateianhang mit HTML-Daten wurde abgetrennt...
URL: <https://lists.freifunk.net/pipermail/franken-freifunk.net/attachments/20210226/7b530696/attachment-0001.html>
-------------- nächster Teil --------------
Ein Dateianhang mit Binärdaten wurde abgetrennt...
Dateiname   : image001.png
Dateityp    : image/png
Dateigröße  : 4862 bytes
Beschreibung: nicht verfügbar
URL         : <https://lists.freifunk.net/pipermail/franken-freifunk.net/attachments/20210226/7b530696/attachment-0003.png>
-------------- nächster Teil --------------
Ein Dateianhang mit Binärdaten wurde abgetrennt...
Dateiname   : image002.png
Dateityp    : image/png
Dateigröße  : 6532 bytes
Beschreibung: nicht verfügbar
URL         : <https://lists.freifunk.net/pipermail/franken-freifunk.net/attachments/20210226/7b530696/attachment-0004.png>
-------------- nächster Teil --------------
Ein Dateianhang mit Binärdaten wurde abgetrennt...
Dateiname   : image003.png
Dateityp    : image/png
Dateigröße  : 4866 bytes
Beschreibung: nicht verfügbar
URL         : <https://lists.freifunk.net/pipermail/franken-freifunk.net/attachments/20210226/7b530696/attachment-0005.png>
-------------- nächster Teil --------------
Ein Dateianhang mit Binärdaten wurde abgetrennt...
Dateiname   : openpgp-digital-signature.asc
Dateityp    : application/pgp-signature
Dateigröße  : 834 bytes
Beschreibung: nicht verfügbar
URL         : <https://lists.freifunk.net/pipermail/franken-freifunk.net/attachments/20210226/7b530696/attachment-0001.sig>