Ständige Verbindungsabbrüche im Opsi Config Editor

[damien.leviet]

Hallo,

seit dem Wechsel zum MySQL Backend habe ich folgendes Problem festgestellt:

Nach einer gewissen Zeit verabschiedet sich irgendwas auf dem OPSI Server:

Code: Alles auswählen

Jan 19 15:43:27 srv-opsi01 kernel: [24403.272006] opsiconfd[24427]: segfault at 0 ip 000000000051fc5f sp 00007f08ebfed7f0 error 6 in python2.7[400000+2de000]

Im Config Editor erhalte ich dann mehrere "Connection refused" Meldungen und falls ich dann versuche, mehrere Einträge auszuwählen um im Reiter Produktkonfiguration Änderungen vorzunehmen, dann friert der Config Editor ein und ich muss den opsiconfd Prozess auf dem Server neustarten. Dann funktioniert es aber wieder für eine kurze Zeit und das Spiel beginnt von Neuem.

Was ist da falsch gelaufen?
Die notwendigen Schritte zum Migrieren auf das MySQL Backend habe ich allesamt brav nach Anleitung ausgeführt.

Was ebenfalls öfter passiert:

Code: Alles auswählen

Jan 19  15:55:08.326  2018 -- Nicht erwarteter Fehler component must be showing on the screen to determine its location
Bitte die Logdatei einsehen

Gruß,
Damien

[ueluekmen]

Hi,

blech oder VM? Welches OS? Ist das UpToDate?

Hast du schon alle Logs durch? Segfaults sind schon relativ selten. Das kann auch auf ein RAM-Problem hindeuten. Läuft der mysql-server rund? Nur wenn der das Problem sein sollte, dann würde die Fehlermeldung anders aussehen. Bist du mit opsi aktuell?

[damien.leviet]

Hi,

blech oder VM? Welches OS? Ist das UpToDate?

Hast du schon alle Logs durch? Segfaults sind schon relativ selten. Das kann auch auf ein RAM-Problem hindeuten. Läuft der mysql-server rund? Nur wenn der das Problem sein sollte, dann würde die Fehlermeldung anders aussehen. Bist du mit opsi aktuell?

Hi,

es handelt sich um eine VM mit Ubuntu 16.04.3 LTS (64 Bit).
Und ja, hat alle aktuellen Updates.

RAM Problem kann ich im Grunde ausschließen, da ich ziemlich lange (vor MySQL Backend) keinerlei Probleme hatte. MySQL Server wurde aufgesetzt und mittels opsi-setup --configure-mysql und --init-current-config korrekt eingerichtet.
OPSI ist ebenfalls auf dem aktuellen Stand.

Ich werde das weiter im Auge behalten
Gruß,
Damien

[damien.leviet]

Es ist zum verzweifeln!

Heute morgen konnte ich mich gar nicht mehr am Config Editor anmelden.
Die Meldung: Connection timeout

Neustart des opsiconfd Dienstes hat dann erst mal geholfen.

Dann, nachdem der Config Editor einige Zeit geöffnet gewesen ist, wollte ich auf einem Client ein Produkt installieren und klickte auf den Reiter "Produktkonfiguration". Dieser Vorgang hat aber darin resultiert, dass sich der gesamte Config Editor aufgehangen hat und nur das killen des Prozesses javaw.exe helfen konnte.
Im Log ( /var/log/opsi/opsiconfd/<ip>.log ) fand ich dann öfter folgende Zeile:

Code: Alles auswählen

[5] [Jan 23 10:31:00] product u'l-system-update' should be arranged before product u'opsi-linux-client-agent' but is not available (SharedAlgorithm.py|636)

Besagtes Produkt habe ich aber schon lange deinstalliert und finde es auch nirgendwo mehr. Könnte es daran liegen?
Oder übersehe ich hier irgendwas?

HILFE!
Gruß Damien

[ueluekmen]

Hi,

deine letzte Logmeldung sagt genau, was du schon beschreibst, es sollte eine Reihenfolge installiert werden, die auf deinem Server nicht erfüllt wird.

Der Webservice scheint mit Segfaults ab zu schmieren, warum kann man so nicht sagen, weil du nur den Segfault geposted hast. Da ist es aber schon passiert und ich kann jetzt nicht erraten was zu der Zeit im Speicher lag. Was man machen kann wäre opsiconfd auf Loglevel 7 schalten, opsiconfd neustarten und Absturz provozieren. Die komplette opsiconfd.log nach info(at)uib.de mit link zu diesem Thread aufsetzen. Wir schauen dann bei Gelegenheit rein. Info vorab: Zahlende Supportkunden haben immer Priorität und deshalb kann das etwas dauern, bis wir dazu kommen.

[damien.leviet]

Hallo ueluekmen,

danke fürs Feedback!
Mittlerweile ist es so, dass nach gewisser Zeit (extrem unterschiedlich, manchmal nach 2 Stunden, neulich nach über 14 Stunden) der opsiconfd Dienst einfach nicht mehr reagiert. netstat -l zeigt mir zwar an, dass Port 4447 noch bedient wird, aber beim Versuch, dort etwas zu öffnen, kommt einfach nur ein Timeout. OPSI Clients können sich dann auch nicht mehr mit dem Server verbinden.

Ich habe jetzt mal den Dienst direkt in der Konsole gestartet ( /usr/bin/python /usr/bin/opsiconfd ) und warte ab, was passiert, wenn er einfrieren sollte. Ich habe langsam den Verdacht, dass ein bestimmter Client versucht, sich mit dem Server zu verbinden und diesen im Anschluss aufhängt.

Sollte dann immer noch nichts brauchbares bei rauskommen, werde ich mal das Loglevel auf 7 hochsetzen und mich im Anschluss wieder melden.

EDIT:
Der opsiconfd Dienst hat sich nach exakt 1h26m aufgehangen:

Code: Alles auswählen

root     11743  8.7  7.3 2852008 296068 pts/0  Sl+  11:37   8:45 /usr/bin/python /usr/bin/opsiconfd
[5] [Jan 24 13:03:30] -----> Executing: backend_getInterface() (JsonRpc.py|134)


Was ich komisch finde, ist, dass der Prozess im Status Sl+ verbleibt (uninterruptible sleep).
Ich werde jetzt mal auf Loglevel 7 hochschalten

Gruß
Damien

[damien.leviet]

So habe jetzt auf LogLevel 7 hochgesetzt.

Nach ca 1,5 Stunden hat sich der Dienst erneut aufgehängt...
(13:32:39 -> 14:46:11, also 1h14m)

Leider kann man überhaupt nichts erkennen. Ich bin gerade richtig ratlos

MfG
Damien

[ueluekmen]

Klingt, als ob der Service verstopft. Wie viel Clients habt Ihr in eurer Umgebung? Ich würde auch mal einen Blick auf die info-Page werfen. Vielleicht gibt es da Anhaltspunkte.

Aber es klingt eigentlich nicht nach dem selben Problem. Das erste was du gepostet hast war ein Segfault, bei so einem Fehler überlebt der Prozess eigentlich nicht, auch nicht als Zombieprozess. Aber bei IT-Administration darf einen gar nichts wundern.

[damien.leviet]

Klingt, als ob der Service verstopft. Wie viel Clients habt Ihr in eurer Umgebung? Ich würde auch mal einen Blick auf die info-Page werfen. Vielleicht gibt es da Anhaltspunkte.

Aber es klingt eigentlich nicht nach dem selben Problem. Das erste was du gepostet hast war ein Segfault, bei so einem Fehler überlebt der Prozess eigentlich nicht, auch nicht als Zombieprozess. Aber bei IT-Administration darf einen gar nichts wundern.

Wir haben 470 Clients in unserer Umgebung, nutzen das MySQL Backend und die WAN Erweiterung für Laptops und Außenstellen.

Das mit dem Segfault ist auch nicht wieder aufgetreten, aber ich habe mittlerweile einen anderen Verdacht. Der Config Editor läuft normalerweise durchgehend auf meinem Arbeitsplatz, damit ich Prozesse überwachen und diverse Systemtools nutzen kann. Nach den besagten 1,5 Stunden hängt sich dann der gesamte opsiconfd Prozess auf und auch der Config Editor reagiert dann nicht mehr. Diese komischen Meldungen, die ich auch ständig erhalte (Nicht erwarteter Fehler component must be showing on the screen to determine its location. Bitte die Logdatei einsehen) deuten entweder auf eine kranke JAVA Version hin (habe 8.0u161) oder auf einen Bug im Config Editor.

Ich werde ihn heute mal nicht öffnen und schaue dann im späten Nachmittag, ob noch alles läuft.
Feedback kommt dann auch noch.

Gruß
Damien

[damien.leviet]

So ich habe das Problem tatsächlich auf den Config Editor einschränken können.
Öffne ich ihn überhaupt nicht, läuft der Dienst opsiconfd problemlos weiter

Jetzt ist nur die große Frage: warum?

MfG
Damien