[gelöst] Produktinstallationen unfassbar langsam

Antworten
wom
Beiträge: 27
Registriert: 13 Nov 2018, 17:33

[gelöst] Produktinstallationen unfassbar langsam

Beitrag von wom »

Hi,

ich habe seit dem Neuaufsetzen unseres Servers (debian 11 mit opsi4.2) das Problem, dass Produktinstallationen auf manachen Clients unglaublich langsam geworden sind.
Ein Beispiel: Nextcloud direkt vom manuell eingehängten opsi-Netzlaufwerk installieren dauert kürzer als 30s. Wenn ich dieselbe Datei, vom selben Ort über die Produktinstallation aufrufe, hängt msiexec 15min lang und blockiert die Ausführung des Skripts. Es beendet sich aber irgendwann erfolgreich und das Skript läuft nach 15min problemlos durch. Das gleiche habe ich auch schon beim einfachen Entpacken einer zip übers Netzwerk mittels winst beobachtet. Das Entpacken dauert auf dem Rechner selbst weniger als 2s, über opsi aber irgendwo zwischen 2min und 17min. Es gibt aber auch hier überhaupt keine Hinweise auf irgendwelche Fehler und die Installation läuft fehlerfrei durch. Das ganze passiert auf manchen clients und auf anderen nicht, was es noch schwerer einzugrenzen macht...

Ich hatte erst vermutet, dass der Samba share ein bottleneck ist, aber wie oben beschrieben, geht es bei den Problemclients beim direkten Aufruf vom share auch sehr zügig. Mir fehlen daher jetzt die Ansatzpunkte um das weiter zu debuggen. Habt ihr eine Idee?

Viele Grüße
Martin
Zuletzt geändert von wom am 17 Aug 2022, 12:57, insgesamt 1-mal geändert.
Benutzeravatar
ThomasT
uib-Team
Beiträge: 529
Registriert: 26 Jun 2013, 12:26

Re: Produkt Installationen unfassbar langsam

Beitrag von ThomasT »

Hallo Martin,

ist es denn immer auf den gleichen Clients langsam? Sind langsame Clients auch mal schnell?
Spielt euer AntiVir da rein? Hast du dir mal auf dem Server angeschaut wie smbstatus -b da aussieht?
Was sagt smbstatus -v?
Wie sieht euer Storage dahinter aus?
Kein Support per DM!
_________________________
opsi support - https://www.uib.de/
For productive opsi installations we recommend support contracts.
Jan.Schmidt
Beiträge: 439
Registriert: 08 Jul 2017, 12:02

Re: Produkt Installationen unfassbar langsam

Beitrag von Jan.Schmidt »

Mir fehlen daher jetzt die Ansatzpunkte um das weiter zu debuggen. Habt ihr eine Idee?
Neuaufsetzen unseres Servers (debian 11 mit opsi4.2) das Problem, dass Produktinstallationen auf manachen Clients unglaublich langsam geworden sind.
So rein ins Blaue.....

DU kannst Problemslos und schnell, der OPSI Client machts lahm
Ihr habt Euren OPSI Server "NEU" aufgesetzt...

So einen Rechner nehmen, dern OPSI Client komplett runterwerfen und neuinstallieren.

Die Client config eines schnellen und eines langsamen mal vergleichen, vielleict ist da ja der Hund begraben.

Betonung auf "Vielleicht" und Idee
wom
Beiträge: 27
Registriert: 13 Nov 2018, 17:33

Re: Produkt Installationen unfassbar langsam

Beitrag von wom »

Hi,

mir ist gerade mal wieder so ein Client untergekommen. Nagelneuer Laptop, komplett neu installiert (Win10 x64 21H2). Ich habe zwischenzeitlich auch viele weitere Rechner neu aufgesetzt (immer mit dem neuen Server und eigentlich identischer config... manche davon normal schnell, manche quälend lahm. Unterschiedliche configs als Auslöser würde ich daher eher ausschließen.

Ausgabe von smbstatus -v:

Code: Alles auswählen

using configfile = /etc/samba/smb.conf

Samba version 4.13.13-Debian
PID     Username     Group        Machine                                   Protocol Version  Encryption           Signing              
----------------------------------------------------------------------------------------------------------------------------------------
1599    pcpatch      opsifileadmins *clientip* (ipv4:*clientip*:49747) SMB3_11           -                    partial(AES-128-CMAC)

Service      pid     Machine       Connected at                     Encryption   Signing     
---------------------------------------------------------------------------------------------
opsi_depot   1599    *clientip* Mo Aug 15 16:32:40 2022 CEST     -            -           

Locked files:
Pid          User(ID)   DenyMode   Access      R/W        Oplock           SharePath   Name   Time
--------------------------------------------------------------------------------------------------
1599         998        DENY_WRITE 0x100080    RDONLY     NONE             /var/lib/opsi/depot   dfn_citavi/setup.opsiscript   Mon Aug 15 16:32:41 2022
1599         998        DENY_WRITE 0x120089    RDONLY     LEASE(RWH)       /var/lib/opsi/depot   dfn_citavi/Citavi6Setup.msi   Mon Aug 15 16:32:45 2022
1599         998        DENY_NONE  0x100080    RDONLY     NONE             /var/lib/opsi/depot   .   Mon Aug 15 16:32:41 2022
Für die gezeigt Installation von Citavi hat der Rechner gerade 15min gebraucht. Normalerweise geht das in unter einer.
Ich habe ausserdem gerade mal versucht den samba zu optimieren (https://superuser.com/a/928126), aber ohne bemerkenswerten Unterschied.
antivir gibts auf dem server keins, der client hat wahrscheinlich den Windows Defender aktiviert. Da es eine headless installation ist, hatte ich noch keine Gelegenheit ohne den zu testen.
Storage auf dem Server ist eine SSD mit entsprechend hohem Durchsatz und kurzen random access zeiten. Weiterhin ist ja aber das interessante, dass die Installation direkt vom als Netzlaufwerk eingehängten opsi_depot sehr schnell ist, während die gleiche Installation über den clientd/winst sehr langsam läuft.
Soweit ich das sehe sind die betroffenen clients auch sehr konsistent langsam.

Habt ihr noch Ideen, wo der Unterschied zwischen der Installation über opsi und der manuellen Installation vom gleichen Netzlaufwerk liegen könnte? Ich kann es mir so nicht erklären.
Jan.Schmidt
Beiträge: 439
Registriert: 08 Jul 2017, 12:02

Re: Produkt Installationen unfassbar langsam

Beitrag von Jan.Schmidt »

ähh Äpfel Birnen..

* Du nimmst ein Fremdpaket als Grundlage für deine tests
Und dann auch noch Citavi das so was ähnliches wie abhängigkeiten zu einem gewissen punkt net haben tut.
* Warum postest du nicht das Installlog von der Kiste Bananen?
* UNd dann "nagelneuer" Rechner, wer sagt dir denn, dass der nicht nebenbei noch irgendwas Wsussiges macht?
Mir fehlen daher jetzt die Ansatzpunkte um das weiter zu debuggen.
Logfiles lesen?
wom
Beiträge: 27
Registriert: 13 Nov 2018, 17:33

Re: Produkt Installationen unfassbar langsam

Beitrag von wom »

* Du nimmst ein Fremdpaket als Grundlage für deine tests
Nö, das lief halt gerade. Andere Pakete sind ebenso langsam. Und wie der smbshare eingebunden wird, hängt ja wohl nicht vom Paket ab.
* Warum postest du nicht das Installlog von der Kiste Bananen?
dafür hab ich leider kein paket ;)
* UNd dann "nagelneuer" Rechner, wer sagt dir denn, dass der nicht nebenbei noch irgendwas Wsussiges macht
Ich hoffe sogar, dass er das macht. Aber momentan läuft beispielsweise seit über 20min ein Paket, das eine (entpackt) 74mb große zip bestehend aus 66 dateien entpacken soll. So langsam bekommt das selbst WSUS nicht. Wenn ich die gleiche zip von hand vom share entpacke kann ich noch nichtmal bis 1 zählen.
Daher die Frage, wo liegt der Unterschied?
Logfiles lesen?
Ja welche denn? Im instlog steht rein garnichts. Er startet die install.exe und die returned eine Ewigkeit später (nächste Zeile bei loglevel 7). Das samba log gibt trotz maximalem loglevel nicht viel mehr her und in der Windows Ereignisanzeige steht auch nichts.
Jan.Schmidt
Beiträge: 439
Registriert: 08 Jul 2017, 12:02

Re: Produkt Installationen unfassbar langsam

Beitrag von Jan.Schmidt »

wom hat geschrieben: 15 Aug 2022, 18:17 dafür hab ich leider kein paket ;)

Code: Alles auswählen

time /t >c:\banana.joe
xcopy /d "opsishare\whatever" c:\opsi.org\tmp\ /l >>c:\banana.joe
time /t >>c:\banana.joe
xcopy /d "opsishare\whatever" c:\opsi.org\tmp\  >>c:\banana.joe
time /t >>c:\banana.joe
nslookup opsiserver >>c:\banana.joe
ping -4 -n 10 opsiserver >>c:\banana.joe
wom
Beiträge: 27
Registriert: 13 Nov 2018, 17:33

Re: Produkt Installationen unfassbar langsam

Beitrag von wom »

Hier die Ausgabe von dem Skript (zuordnungsbare Details entfernt). Kopieren geht auf jeden Fall sehr schnell-

Code: Alles auswählen

17:22
P:\sioyek\delsub.opsiscript
P:\sioyek\login.opsiscript
P:\sioyek\setup.opsiscript
P:\sioyek\sioyek-release-windows.zip
P:\sioyek\sioyek.files
P:\sioyek\sioyek.png
P:\sioyek\uninstall.opsiscript
7 Datei(en) kopiert
17:22
P:\sioyek\delsub.opsiscript
P:\sioyek\login.opsiscript
P:\sioyek\setup.opsiscript
P:\sioyek\sioyek-release-windows.zip
P:\sioyek\sioyek.files
P:\sioyek\sioyek.png
P:\sioyek\uninstall.opsiscript
7 Datei(en) kopiert
17:22
Server:  *dns*
Address:  *adresse*

Name:    opsi03
Address:  192.168.1.133
Aliases:  opsi


Ping wird ausgeführt für opsi03 [192.168.1.133] mit 32 Bytes Daten:
Antwort von 192.168.1.133: Bytes=32 Zeit<1ms TTL=64
Antwort von 192.168.1.133: Bytes=32 Zeit<1ms TTL=64
Antwort von 192.168.1.133: Bytes=32 Zeit<1ms TTL=64
Antwort von 192.168.1.133: Bytes=32 Zeit<1ms TTL=64
Antwort von 192.168.1.133: Bytes=32 Zeit<1ms TTL=64
Antwort von 192.168.1.133: Bytes=32 Zeit<1ms TTL=64
Antwort von 192.168.1.133: Bytes=32 Zeit<1ms TTL=64
Antwort von 192.168.1.133: Bytes=32 Zeit<1ms TTL=64
Antwort von 192.168.1.133: Bytes=32 Zeit<1ms TTL=64
Antwort von 192.168.1.133: Bytes=32 Zeit<1ms TTL=64

Ping-Statistik für 192.168.1.133:
    Pakete: Gesendet = 10, Empfangen = 10, Verloren = 0
    (0% Verlust),
Ca. Zeitangaben in Millisek.:
    Minimum = 0ms, Maximum = 0ms, Mittelwert = 0ms

Derselbe Rechner hat kurz vorher fast eine Stunde gebraucht um die hier kopierte Datei aus dem opsi_depot zu entpacken

Code: Alles auswählen

[5] [2022-08-16 15:55:34.523] [sioyek]   Execution of: Files_install /64Bit
[5] [2022-08-16 15:55:34.523] [sioyek]   
[7] [2022-08-16 15:55:34.523] [sioyek]     unzipfile "p:\sioyek\sioyek-release-windows.zip" "C:\Program Files"
[7] [2022-08-16 15:55:34.523] [sioyek]     unzipfile
[6] [2022-08-16 15:55:34.525] [sioyek]     we try to unzip: p:\sioyek\sioyek-release-windows.zip to C:\Program Files
[6] [2022-08-16 16:48:02.814] [sioyek]     unzipped: p:\sioyek\sioyek-release-windows.zip to C:\Program Files
[7] [2022-08-16 16:48:02.815] [sioyek]     move "C:\Program Files\sioyek-release-windows" "C:\Program Files\Sioyek"
[7] [2022-08-16 16:48:02.815] [sioyek]     move
[7] [2022-08-16 16:48:02.815] [sioyek]     we try to rename: C:\Program Files\sioyek-release-windows to C:\Program Files\Sioyek
[6] [2022-08-16 16:48:02.815] [sioyek]     renamed: C:\Program Files\sioyek-release-windows to C:\Program Files\Sioyek
[5] [2022-08-16 16:48:02.817] [sioyek]   Finished section: Files_install /64Bit
Dasselbe manuell mit 7zip dauert zwar kürzer, aber immernoch verdammt lange 5min

Code: Alles auswählen

~$ time /t
17:39
~$ "C:\Program Files\7-Zip\7z.exe" x "p:\sioyek\sioyek-release-windows.zip" -o"c:\banane"
7-Zip 22.01 (x64) : Copyright (c) 1999-2022 Igor Pavlov : 2022-07-15

Scanning the drive for archives:
1 file, 76986396 bytes (74 MiB)

Extracting archive: p:\sioyek\sioyek-release-windows.zip
--
Path = p:\sioyek\sioyek-release-windows.zip
Type = zip
Physical Size = 76986396

Everything is Ok

Folders: 8
Files: 66
Size:       125608628
Compressed: 76986396
~$ time /t
17:44
Bei Interesse, die zip gibt es hier: https://github.com/ahrm/sioyek/releases ... indows.zip. Entpackt ist sie doch nicht 74 sondern 126MB groß...

Also ich denke irgendeine Einstellung von samba ist schuld, da werde ich morgen mal versuchen zu optimieren.
wom
Beiträge: 27
Registriert: 13 Nov 2018, 17:33

Re: Produkt Installationen unfassbar langsam

Beitrag von wom »

Hi,

also nach langem herumprobieren mit der smb.conf habe ich nun ein paar Erkenntnisse gewonnen:
Die verlinkten Optimierungen von https://superuser.com/a/928126 machen für sich genommen den Zugriff eher noch langsamer.
Was aber wirklich massive Verbesserungen bringt, ist den Multi Channel Support von Samba zu aktivieren:

Code: Alles auswählen

/etc/samba/smb.conf:
[global]
   #...
   server multi channel support = yes
Mit dieser Einstellung allein schrumpft die Zeit für das Entpacken der zip vom opsi_depot von ~55min auf ~35s, bzw. von ~5min auf ~15s mit 7z.

Die Einstellungen von https://superuser.com/a/928126 können dann (aber nur mit aktiviertem multi channel) wie es aussieht nochmal 2-3s zusätzlich herausholen. Das habe ich aber nicht oft genug getestet, um es sicher sagen zu können.

Das Problem ist damit erstmal gelöst. Danke für die Unterstützung, Jan und Thomas!

Nachtrag:
Falls noch jemand dasselbe Problem hat: Bei dem standardmäßig installierten Samba 4.13 von debian bullseye ist der multi channel support noch als experimentell markiert und bei uns tatsächlich auch instabil. Mit 4.15. ist der multi channel support aber stabil und standardmäßig aktiviert. Die bessere Lösung (und ganz ohne Anfassen der Samba Konfiguration) ist daher, den Samba aus bullseye-backports zu installieren (momentan Version 4.16.4).
Antworten