[gelöst] Produktinstallationen unfassbar langsam
[gelöst] Produktinstallationen unfassbar langsam
Hi,
ich habe seit dem Neuaufsetzen unseres Servers (debian 11 mit opsi4.2) das Problem, dass Produktinstallationen auf manachen Clients unglaublich langsam geworden sind.
Ein Beispiel: Nextcloud direkt vom manuell eingehängten opsi-Netzlaufwerk installieren dauert kürzer als 30s. Wenn ich dieselbe Datei, vom selben Ort über die Produktinstallation aufrufe, hängt msiexec 15min lang und blockiert die Ausführung des Skripts. Es beendet sich aber irgendwann erfolgreich und das Skript läuft nach 15min problemlos durch. Das gleiche habe ich auch schon beim einfachen Entpacken einer zip übers Netzwerk mittels winst beobachtet. Das Entpacken dauert auf dem Rechner selbst weniger als 2s, über opsi aber irgendwo zwischen 2min und 17min. Es gibt aber auch hier überhaupt keine Hinweise auf irgendwelche Fehler und die Installation läuft fehlerfrei durch. Das ganze passiert auf manchen clients und auf anderen nicht, was es noch schwerer einzugrenzen macht...
Ich hatte erst vermutet, dass der Samba share ein bottleneck ist, aber wie oben beschrieben, geht es bei den Problemclients beim direkten Aufruf vom share auch sehr zügig. Mir fehlen daher jetzt die Ansatzpunkte um das weiter zu debuggen. Habt ihr eine Idee?
Viele Grüße
Martin
ich habe seit dem Neuaufsetzen unseres Servers (debian 11 mit opsi4.2) das Problem, dass Produktinstallationen auf manachen Clients unglaublich langsam geworden sind.
Ein Beispiel: Nextcloud direkt vom manuell eingehängten opsi-Netzlaufwerk installieren dauert kürzer als 30s. Wenn ich dieselbe Datei, vom selben Ort über die Produktinstallation aufrufe, hängt msiexec 15min lang und blockiert die Ausführung des Skripts. Es beendet sich aber irgendwann erfolgreich und das Skript läuft nach 15min problemlos durch. Das gleiche habe ich auch schon beim einfachen Entpacken einer zip übers Netzwerk mittels winst beobachtet. Das Entpacken dauert auf dem Rechner selbst weniger als 2s, über opsi aber irgendwo zwischen 2min und 17min. Es gibt aber auch hier überhaupt keine Hinweise auf irgendwelche Fehler und die Installation läuft fehlerfrei durch. Das ganze passiert auf manchen clients und auf anderen nicht, was es noch schwerer einzugrenzen macht...
Ich hatte erst vermutet, dass der Samba share ein bottleneck ist, aber wie oben beschrieben, geht es bei den Problemclients beim direkten Aufruf vom share auch sehr zügig. Mir fehlen daher jetzt die Ansatzpunkte um das weiter zu debuggen. Habt ihr eine Idee?
Viele Grüße
Martin
Zuletzt geändert von wom am 17 Aug 2022, 12:57, insgesamt 1-mal geändert.
Re: Produkt Installationen unfassbar langsam
Hallo Martin,
ist es denn immer auf den gleichen Clients langsam? Sind langsame Clients auch mal schnell?
Spielt euer AntiVir da rein? Hast du dir mal auf dem Server angeschaut wie smbstatus -b da aussieht?
Was sagt smbstatus -v?
Wie sieht euer Storage dahinter aus?
ist es denn immer auf den gleichen Clients langsam? Sind langsame Clients auch mal schnell?
Spielt euer AntiVir da rein? Hast du dir mal auf dem Server angeschaut wie smbstatus -b da aussieht?
Was sagt smbstatus -v?
Wie sieht euer Storage dahinter aus?
Kein Support per DM!
_________________________
opsi support - https://www.uib.de/
For productive opsi installations we recommend support contracts.
_________________________
opsi support - https://www.uib.de/
For productive opsi installations we recommend support contracts.
-
- Beiträge: 439
- Registriert: 08 Jul 2017, 12:02
Re: Produkt Installationen unfassbar langsam
Mir fehlen daher jetzt die Ansatzpunkte um das weiter zu debuggen. Habt ihr eine Idee?
So rein ins Blaue.....Neuaufsetzen unseres Servers (debian 11 mit opsi4.2) das Problem, dass Produktinstallationen auf manachen Clients unglaublich langsam geworden sind.
DU kannst Problemslos und schnell, der OPSI Client machts lahm
Ihr habt Euren OPSI Server "NEU" aufgesetzt...
So einen Rechner nehmen, dern OPSI Client komplett runterwerfen und neuinstallieren.
Die Client config eines schnellen und eines langsamen mal vergleichen, vielleict ist da ja der Hund begraben.
Betonung auf "Vielleicht" und Idee
Re: Produkt Installationen unfassbar langsam
Hi,
mir ist gerade mal wieder so ein Client untergekommen. Nagelneuer Laptop, komplett neu installiert (Win10 x64 21H2). Ich habe zwischenzeitlich auch viele weitere Rechner neu aufgesetzt (immer mit dem neuen Server und eigentlich identischer config... manche davon normal schnell, manche quälend lahm. Unterschiedliche configs als Auslöser würde ich daher eher ausschließen.
Ausgabe von smbstatus -v:
Für die gezeigt Installation von Citavi hat der Rechner gerade 15min gebraucht. Normalerweise geht das in unter einer.
Ich habe ausserdem gerade mal versucht den samba zu optimieren (https://superuser.com/a/928126), aber ohne bemerkenswerten Unterschied.
antivir gibts auf dem server keins, der client hat wahrscheinlich den Windows Defender aktiviert. Da es eine headless installation ist, hatte ich noch keine Gelegenheit ohne den zu testen.
Storage auf dem Server ist eine SSD mit entsprechend hohem Durchsatz und kurzen random access zeiten. Weiterhin ist ja aber das interessante, dass die Installation direkt vom als Netzlaufwerk eingehängten opsi_depot sehr schnell ist, während die gleiche Installation über den clientd/winst sehr langsam läuft.
Soweit ich das sehe sind die betroffenen clients auch sehr konsistent langsam.
Habt ihr noch Ideen, wo der Unterschied zwischen der Installation über opsi und der manuellen Installation vom gleichen Netzlaufwerk liegen könnte? Ich kann es mir so nicht erklären.
mir ist gerade mal wieder so ein Client untergekommen. Nagelneuer Laptop, komplett neu installiert (Win10 x64 21H2). Ich habe zwischenzeitlich auch viele weitere Rechner neu aufgesetzt (immer mit dem neuen Server und eigentlich identischer config... manche davon normal schnell, manche quälend lahm. Unterschiedliche configs als Auslöser würde ich daher eher ausschließen.
Ausgabe von smbstatus -v:
Code: Alles auswählen
using configfile = /etc/samba/smb.conf
Samba version 4.13.13-Debian
PID Username Group Machine Protocol Version Encryption Signing
----------------------------------------------------------------------------------------------------------------------------------------
1599 pcpatch opsifileadmins *clientip* (ipv4:*clientip*:49747) SMB3_11 - partial(AES-128-CMAC)
Service pid Machine Connected at Encryption Signing
---------------------------------------------------------------------------------------------
opsi_depot 1599 *clientip* Mo Aug 15 16:32:40 2022 CEST - -
Locked files:
Pid User(ID) DenyMode Access R/W Oplock SharePath Name Time
--------------------------------------------------------------------------------------------------
1599 998 DENY_WRITE 0x100080 RDONLY NONE /var/lib/opsi/depot dfn_citavi/setup.opsiscript Mon Aug 15 16:32:41 2022
1599 998 DENY_WRITE 0x120089 RDONLY LEASE(RWH) /var/lib/opsi/depot dfn_citavi/Citavi6Setup.msi Mon Aug 15 16:32:45 2022
1599 998 DENY_NONE 0x100080 RDONLY NONE /var/lib/opsi/depot . Mon Aug 15 16:32:41 2022
Ich habe ausserdem gerade mal versucht den samba zu optimieren (https://superuser.com/a/928126), aber ohne bemerkenswerten Unterschied.
antivir gibts auf dem server keins, der client hat wahrscheinlich den Windows Defender aktiviert. Da es eine headless installation ist, hatte ich noch keine Gelegenheit ohne den zu testen.
Storage auf dem Server ist eine SSD mit entsprechend hohem Durchsatz und kurzen random access zeiten. Weiterhin ist ja aber das interessante, dass die Installation direkt vom als Netzlaufwerk eingehängten opsi_depot sehr schnell ist, während die gleiche Installation über den clientd/winst sehr langsam läuft.
Soweit ich das sehe sind die betroffenen clients auch sehr konsistent langsam.
Habt ihr noch Ideen, wo der Unterschied zwischen der Installation über opsi und der manuellen Installation vom gleichen Netzlaufwerk liegen könnte? Ich kann es mir so nicht erklären.
-
- Beiträge: 439
- Registriert: 08 Jul 2017, 12:02
Re: Produkt Installationen unfassbar langsam
ähh Äpfel Birnen..
* Du nimmst ein Fremdpaket als Grundlage für deine tests
Und dann auch noch Citavi das so was ähnliches wie abhängigkeiten zu einem gewissen punkt net haben tut.
* Warum postest du nicht das Installlog von der Kiste Bananen?
* UNd dann "nagelneuer" Rechner, wer sagt dir denn, dass der nicht nebenbei noch irgendwas Wsussiges macht?
* Du nimmst ein Fremdpaket als Grundlage für deine tests
Und dann auch noch Citavi das so was ähnliches wie abhängigkeiten zu einem gewissen punkt net haben tut.
* Warum postest du nicht das Installlog von der Kiste Bananen?
* UNd dann "nagelneuer" Rechner, wer sagt dir denn, dass der nicht nebenbei noch irgendwas Wsussiges macht?
Logfiles lesen?Mir fehlen daher jetzt die Ansatzpunkte um das weiter zu debuggen.
Re: Produkt Installationen unfassbar langsam
Nö, das lief halt gerade. Andere Pakete sind ebenso langsam. Und wie der smbshare eingebunden wird, hängt ja wohl nicht vom Paket ab.* Du nimmst ein Fremdpaket als Grundlage für deine tests
dafür hab ich leider kein paket* Warum postest du nicht das Installlog von der Kiste Bananen?
Ich hoffe sogar, dass er das macht. Aber momentan läuft beispielsweise seit über 20min ein Paket, das eine (entpackt) 74mb große zip bestehend aus 66 dateien entpacken soll. So langsam bekommt das selbst WSUS nicht. Wenn ich die gleiche zip von hand vom share entpacke kann ich noch nichtmal bis 1 zählen.* UNd dann "nagelneuer" Rechner, wer sagt dir denn, dass der nicht nebenbei noch irgendwas Wsussiges macht
Daher die Frage, wo liegt der Unterschied?
Ja welche denn? Im instlog steht rein garnichts. Er startet die install.exe und die returned eine Ewigkeit später (nächste Zeile bei loglevel 7). Das samba log gibt trotz maximalem loglevel nicht viel mehr her und in der Windows Ereignisanzeige steht auch nichts.Logfiles lesen?
-
- Beiträge: 439
- Registriert: 08 Jul 2017, 12:02
Re: Produkt Installationen unfassbar langsam
Code: Alles auswählen
time /t >c:\banana.joe
xcopy /d "opsishare\whatever" c:\opsi.org\tmp\ /l >>c:\banana.joe
time /t >>c:\banana.joe
xcopy /d "opsishare\whatever" c:\opsi.org\tmp\ >>c:\banana.joe
time /t >>c:\banana.joe
nslookup opsiserver >>c:\banana.joe
ping -4 -n 10 opsiserver >>c:\banana.joe
Re: Produkt Installationen unfassbar langsam
Hier die Ausgabe von dem Skript (zuordnungsbare Details entfernt). Kopieren geht auf jeden Fall sehr schnell-
Derselbe Rechner hat kurz vorher fast eine Stunde gebraucht um die hier kopierte Datei aus dem opsi_depot zu entpacken
Dasselbe manuell mit 7zip dauert zwar kürzer, aber immernoch verdammt lange 5min
Bei Interesse, die zip gibt es hier: https://github.com/ahrm/sioyek/releases ... indows.zip. Entpackt ist sie doch nicht 74 sondern 126MB groß...
Also ich denke irgendeine Einstellung von samba ist schuld, da werde ich morgen mal versuchen zu optimieren.
Code: Alles auswählen
17:22
P:\sioyek\delsub.opsiscript
P:\sioyek\login.opsiscript
P:\sioyek\setup.opsiscript
P:\sioyek\sioyek-release-windows.zip
P:\sioyek\sioyek.files
P:\sioyek\sioyek.png
P:\sioyek\uninstall.opsiscript
7 Datei(en) kopiert
17:22
P:\sioyek\delsub.opsiscript
P:\sioyek\login.opsiscript
P:\sioyek\setup.opsiscript
P:\sioyek\sioyek-release-windows.zip
P:\sioyek\sioyek.files
P:\sioyek\sioyek.png
P:\sioyek\uninstall.opsiscript
7 Datei(en) kopiert
17:22
Server: *dns*
Address: *adresse*
Name: opsi03
Address: 192.168.1.133
Aliases: opsi
Ping wird ausgeführt für opsi03 [192.168.1.133] mit 32 Bytes Daten:
Antwort von 192.168.1.133: Bytes=32 Zeit<1ms TTL=64
Antwort von 192.168.1.133: Bytes=32 Zeit<1ms TTL=64
Antwort von 192.168.1.133: Bytes=32 Zeit<1ms TTL=64
Antwort von 192.168.1.133: Bytes=32 Zeit<1ms TTL=64
Antwort von 192.168.1.133: Bytes=32 Zeit<1ms TTL=64
Antwort von 192.168.1.133: Bytes=32 Zeit<1ms TTL=64
Antwort von 192.168.1.133: Bytes=32 Zeit<1ms TTL=64
Antwort von 192.168.1.133: Bytes=32 Zeit<1ms TTL=64
Antwort von 192.168.1.133: Bytes=32 Zeit<1ms TTL=64
Antwort von 192.168.1.133: Bytes=32 Zeit<1ms TTL=64
Ping-Statistik für 192.168.1.133:
Pakete: Gesendet = 10, Empfangen = 10, Verloren = 0
(0% Verlust),
Ca. Zeitangaben in Millisek.:
Minimum = 0ms, Maximum = 0ms, Mittelwert = 0ms
Code: Alles auswählen
[5] [2022-08-16 15:55:34.523] [sioyek] Execution of: Files_install /64Bit
[5] [2022-08-16 15:55:34.523] [sioyek]
[7] [2022-08-16 15:55:34.523] [sioyek] unzipfile "p:\sioyek\sioyek-release-windows.zip" "C:\Program Files"
[7] [2022-08-16 15:55:34.523] [sioyek] unzipfile
[6] [2022-08-16 15:55:34.525] [sioyek] we try to unzip: p:\sioyek\sioyek-release-windows.zip to C:\Program Files
[6] [2022-08-16 16:48:02.814] [sioyek] unzipped: p:\sioyek\sioyek-release-windows.zip to C:\Program Files
[7] [2022-08-16 16:48:02.815] [sioyek] move "C:\Program Files\sioyek-release-windows" "C:\Program Files\Sioyek"
[7] [2022-08-16 16:48:02.815] [sioyek] move
[7] [2022-08-16 16:48:02.815] [sioyek] we try to rename: C:\Program Files\sioyek-release-windows to C:\Program Files\Sioyek
[6] [2022-08-16 16:48:02.815] [sioyek] renamed: C:\Program Files\sioyek-release-windows to C:\Program Files\Sioyek
[5] [2022-08-16 16:48:02.817] [sioyek] Finished section: Files_install /64Bit
Code: Alles auswählen
~$ time /t
17:39
~$ "C:\Program Files\7-Zip\7z.exe" x "p:\sioyek\sioyek-release-windows.zip" -o"c:\banane"
7-Zip 22.01 (x64) : Copyright (c) 1999-2022 Igor Pavlov : 2022-07-15
Scanning the drive for archives:
1 file, 76986396 bytes (74 MiB)
Extracting archive: p:\sioyek\sioyek-release-windows.zip
--
Path = p:\sioyek\sioyek-release-windows.zip
Type = zip
Physical Size = 76986396
Everything is Ok
Folders: 8
Files: 66
Size: 125608628
Compressed: 76986396
~$ time /t
17:44
Also ich denke irgendeine Einstellung von samba ist schuld, da werde ich morgen mal versuchen zu optimieren.
Re: Produkt Installationen unfassbar langsam
Hi,
also nach langem herumprobieren mit der smb.conf habe ich nun ein paar Erkenntnisse gewonnen:
Die verlinkten Optimierungen von https://superuser.com/a/928126 machen für sich genommen den Zugriff eher noch langsamer.
Was aber wirklich massive Verbesserungen bringt, ist den Multi Channel Support von Samba zu aktivieren:
Mit dieser Einstellung allein schrumpft die Zeit für das Entpacken der zip vom opsi_depot von ~55min auf ~35s, bzw. von ~5min auf ~15s mit 7z.
Die Einstellungen von https://superuser.com/a/928126 können dann (aber nur mit aktiviertem multi channel) wie es aussieht nochmal 2-3s zusätzlich herausholen. Das habe ich aber nicht oft genug getestet, um es sicher sagen zu können.
Das Problem ist damit erstmal gelöst. Danke für die Unterstützung, Jan und Thomas!
Nachtrag:
Falls noch jemand dasselbe Problem hat: Bei dem standardmäßig installierten Samba 4.13 von debian bullseye ist der multi channel support noch als experimentell markiert und bei uns tatsächlich auch instabil. Mit 4.15. ist der multi channel support aber stabil und standardmäßig aktiviert. Die bessere Lösung (und ganz ohne Anfassen der Samba Konfiguration) ist daher, den Samba aus bullseye-backports zu installieren (momentan Version 4.16.4).
also nach langem herumprobieren mit der smb.conf habe ich nun ein paar Erkenntnisse gewonnen:
Die verlinkten Optimierungen von https://superuser.com/a/928126 machen für sich genommen den Zugriff eher noch langsamer.
Was aber wirklich massive Verbesserungen bringt, ist den Multi Channel Support von Samba zu aktivieren:
Code: Alles auswählen
/etc/samba/smb.conf:
[global]
#...
server multi channel support = yes
Die Einstellungen von https://superuser.com/a/928126 können dann (aber nur mit aktiviertem multi channel) wie es aussieht nochmal 2-3s zusätzlich herausholen. Das habe ich aber nicht oft genug getestet, um es sicher sagen zu können.
Das Problem ist damit erstmal gelöst. Danke für die Unterstützung, Jan und Thomas!
Nachtrag:
Falls noch jemand dasselbe Problem hat: Bei dem standardmäßig installierten Samba 4.13 von debian bullseye ist der multi channel support noch als experimentell markiert und bei uns tatsächlich auch instabil. Mit 4.15. ist der multi channel support aber stabil und standardmäßig aktiviert. Die bessere Lösung (und ganz ohne Anfassen der Samba Konfiguration) ist daher, den Samba aus bullseye-backports zu installieren (momentan Version 4.16.4).