Seite 1 von 2

Probleme mit DFN Repository

Verfasst: 17 Jan 2019, 11:29
von Rostu
Hallo zusammen, ich habe Probleme mit dem opsi-product-updater und dem pivate dfn Repository
Die Einträge in der opsi-product-updater.conf sehen wie folgt aus:

Code: Alles auswählen

[repository_o4i_public]
active = true
baseUrl = https://o4i.imbi.uni-freiburg.de/public
opsiDepotId =
dirs = /
autoInstall = false
autoUpdate = true
autoSetup = true
onlyDownload = false
proxy = http://136.199.xxx.xxx:xxxx

[repository_o4i_non-public]
active = true
baseUrl = https://o4i-repo.mpi-halle.mpg.de
opsiDepotId =
dirs = non-public
username =o4i
password =XXXXXXXX
autoInstall = false
autoUpdate = true
autoSetup = true
onlyDownload = false
proxy = http://136.199.xxx.xxx:xxxx
Es ist natürlich der korrekte Proxy Server und das aktuelle Passwort eingetragen.

Außerdem habe ich beide private Server ausprobiert und auch folgende konfiguration getestet:

Code: Alles auswählen

baseUrl = https://o4i-repo.mpi-halle.mpg.de/non-public
dirs = /

Beim Update bekomme ich folgenden Fehler beim pivate dfn Repository (das public repo macht keine Probleme):

Code: Alles auswählen

Getting package infos from repository 'https://o4i-repo.mpi-halle.mpg.de/non-public'
Using Proxy: http://136.199.xxx.xxx:xxxx
Traceback:
  File "/usr/bin/opsi-product-updater", line 1193, in <module>
    main()

  File "/usr/bin/opsi-product-updater", line 1186, in main
    opu.processUpdates()

  File "/usr/bin/opsi-product-updater", line 492, in processUpdates
    downloadablePackages = self.onlyNewestPackages(self.getDownloadablePackages())

  File "/usr/bin/opsi-product-updater", line 983, in getDownloadablePackages
    downloadablePackages.extend(self.getDownloadablePackagesFromRepository(repository))

  File "/usr/bin/opsi-product-updater", line 1110, in getDownloadablePackagesFromRepository
    raise RuntimeError(u"Failed to process url '%s': %s" % (url, error))

     ==>>> Failed to process url 'https://o4i-repo.mpi-halle.mpg.de/non-public': HTTP Error 500: Internal Server Error
ERROR: Failed to process url 'https://o4i-repo.mpi-halle.mpg.de/non-public': HTTP Error 500: Internal Server Error
Kann mir da jemand weiter helfen?

Grüße
Robert

Re: Probleme mit DFN Repository

Verfasst: 23 Jan 2019, 14:38
von n.wenselowski
Hi,

Die Fehlermeldung deutet auf ein Problem auf den DFN-Servern hin.
Bitte wende dich direkt an die Leute, die das Repo betreiben.


Gruß

Niko

Re: Probleme mit DFN Repository

Verfasst: 02 Feb 2019, 02:30
von jub
Hi,

besteht das Problem noch?

Der Fehler scheint bisher nur aufzutreten, wenn:
* der Zugriff auf das Repository über einen Proxy erfolgt
* es sich um den Passwort geschützten Bereich des Repos handelt
* und der opsi-product-updater zum Einsatz kommt

In den Serverlogs resultiert das in einer Meldung

Code: Alles auswählen

"GET https://o4i-repo.mpi-halle.mpg.de/non-public/ HTTP/1.1" 500 3534 "-" "opsi package updater 4.1.1.53"
wo eigentlich

Code: Alles auswählen

“GET /non-public/ HTTP/1.1” 200 19816 “-” “opsi package updater 4.1.1.53”
stehen sollte.

Der Versuch das Problem mit curl nachzuvollziehen ist allerdings gescheitert.
An der Suche nach der genauen Ursache und einem Fix wird noch gearbeitet.

Bei Problemen mit dem DFN-Repository ist es vielleicht zielführender direkt die Koordinatoren zu kontaktieren

Viele Grüsse,
Jens
...o4i-Koordinationsteam ;-)

Re: Probleme mit DFN Repository

Verfasst: 05 Feb 2019, 19:23
von jub
Update:

In der Tat tritt das Problem tatsächlich nur in der oben beschriebenen Konstellation auf.
Der derzeit aktuelle opsi-product-updater erzeugt in diesem Fall einen ungültigen Request.

Für das DFN-Repository habe ich inzwischen einen Workaround erstellt. Mit der "Site Release: 2019-02-02 22:20" sollte das Update auch für non-public wieder mit einem Proxy funktionieren.


Viele Grüsse,
Jens
...o4i-Koordinationsteam

Re: Probleme mit DFN Repository

Verfasst: 08 Feb 2019, 11:31
von n.wenselowski
Hallo Jens,

scheinbar handelt es sich dabei um ein Problem bei der von uns verwendeten urrlib. :?
Dort scheint es ein Problem zu geben, wenn über einen http-Proxy eine https-Adresse aufgerufen wird.
Wir überlegen aktuell, ob wir das ganze versuchen umzubauen - es hat zumindest scheinbar bei requests sich jemand die Mühe gemacht das zu fixen.


Gruß

Niko

Re: Probleme mit DFN Repository

Verfasst: 08 Feb 2019, 14:04
von jub
Hallo Niko,

dass es mit requests funktioniert, kann ich schonmal grundsätzlich bestätigen. Zwar habe ich den Updater noch nicht umgebaut, aber zumindest manuell damit getestet. Allerdings habe ich den Proxy ohne Authentifizierung genutzt. An DigestAuth für den Proxy und gleichzeitig BasicAuth für das Repo bin ich auf die Schnelle gescheitert.

Zumindest für unser Repo ist das Problem mit dem Patch umschifft; der fehlerhafte REQUEST_URI wird korrigiert.
Andere Repos (PPOP) haben aber eventuell das gleiche Problem. Bei Bedarf kann ich euch meinen kleinen Patch zukommen lassen.

Viele Grüsse,
Jens

Re: Probleme mit DFN Repository

Verfasst: 11 Feb 2019, 16:43
von n.wenselowski
Hi Jens,
jub hat geschrieben:dass es mit requests funktioniert, kann ich schonmal grundsätzlich bestätigen. Zwar habe ich den Updater noch nicht umgebaut, aber zumindest manuell damit getestet. Allerdings habe ich den Proxy ohne Authentifizierung genutzt. An DigestAuth für den Proxy und gleichzeitig BasicAuth für das Repo bin ich auf die Schnelle gescheitert.

Zumindest für unser Repo ist das Problem mit dem Patch umschifft; der fehlerhafte REQUEST_URI wird korrigiert.
Andere Repos (PPOP) haben aber eventuell das gleiche Problem. Bei Bedarf kann ich euch meinen kleinen Patch zukommen lassen.
Interessiert daran bin ich auf jeden Fall. Falls du keine Mail-Adresse von mir hast einfach an info@uib.de mit Hinweis auf mich schicken - Danke!
Du hast das auf der Server-Seite gelöst, ja?


Gruß

Niko

Re: Probleme mit DFN Repository

Verfasst: 15 Apr 2019, 10:20
von Rostu
Hallo zusammen, tatsächlich war das Problem zwischenzeitlich gelöst.
Nachdem wir ein upgrade auf OPSI 4.1 durchgeführt haben, bekomme ich mit dem opsi-package-updater folgende Meldung

Code: Alles auswählen

Problems processing repository o4i_non-public: HTTP Error 401: Unauthorized
Habe jetzt schon drei mal das Passwort überprüft, weil ich mir selbst nicht traue, das ist aber aktuell.
Die opsi-product-updater.conf enthällt:

Code: Alles auswählen

[repository_o4i_non-public]
active = true
baseUrl = https://o4i.imbi.uni-freiburg.de
opsiDepotId =
dirs = non-public
username = o4i
password = XXXXXXXXX
autoInstall = false
autoUpdate = true
autoSetup = true
onlyDownload = false
proxy = http://xxx.xxx.xxx.xxx:xxxx

Re: Probleme mit DFN Repository

Verfasst: 16 Apr 2019, 07:43
von thomas.besser
Seit der Umstellung auf die neue o4i-Infrastruktur wird das Passwort automatisiert zu Quartalsbeginn neu gewürfelt und im Wiki hinterlegt.

Gruß
Thomas

Re: Probleme mit DFN Repository

Verfasst: 16 Apr 2019, 08:59
von Rostu
Problem gelöst, hatte vergessen, dass sich die OPSi Struktur mit dem Upgrade geändert hat, und die config files für zusätzliche repositories jetzt an einer anderen Stelle liegen... Da bringt es nix das Passwort in der alten config file einzutragen :p