Probleme mit DFN Repository

Rostu
Beiträge: 3
Registriert: 17 Jan 2019, 11:16

Probleme mit DFN Repository

Beitragvon Rostu » 17 Jan 2019, 11:29

Hallo zusammen, ich habe Probleme mit dem opsi-product-updater und dem pivate dfn Repository
Die Einträge in der opsi-product-updater.conf sehen wie folgt aus:

Code: Alles auswählen

[repository_o4i_public]
active = true
baseUrl = https://o4i.imbi.uni-freiburg.de/public
opsiDepotId =
dirs = /
autoInstall = false
autoUpdate = true
autoSetup = true
onlyDownload = false
proxy = http://136.199.xxx.xxx:xxxx

[repository_o4i_non-public]
active = true
baseUrl = https://o4i-repo.mpi-halle.mpg.de
opsiDepotId =
dirs = non-public
username =o4i
password =XXXXXXXX
autoInstall = false
autoUpdate = true
autoSetup = true
onlyDownload = false
proxy = http://136.199.xxx.xxx:xxxx

Es ist natürlich der korrekte Proxy Server und das aktuelle Passwort eingetragen.

Außerdem habe ich beide private Server ausprobiert und auch folgende konfiguration getestet:

Code: Alles auswählen

baseUrl = https://o4i-repo.mpi-halle.mpg.de/non-public
dirs = /



Beim Update bekomme ich folgenden Fehler beim pivate dfn Repository (das public repo macht keine Probleme):

Code: Alles auswählen

Getting package infos from repository 'https://o4i-repo.mpi-halle.mpg.de/non-public'
Using Proxy: http://136.199.xxx.xxx:xxxx
Traceback:
  File "/usr/bin/opsi-product-updater", line 1193, in <module>
    main()

  File "/usr/bin/opsi-product-updater", line 1186, in main
    opu.processUpdates()

  File "/usr/bin/opsi-product-updater", line 492, in processUpdates
    downloadablePackages = self.onlyNewestPackages(self.getDownloadablePackages())

  File "/usr/bin/opsi-product-updater", line 983, in getDownloadablePackages
    downloadablePackages.extend(self.getDownloadablePackagesFromRepository(repository))

  File "/usr/bin/opsi-product-updater", line 1110, in getDownloadablePackagesFromRepository
    raise RuntimeError(u"Failed to process url '%s': %s" % (url, error))

     ==>>> Failed to process url 'https://o4i-repo.mpi-halle.mpg.de/non-public': HTTP Error 500: Internal Server Error
ERROR: Failed to process url 'https://o4i-repo.mpi-halle.mpg.de/non-public': HTTP Error 500: Internal Server Error


Kann mir da jemand weiter helfen?

Grüße
Robert

Benutzeravatar
n.wenselowski
uib-Team
Beiträge: 3148
Registriert: 04 Apr 2013, 12:15

Re: Probleme mit DFN Repository

Beitragvon n.wenselowski » 23 Jan 2019, 14:38

Hi,

Die Fehlermeldung deutet auf ein Problem auf den DFN-Servern hin.
Bitte wende dich direkt an die Leute, die das Repo betreiben.


Gruß

Niko
opsi development - uib gmbh
For productive opsi installations we recommend support contracts.

Benutzeravatar
jub
Beiträge: 38
Registriert: 25 Nov 2010, 12:40

Re: Probleme mit DFN Repository

Beitragvon jub » 02 Feb 2019, 02:30

Hi,

besteht das Problem noch?

Der Fehler scheint bisher nur aufzutreten, wenn:
* der Zugriff auf das Repository über einen Proxy erfolgt
* es sich um den Passwort geschützten Bereich des Repos handelt
* und der opsi-product-updater zum Einsatz kommt

In den Serverlogs resultiert das in einer Meldung

Code: Alles auswählen

"GET https://o4i-repo.mpi-halle.mpg.de/non-public/ HTTP/1.1" 500 3534 "-" "opsi package updater 4.1.1.53"

wo eigentlich

Code: Alles auswählen

“GET /non-public/ HTTP/1.1” 200 19816 “-” “opsi package updater 4.1.1.53”

stehen sollte.

Der Versuch das Problem mit curl nachzuvollziehen ist allerdings gescheitert.
An der Suche nach der genauen Ursache und einem Fix wird noch gearbeitet.

Bei Problemen mit dem DFN-Repository ist es vielleicht zielführender direkt die Koordinatoren zu kontaktieren

Viele Grüsse,
Jens
...o4i-Koordinationsteam ;-)

Benutzeravatar
jub
Beiträge: 38
Registriert: 25 Nov 2010, 12:40

Re: Probleme mit DFN Repository

Beitragvon jub » 05 Feb 2019, 19:23

Update:

In der Tat tritt das Problem tatsächlich nur in der oben beschriebenen Konstellation auf.
Der derzeit aktuelle opsi-product-updater erzeugt in diesem Fall einen ungültigen Request.

Für das DFN-Repository habe ich inzwischen einen Workaround erstellt. Mit der "Site Release: 2019-02-02 22:20" sollte das Update auch für non-public wieder mit einem Proxy funktionieren.


Viele Grüsse,
Jens
...o4i-Koordinationsteam

Benutzeravatar
n.wenselowski
uib-Team
Beiträge: 3148
Registriert: 04 Apr 2013, 12:15

Re: Probleme mit DFN Repository

Beitragvon n.wenselowski » 08 Feb 2019, 11:31

Hallo Jens,

scheinbar handelt es sich dabei um ein Problem bei der von uns verwendeten urrlib. :?
Dort scheint es ein Problem zu geben, wenn über einen http-Proxy eine https-Adresse aufgerufen wird.
Wir überlegen aktuell, ob wir das ganze versuchen umzubauen - es hat zumindest scheinbar bei requests sich jemand die Mühe gemacht das zu fixen.


Gruß

Niko
opsi development - uib gmbh
For productive opsi installations we recommend support contracts.

Benutzeravatar
jub
Beiträge: 38
Registriert: 25 Nov 2010, 12:40

Re: Probleme mit DFN Repository

Beitragvon jub » 08 Feb 2019, 14:04

Hallo Niko,

dass es mit requests funktioniert, kann ich schonmal grundsätzlich bestätigen. Zwar habe ich den Updater noch nicht umgebaut, aber zumindest manuell damit getestet. Allerdings habe ich den Proxy ohne Authentifizierung genutzt. An DigestAuth für den Proxy und gleichzeitig BasicAuth für das Repo bin ich auf die Schnelle gescheitert.

Zumindest für unser Repo ist das Problem mit dem Patch umschifft; der fehlerhafte REQUEST_URI wird korrigiert.
Andere Repos (PPOP) haben aber eventuell das gleiche Problem. Bei Bedarf kann ich euch meinen kleinen Patch zukommen lassen.

Viele Grüsse,
Jens

Benutzeravatar
n.wenselowski
uib-Team
Beiträge: 3148
Registriert: 04 Apr 2013, 12:15

Re: Probleme mit DFN Repository

Beitragvon n.wenselowski » 11 Feb 2019, 16:43

Hi Jens,

jub hat geschrieben:dass es mit requests funktioniert, kann ich schonmal grundsätzlich bestätigen. Zwar habe ich den Updater noch nicht umgebaut, aber zumindest manuell damit getestet. Allerdings habe ich den Proxy ohne Authentifizierung genutzt. An DigestAuth für den Proxy und gleichzeitig BasicAuth für das Repo bin ich auf die Schnelle gescheitert.

Zumindest für unser Repo ist das Problem mit dem Patch umschifft; der fehlerhafte REQUEST_URI wird korrigiert.
Andere Repos (PPOP) haben aber eventuell das gleiche Problem. Bei Bedarf kann ich euch meinen kleinen Patch zukommen lassen.

Interessiert daran bin ich auf jeden Fall. Falls du keine Mail-Adresse von mir hast einfach an info@uib.de mit Hinweis auf mich schicken - Danke!
Du hast das auf der Server-Seite gelöst, ja?


Gruß

Niko
opsi development - uib gmbh
For productive opsi installations we recommend support contracts.

Rostu
Beiträge: 3
Registriert: 17 Jan 2019, 11:16

Re: Probleme mit DFN Repository

Beitragvon Rostu » 15 Apr 2019, 10:20

Hallo zusammen, tatsächlich war das Problem zwischenzeitlich gelöst.
Nachdem wir ein upgrade auf OPSI 4.1 durchgeführt haben, bekomme ich mit dem opsi-package-updater folgende Meldung

Code: Alles auswählen

Problems processing repository o4i_non-public: HTTP Error 401: Unauthorized

Habe jetzt schon drei mal das Passwort überprüft, weil ich mir selbst nicht traue, das ist aber aktuell.
Die opsi-product-updater.conf enthällt:

Code: Alles auswählen

[repository_o4i_non-public]
active = true
baseUrl = https://o4i.imbi.uni-freiburg.de
opsiDepotId =
dirs = non-public
username = o4i
password = XXXXXXXXX
autoInstall = false
autoUpdate = true
autoSetup = true
onlyDownload = false
proxy = http://xxx.xxx.xxx.xxx:xxxx

thomas.besser
Beiträge: 313
Registriert: 09 Sep 2009, 09:40

Re: Probleme mit DFN Repository

Beitragvon thomas.besser » 16 Apr 2019, 07:43

Seit der Umstellung auf die neue o4i-Infrastruktur wird das Passwort automatisiert zu Quartalsbeginn neu gewürfelt und im Wiki hinterlegt.

Gruß
Thomas

Rostu
Beiträge: 3
Registriert: 17 Jan 2019, 11:16

Re: Probleme mit DFN Repository

Beitragvon Rostu » 16 Apr 2019, 08:59

Problem gelöst, hatte vergessen, dass sich die OPSi Struktur mit dem Upgrade geändert hat, und die config files für zusätzliche repositories jetzt an einer anderen Stelle liegen... Da bringt es nix das Passwort in der alten config file einzutragen :p