N arrive pas à trier les pages

[Emm88]

Bonjour

Avant la 3.2 tout était ok (ou avant)
La 3.2 et la 3.4 n'arrivent pas à finir de trier les pages.
La page qarte se charge, les menus accessibles, mais aucune vignette.
QUitter ne fonctionne pas.
Options OK

uname -a
Linux localhost 4.6.0-0.bpo.1-amd64 #1 SMP Debian 4.6.4-1~bpo8+1 (2016-08-11) x86_64 GNU/Linux

Plateforme skylake avec quelques erreurs de driver, mais j'ai l'impression sans importance

Merci
cdlt

$ qarte -d
21:02:04: INFO - core Set workspace
21:02:04: INFO - core Load config from: /home/user/.Qarte/user_config
21:02:04: INFO - core Build main window
pci id for fd 12: 8086:1912, driver (null)
[intel_init_bufmgr:1068] Error initializing buffer manager.
libGL error: failed to create dri screen
libGL error: failed to load driver: i965
21:02:04: INFO - artetv Read indexes
21:02:04: INFO - artetv Read video's data
21:02:04: INFO - artetv Load page: http://www.arte.tv/guide/fr/plus7/toutes-les-videos?sort=recent&country=FR
21:02:04: INFO - artetv Load page: http://www.arte.tv/guide/fr/plus7/toutes-les-videos?date=j-1&country=FR
21:02:04: INFO - artetv Load page: http://www.arte.tv/guide/fr/plus7/toutes-les-videos?date=j-2&country=FR
21:02:04: INFO - artetv Load page: http://www.arte.tv/guide/fr/plus7/toutes-les-videos?date=j-3&country=FR
21:02:05: INFO - artetv Load page: http://www.arte.tv/guide/fr/plus7/toutes-les-videos?date=j-4&country=FR
21:02:05: INFO - artetv Load page: http://www.arte.tv/guide/fr/plus7/toutes-les-videos?date=j-5&country=FR
21:02:05: INFO - artetv Load page: http://www.arte.tv/guide/fr/plus7/toutes-les-videos?date=j-6&country=FR
21:02:05: INFO - artetv Load page: http://www.arte.tv/guide/fr/plus7/toutes-les-videos?date=j-7&country=FR
21:02:05: INFO - artetv Load page: http://www.arte.tv/guide/fr/plus7/toutes-les-videos?date=j-8&country=FR
21:02:05: INFO - artetv Load page: http://www.arte.tv/guide/fr/plus7/toutes-les-videos?date=j-9&country=FR
21:02:05: INFO - artetv Load page: http://www.arte.tv/guide/fr/plus7/toutes-les-videos?date=j-10&country=FR
21:02:05: INFO - artetv Load page: http://www.arte.tv/guide/fr/plus7/toutes-les-videos?date=j-11&country=FR
21:02:05: INFO - artetv Load page: http://www.arte.tv/guide/fr/plus7/toutes-les-videos?date=j-12&country=FR
21:02:05: INFO - artetv Load page: http://www.arte.tv/guide/fr/plus7/toutes-les-videos?date=j-13&country=FR
21:02:05: INFO - artetv Sorting videos, last index: 051090-046-A
21:02:05: INFO - artetv Load page: http://www.arte.tv/guide/fr/064099-041-A/best-of-arte-journal
21:02:05: INFO - artetv Load page: http://www.arte.tv/guide/fr/048860-003-A/au-coeur-de-la-nuit
21:02:05: INFO - artetv Load page: http://www.arte.tv/guide/fr/065326-012-A/berlin-live-suzanne-vega
21:02:05: INFO - artetv Load page: http://www.arte.tv/guide/fr/065326-005-A/berlin-live-petula-clark
21:02:05: INFO - artetv Load page: http://www.arte.tv/guide/fr/067124-003-A/tracks
21:02:05: INFO - artetv Load page: http://www.arte.tv/guide/fr/043960-000-A/pour-toujours-et-un-jour-scorpions
21:02:05: INFO - artetv Load page: http://www.arte.tv/guide/fr/060765-000-A/damocles
21:02:05: INFO - artetv Load page: http://www.arte.tv/guide/fr/068401-025-A/28-minutes
21:02:05: INFO - artetv Load page: http://www.arte.tv/guide/fr/064094-201-A/arte-journal
21:02:06: INFO - artetv Load page: http://www.arte.tv/guide/fr/064317-004-A/catherine-deneuve-lit-la-mode
21:02:06: INFO - artetv Load page: http://www.arte.tv/guide/fr/048079-002-A/la-fabuleuse-histoire-de-l-evolution
21:02:06: INFO - artetv Load page: http://www.arte.tv/guide/fr/052692-010-A/d-amsterdam-a-odessa-10-10
21:02:06: INFO - artetv Load page: http://www.arte.tv/guide/fr/063945-017-A/xenius
21:02:06: INFO - artetv Load page: http://www.arte.tv/guide/fr/050152-000-A/l-enigme-de-la-fausse-momie
21:02:06: INFO - artetv Load page: http://www.arte.tv/guide/fr/068425-005-A/la-volga-en-30-jours
21:02:06: INFO - artetv Load page: http://www.arte.tv/guide/fr/047285-020-A/paysages-d-ici-et-d-ailleurs
21:02:06: INFO - artetv Load page: http://www.arte.tv/guide/fr/064092-201-A/arte-journal
21:02:06: INFO - artetv Load page: http://www.arte.tv/guide/fr/064097-200-A/arte-journal-junior
21:02:07: INFO - artetv Load page: http://www.arte.tv/guide/fr/046119-003-A/les-lignes-de-wellington-3-3
21:02:07: INFO - artetv Load page: http://www.arte.tv/guide/fr/046119-002-A/les-lignes-de-wellington-2-3
21:02:07: INFO - artetv Load page: http://www.arte.tv/guide/fr/046119-001-A/les-lignes-de-wellington-1-3
21:02:07: INFO - artetv Load page: http://www.arte.tv/guide/fr/052808-005-A/indian-summers-5-10
21:02:07: INFO - artetv Load page: http://www.arte.tv/guide/fr/052808-004-A/indian-summers-4-10
21:02:07: INFO - artetv Load page: http://www.arte.tv/guide/fr/052808-003-A/indian-summers-3-10

[Emm88 (emm88)]

Sous debian
Qarte installé avec
dpkg -i qarte_3.4.0_all.deb

toujours non fonctionnel même avec un noyau plus récent
uname -a
Linux localhost 4.7.0-0.bpo.1-amd64 #1 SMP Debian 4.7.5-1~bpo8+2 (2016-10-01) x86_64 GNU/Linux

 lsb_release -a
No LSB modules are available.
Distributor ID: Debian
Description: Debian GNU/Linux 8.6 (jessie)

[VinsS (vincent-vandevyvre)]

Ceci n'a rien à voir avec la distribution ni le noyau.

Je ne peux pas le reproduire mais cela apparait simplement comme le serveur de arte qui tarde à répondre pour la dernière page.

Eventuelement supprimez les fichiers ".Qarte/tv_videos_data_fr" et ".Qarte/tv_index_fr"

[Emm88 (emm88)]

Bonjour

J'ai essayé la supression des 2 fichiers
le blocage se fait au même endroit

Idem si je supprime .Qarte

[Emm88 (emm88)]

Sur l'ordi qui ne marche pas

22:41:55: INFO - artetv Sorting videos, last index: 0

Sur le OK
last index 044926-001-A

[Emm88 (emm88)]

Pour info

dpkg --list | grep python3

ii libpython3-stdlib:amd64 3.4.2-2 amd64 interactive high-level object-oriented language (default python3 version)
ii libpython3.4:amd64 3.4.2-1 amd64 Shared Python runtime library (version 3.4)
ii libpython3.4-minimal:amd64 3.4.2-1 amd64 Minimal subset of the Python language (version 3.4)
ii libpython3.4-stdlib:amd64 3.4.2-1 amd64 Interactive high-level object-oriented language (standard library, version 3.4)
ii python3 3.4.2-2 amd64 interactive high-level object-oriented language (default python3 version)
ii python3-apt 0.9.3.12 amd64 Python 3 interface to libapt-pkg
ii python3-aptdaemon 1.1.1-4+deb8u1 all Python 3 modules for the server and client of aptdaemon
ii python3-aptdaemon.gtk3widgets 1.1.1-4+deb8u1 all Python 3 GTK+ 3 widgets to run an aptdaemon client
ii python3-chardet 2.3.0-1 all universal character encoding detector for Python3
ii python3-dbus 1.2.0-2+b3 amd64 simple interprocess messaging system (Python 3 interface)
ii python3-debian 0.1.27 all Python 3 modules to work with Debian-related data formats
ii python3-defer 1.0.6-2 all Small framework for asynchronous programming (Python 3)
ii python3-gi 3.14.0-1 amd64 Python 3 bindings for gobject-introspection libraries
ii python3-minimal 3.4.2-2 amd64 minimal subset of the Python language (default python3 version)
ii python3-pkg-resources 5.5.1-1 all Package Discovery and Resource Access using pkg_resources
ii python3-pykde4 4:4.14.0-1 amd64 Python 3 bindings for the KDE Development Platform
ii python3-pyqt4 4.11.2+dfsg-1 amd64 Python3 bindings for Qt4
ii python3-pyqt5 5.3.2+dfsg-3 amd64 Python 3 bindings for Qt5
ii python3-pyqt5.qtsvg 5.3.2+dfsg-3 amd64 Python 3 bindings for Qt5's SVG...

[Emm88 (emm88)]

Je me demande si cela bloque dans un fichier de config
j'ai gardé une copie de l'ancien .Qarte

Qarte 3.4.0
Python 3.4.2
Qt 5.3.2
PyQt 5.3.2
Sip 4.16.4

[Emm88 (emm88)]

Résolu au moins pour ce soir
en supprimant .Qarte sur PC pas ok
en copiant .Qarte au complet de crouton-debian (PC OK) dans PC pas OK

[Emm88 (emm88)]

rm -fR .Qarte
dpkg --remove qarte
dpkg -i qarte_3.4.0_all.deb
qarte -d
Bug troujours présent maintenant que les pages arte ont changé.
Même problème avec les pages en allemand

Ensuite
Quand j'écrase .Qarte avec version ok .Qarte du laptop
cela ne marche plus (pages changées depuis hier)

Nota : au premier démarrage qarte ne demande pas comme avant
de remplir les chemins et les options

Nota : Quand j'écrase .Qarte avec version ok .Qarte du laptop
j'ai essayé avec et sans ''videos_folder'' ayant le bon chemin
pas de différence de memoire, quand ça marche; ça marche,
comme si c'était une histoire de classement des vignettes

J'ai vérifié les droits pour les répertoires de .Qarte

ls -lr .Qarte
total 960
-rw-r--r-- 1 user usergrp 938 Oct 8 13:00 user_config
-rw-r--r-- 1 user usergrp 2 Oct 8 12:58 tv_summaries_fr
-rw-r--r-- 1 user usergrp 2 Oct 8 13:00 tv_summaries_de
drwxr-xr-x 2 user usergrp 4096 Oct 8 13:10 plusPreviews
drwxr-xr-x 2 user usergrp 4096 Oct 8 12:59 livePreviews
-rw-r--r-- 1 user usergrp 958673 Oct 8 12:59 concerts_fr

[Emm88 (emm88)]

Origine du problème semble être les jpg

.Qarte/plusPreviews/

le repertoire ne se remplit pas bien
De manière aléatoire un jpg fait 0 byte et le remplissage s'arrête

Dans .Qarte/plusPreviews/
ls -ltrs | wc -l
21
kill qarte
qarte -d
ls -ltrs | wc -l
2

J'ai un SSD, j'ai fait un trim
Je n'ai jamais eu de problème particulier

lshw -class cpu
  *-cpu
       product: Intel(R) Core(TM) i5-6600K CPU @ 3.50GHz

taskset 0x00000001 qarte -d
Un peu mieux mais pas tous les jpeg

[Emm88 (emm88)]

Bidouillé paths['user'] dans core.py
pour écrire sur un DD classique
Sans effet, tjs de jpg de taille 0 après un moment

[Emm88 (emm88)]

en root
# taskset 0x00000001 nice -n 19 qarte -d

# ls -l /root/.Qarte/plusPreviews/ | wc -l
8

[Emm88 (emm88)]

Bonjour,

J'ai trouvé où est le problème.
Après un peu de debugging...

Ne pas oublier que le problème est aléatoire quant au nombre de vignettes téléchargé
Et il faut très longtemps 'des minutes) avant d'avoir une [Errno 110] Connection timed out :

07:18:42: INFO - artetv reached01 indx: 047356-000-A
07:34:13: INFO - artetv Can't load image: https://static-cdn.arte.tv/resize/xSsj1F9GDOjs3KVB1I56bmHQx8A=/940x530/smart/apios/Img_data/2/047356-000_woyzeck_01_.jpg
07:34:13: INFO - artetv Reason: <urlopen error [Errno 110] Connection timed out>

J'ai ajouté des lignes de débogages :
19:16:43: INFO - artetv calling loadimage : None
19:16:43: INFO - artetv reached01 ext: .jpg
19:16:43: INFO - artetv reached01 path: /home/blabla/.Qarte/plusPreviews/063709-003-A.jpg
19:16:43: INFO - artetv reached01 indx: 063709-003-A
19:16:43: INFO - artetv reached01 going to urllib.request.urlopen: https://static-cdn.arte.tv/resize/0GsIL6IaU7a0hZXH8qTtTd659bA=/940x530/smart/apios/Img_data/30/063709-003-A_1817519.jpg
19:16:49: INFO - artetv Can't load image: https://static-cdn.arte.tv/resize/0GsIL6IaU7a0hZXH8qTtTd659bA=/940x530/smart/apios/Img_data/30/063709-003-A_1817519.jpg
19:16:49: INFO - artetv Reason: <urlopen error _ssl.c:584: The handshake operation timed out>
Exception in thread Thread-1:
Traceback (most recent call last):
  File "/usr/lib/python3.4/urllib/request.py", line 1174, in do_open
    h.request(req.get_method(), req.selector, req.data, headers)
  File "/usr/lib/python3.4/http/client.py", line 1090, in request
    self._send_request(method, url, body, headers)
  File "/usr/lib/python3.4/http/client.py", line 1128, in _send_request
    self.endheaders(body)
  File "/usr/lib/python3.4/http/client.py", line 1086, in endheaders
    self._send_output(message_body)
  File "/usr/lib/python3.4/http/client.py", line 924, in _send_output
    self.send(msg)
  File "/usr/lib/python3.4/http/client.py", line 859, in send
    self.connect()
  File "/usr/lib/python3.4/http/client.py", line 1230, in connect
    server_hostname=sni_hostname)
  File "/usr/lib/python3.4/ssl.py", line 364, in wrap_socket
    _context=self)
  File "/usr/lib/python3.4/ssl.py", line 577, in __init__
    self.do_handshake()
  File "/usr/lib/python3.4/ssl.py", line 804, in do_handshake
    self._sslobj.do_handshake()
socket.timeout: _ssl.c:584: The handshake operation timed out

[Emm88 (emm88)]

<urlopen error _ssl.c:584: The handshake operation timed out>

Et alors la bonne idée :
Brancher le PC sur la box fournisseur sans passer d'abord
par le routeur du commerce.

Et voilà ça remarche.

Ceci dit :
1) Le routeur déconne de manière aléatoire, 0 à 6 handshakes arrivent à se faire
2) Les anciennes versions de qarte en python2 n'avaient pas ce problème

Pourriez-vous me dire svp comment forcer le protocole ssl en version
2 ou 2.3 ou 3 dans le code python, car si j'ai bien compris le problème vient de là
(mon routeur a son firmware à jour)

Merci
Cordialement

NB : ''bug'' aussi dans Qarte 3.5

Nb Bug aussi avec le routeur et en supprimant le firewall de linux

[Emm88 (emm88)]

Voilà, ''bug'' cerné.
Je ne sais pas aller plus loin.

La ligne en cause dans artetv.py

f = urllib.request.urlopen(item.pix_url)
que j'ai changé pour le déboggage en
f = urllib.request.urlopen(item.pix_url,None,6.3)

Pas bien compris comment le protocol SSL / Https était déclenché ensuite

Cordialement

[Emm88 (emm88)]

Bonjour,

Ma question sur le forçage de la version du SSL reste ouverte.

J'ai testé différente valeur du MTU dans le routeur (sans effet).
Toutefois j'ai trouvé une solution avec l'obscure fonction suivante du routeur
que je n'avais jamais activé :

True Gigabit Routing Connectivity:
When this option is enabled, the router will speed up the NAT/Routing performance by hardware acceleration mechanism. The limitation is that both of SPI and QoS engine will be disabled automatically when True Gigabit Routing Connectivity is enabled.

Cordialement

[Emm88 (emm88)]

Nota : Poste n°4 supprimé (caché) car non pertinent
Cette autre version de jessie bypassait le routeur

[Emm88 (emm88)]

Pas vraiment un problème que de QARTE
PLus du routeur

Housecleaning : closing bug with status fix released since this is quite old and version has improved