Page d'accueil avec les miniatures non actualisé depuis 2 jours

[Orlowski]

je retrouve le même problème que celui signalé il y a quelques mois : la page d'accueil présente les mêmes éléments depuis deux jours.

Merci d'avance
Cordialement

[Emm88 (emm88)]

Bonjour,

Idem, et rien sur la page d'accueil après avoir vidê le cache
6 Juillet 2017

22:37:52: INFO - qarte Qarte-3.7.0
...
22:37:52: INFO - core Set workspace
22:37:52: INFO - core Load config from: /home/....
...
22:37:52: INFO - artetv Read indexes
22:37:52: INFO - artetv Read video's data
22:37:52: INFO - artetv Fetch page: http://www.arte.tv/fr/guide/
22:37:52: WARNING - artetv Read json error: list index out of range
22:37:52: INFO - artetv Fetch page: http://www.arte.tv/fr/guide/20170705
22:37:53: WARNING - artetv Read json error: list index out of range
22:37:53: INFO - artetv Fetch page: http://www.arte.tv/fr/guide/20170704
22:37:53: WARNING - artetv Read json error: list index out of range
22:37:53: INFO - artetv Fetch page: http://www.arte.tv/fr/guide/20170703
22:37:53: WARNING - artetv Read json error: list index out of range
22:37:53: INFO - artetv Fetch page: http://www.arte.tv/fr/guide/20170702
etc

Cordialement

[kokoklems (clement-grimal)]

Bonjour,

Arte semble avoir mis à jour son site, et qarte n'arrive donc plus à récupérer la liste des émissions. Je viens de récupérer le projet pour essayer de le patcher, mais il me faut un peu de temps, surtout que c'est la première fois que je contribue sur ce projet...

Je vous tiens au courant, mais si un des mainteneurs passe par là, je veux bien un coup de main !

Clément

[kokoklems (clement-grimal)]

J'ai réussi à créer un patch un peu sauvage qui permet de voir les vidéos et surtout de les télécharger à nouveau. Les vignettes s'affichent mal, mais ça marche !

J'ai proposé un merge au développeur de l'application, en espérant qu'il ait le temps d'y jeter un œil rapidement.

[Emm88 (emm88)]

Bravo et merci pour le patch
Testé ici, semble ok

Juste les émissions de série en rediff sortent en plusieurs exemplaires
Par exemple Wiener 8 videos après filtre de recherche

dont 5 les mêmes :
Les aventures culinaires de Sarah Wiener en Grande-Bretagne 2017-07-22 00:45:00Z 0 min. 0 sec.

Plusieurs exemplaires de
28 Minutes 2017-07-21 18:05:00Z 0 min. 0 sec.

Cordialement

[VinsS (vincent-vandevyvre)]

Retour de vacances.

Merci à clement qui a débroussaillé le terrain.

Il y a toutefois un autre problème, soulevé par Emm88, le serveur de Arte retourne régulièrement la page d'aujourd'hui en lieu et place d'une autre page. Ceci de manière aléatoire.

Ce code permet de le mettre en évidence:

---------------------------------------------------------------------
# -*- coding: utf-8 -*-

import json
import urllib.request

tvguide = "http://www.arte.tv/fr/guide/date"

def get_page(url):
    print(url, end='')
    user_agent = 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:49.0)'\
                  ' Gecko/20100101 Firefox/49.0'
    req = urllib.request.Request(url, data=None,
                                 headers={"User-Agent": user_agent,
                                          "Accept-Language": "fr-FR"})

    try:
        content = urllib.request.urlopen(req)
    except Exception as why:
        print('urllib error: %s, %s' % (url, why))
        return False

    return str(content.read().decode('utf-8', 'replace'))

def extract_videos(page):
    content = page.split('window.__INITIAL_STATE__ = ')[1]
    return content.split(';')[0]

def read_json(content):
    try:
        data = json.loads(content)
        items = data['page']['zones'][1]['teasers']
        print("\t%s, %s" %(items[0]["programId"], items[-1]["programId"]))
    except Exception as why:
        print("Read json error: %s" % why)

date = 20170729
for i in range(10):
    page = get_page(tvguide.replace('date', str(date)))
    if page:
        read_json(extract_videos(page))
    date -= 1
-------------------------------------------------------------------------

Ceci est la page du 29 juillet:
http://www.arte.tv/fr/guide/20170729 054801-004-A, 048122-000-A

Ce sont les identifiants des première et dernière vidéos de la journée, on retrouve les mêmes identifiants pour d'autres pages de façon aléatoire.

Il faudrait essayer de comprendre ce qui se passe avant d'aller plus loin.

[Emm88 (emm88)]

Désolé ne ne sais pas comment aider à ce stade...

Avec
http://www.arte.tv/fr/guide/20170727
et d'autres dates

on remarque en rechargeant la page (firefox, linux, icone <<reload current page>>)
que le bandeau du haut (celui avec 3 emissions en ''pub'')
fugacement se charge avec des images différentes
puis c'est remplacé par trois emissions du jour.

[Emm88 (emm88)]

Je n'y connais rien en json...

mais en faisant un debug du json via firebug (un greffon de firefox)
GET http://www.arte.tv/guide/api/api/pages/fr/web/tv_guide?day=17-07-25

on voit deux zones (0 et 1) dans le json

0 Object { code="highlights_TV_GUIDE", link={...}, type="highlight", more...}
1 Object { code="listing_TV_GUIDE", link={...}, type="guide_list", more...}

Il n'y a pas moyen de ne pas télécharger la partie highlights_TV_GUIDE ?

[VinsS (vincent-vandevyvre)]

OK, avec ton lien c'est beaucoup plus fiable.

J'ai fais une mise à jour, pour tester il suffit de remplacer les fichier data.py et artetv.py
qui sont ici: http://bazaar.launchpad.net/~vincent-vandevyvre/qarte/qarte-3/files

Si tout est en ordre, je publierai ce soir ou demain matin.

Je recommande d'effacer .Qarte/plusPreviews, .Qarte/tv_index_fr, .Qarte/tv_summaries_fr
et .Qarte/tv_videos_data_fr

[VinsS (vincent-vandevyvre)]

Fixed in version 3.8

Thanks all.

[Emm88 (emm88)]

Bonjour,

Merci beaucoup :-)
Cela fonctionne bien avec 3.8

Cordialement

[Orlowski (jc-orlowski-2)]

Bonjour,

merci à tous d'avoir remis en service cette application dont j'ai du mal à me passer maintenant.
Merci à Vincent pour sa réactivité au retour de vacances bien méritées je pense !

Amicalement

[Philnk (philnk24)]

Bonjour et merci pour vos infos ainsi que la nouvelle mise à jour.
Cependant les séries et films ne sont pas en MP4 ou en tout cas un message
d'erreur s'affiche ( voir pièce jointe) . Ce n' est pas le cas pour
d'autres miniature comme par ex enquête d'ailleurs.
Bien cordialement,Philippe Nikitin.

Le 29 juil. 2017 19:15, "VinsS" <email address hidden> a écrit :

> Retour de vacances.
>
> Merci à clement qui a débroussaillé le terrain.
>
> Il y a toutefois un autre problème, soulevé par Emm88, le serveur de
> Arte retourne régulièrement la page d'aujourd'hui en lieu et place d'une
> autre page. Ceci de manière aléatoire.
>
> Ce code permet de le mettre en évidence:
>
> ---------------------------------------------------------------------
> # -*- coding: utf-8 -*-
>
> import json
> import urllib.request
>
> tvguide = "http://www.arte.tv/fr/guide/date"
>
> def get_page(url):
> print(url, end='')
> user_agent = 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:49.0)'\
> ' Gecko/20100101 Firefox/49.0'
> req = urllib.request.Request(url, data=None,
> headers={"User-Agent": user_agent,
> "Accept-Language": "fr-FR"})
>
> try:
> content = urllib.request.urlopen(req)
> except Exception as why:
> print('urllib error: %s, %s' % (url, why))
> return False
>
> return str(content.read().decode('utf-8', 'replace'))
>
> def extract_videos(page):
> content = page.split('window.__INITIAL_STATE__ = ')[1]
> return content.split(';')[0]
>
> def read_json(content):
> try:
> data = json.loads(content)
> items = data['page']['zones'][1]['teasers']
> print("\t%s, %s" %(items[0]["programId"], items[-1]["programId"]))
> except Exception as why:
> print("Read json error: %s" % why)
>
> date = 20170729
> for i in range(10):
> page = get_page(tvguide.replace('date', str(date)))
> if page:
> read_json(extract_videos(page))
> date -= 1
> -------------------------------------------------------------------------
>
> Ceci est la page du 29 juillet:
> http://www.arte.tv/fr/guide/20170729 054801-004-A, 048122-000-A
>
> Ce sont les identifiants des première et dernière vidéos de la journée,
> on retrouve les mêmes identifiants pour d'autres pages de façon
> aléatoire.
>
> Il faudrait essayer de comprendre ce qui se passe avant d'aller plus
> loin.
>
> ** Changed in: qarte
> Status: New => Confirmed
>
> ** Changed in: qarte
> Importance: Undecided => Critical
>
> ** Changed in: qarte
> Assignee: (unassigned) => VinsS (vincent-vandevyvre)
>
> --
> You received this bug notification because you are subscribed to a
> duplicate bug report (1706693).
> https://bugs.launchpad.net/bugs/1702416
>
> Title:
> Page d'accueil avec les miniatures non actualisé depuis 2 jours
>
> Status in Qarte:
> Confirmed
>
> Bug description:
> je retrouve le même problème que celui signalé il y a quelques mois :
> la page d'accueil présente les mêmes éléments depuis deux jours.
>
> Merci d'avance
> Cordialement
>
> To manage notifications about this bug go to:
> https://bu...