Stopper l'exécution d'une fonction en python

[ecnicolas]

L'intégration de patacrep fonctionne maintenant à quelques détails architecturaux près. Je suis par contre confronté à un problème technique en python, je lance donc un appel aux développeurs python du projet !

Une fois la compilation lancée dans python, je ne sais pas comment la stopper depuis le C++. Il me faudrait un système où une fonction soit appelable depuis l'extérieur, et interrompe le déroulement d'une autre fonction. En gros, une espèce de fonction qui simule un Ctrl+C serait parfaite.

[Luthaf]

Comment appelle-tu le code Python ? Avec un appel système, ou en intégrant l'interpréteur ? Dans le premier cas tu peut envoyer un signal au processus, et dans le second lever une exception.

[ecnicolas]

C'est directement en intégrant l'interpréteur. Par contre, pour lancer une exception, c'est depuis le scope de la fonction qui tourne. Ici, je veux stopper la fonction via une autre fonction. À moins que je puisse lancer une exception par un autre biais.

C'est dans ce bout de code, je voudrais interrompre la partie builder.build_steps. Le code est appelé ici

[Luthaf]

Et à quel moment veux-tu interrompre l'exécution du code python ?

[ecnicolas]

Soit à la fin d'une étape (plus propre) soit brutalement, peu importe le résultat. L'avantage de la deuxième solution, c'est qu'un utilisateur peut stopper une compilation quand il le souhaite, si il se rend compte que il manque quelque chose par exemple.

[Luthaf]

En regardand un poil PythonQT, je ne vois pas trop comment prendre la main sur l'interpréteur depuis le C++.

Pour interrompre à la fin d'une étape, le plus simple est peut-être d'émettre un signal et de vérifier une variable dans un coin pour voir si on doit s'arréter après chaque étape.

[ecnicolas]

Je pensais plutôt à quelque chose comme un "slot en python", i.e. faire tourner la fonction build_steps dans une autre thread et faire interrompre depuis le programme principal, mais ce n'est peut être pas possible. Et accessoirement je ne sais pas trop comment se comporteraient des threads dans des threads... En fait, on peut connecter un signal de Qt à une fonction de python (qui sert alors de slot) il faut donc juste un truc en python pur.
Sinon effectivement, la version variable vérifiée est le plus simple pour l'instant.

[Luthaf]

Ok j'avais pas compris ça ! En python pour faire des threads tu as soit le module multiprocessing, soit les générateurs. Si tu veux un vrai thread, utilise multiprocessing, les générateurs ne rendent la main que quand ils ont terminé leut traitement.

[ecnicolas]

multiprocessing a vraiment l'air d'être le bon truc ici. Je vais faire quelque tests et voir comment ça se passe entre le multithreading de Qt et celui de Python...

[ecnicolas]

Alors j'ai essayé de le mettre en oeuvre, (73e8f1e), et j'ai un souci: en multiprocessing, je ne peux rien imprimer, que ce soit une erreur ou un simple print. De plus, stopper le programme En utilisant le module threading ça fonctionne. Par contre, si j'utilise threading je ne crois pas pouvoir stopper le programme en cours de route, du coup autant faire avec des générateurs je pense, vu que je fais déjà du multithreading via Qt...

Un avis ou un conseil ?

[Luthaf]

C'est quelque chose que je n'ai jamais fait, donc je ne peut pas vraiment aider, désolé. Par contre, la solution m'intéresse !

[paternal]

en multiprocessing, je ne peux rien imprimer, que ce soit une erreur ou un simple print.

Pour être sûr de comprendre : tu as le processus principal (qui entre autres, affiche la fenêtre), et qui lance la compilation dans un autre processus, et tu veux que le processus qui gère la compilation affiche quelque chose dans la fenêtre principale ? C'est ça ?
Si c'est ça, il doit y avoir des moyens de communiquer entre différents processus. En python, le module multiprocessing : des queues, de la mémoire partagée, ou des outils encore plus avancés. Et pour des choses encore plus poussées, en utilisant les Lock et Mutex, tu peux faire ce que tu veux.

J'ai la flemme de chercher dans tout ton code où est le problème, mais si tu détailles un peu, je vais essayer de t'aider. Je ne m'y connais pas en interface graphique, mais un peu en multithreading, multiprocessing et compagnie.

[ecnicolas]

Oui c'est ça. Par contre, je pense que c'est lié à pythonqt: quand je lance le code en test en python pur, pas de problème pour imprimer des choses. Quand j'utilise le module threading, ça marche très bien.

Pour les détails d'implémentation:
Le process python est appelé depuis Qt via QtConcurrent::run().

Les fonctions "addObject" serve à appeler les objets C++ depuis python, et evalScript évalue le script (!).

La fonction build appelle le process python.

Le problème est que rien ne s'affiche, que ce soit dans stderr ou stdout, ou via la fonction message. En utilisant threading à la place, ça fonctionne très bien par contre. Le mauvais côté de threading est que je ne peux pas stopper l'exécution.

Après avoir cherché un peu sur le site et l'aide de pythonqt, j'ai vu que pythonqt n'est pas thread-safe en général donc c'est peut être de toute façon un peu dangereux. Du coup, je pensais, comme je suis déjà multithreadé via QtConcurrent::run, qu'il vaut mieux utiliser un booléen qui stoppera la fonction build en cours de route.

[ecnicolas]

Je viens de remarquer que Sous OSX j'ai de tout façon une erreur:

The process has forked and you cannot use this CoreFoundation functionality safely. You MUST exec().
Break on __THE_PROCESS_HAS_FORKED_AND_YOU_CANNOT_USE_THIS_COREFOUNDATION_FUNCTIONALITY___YOU_MUST_EXEC__() to debug.

Qui est semble-t-il liée à multiprocessing. (Voir ici et là) donc je pense que je vais finalement abandonner multiprocessing et revenir à un truc "primaire"...

[Luthaf]

Sinon, en truc plus primaire, je viens de penser à subprocess, qui permet en effet d'envoyer un signal au processus lancé, voir de le tuer.