Une plate-forme idéale de lecture interactive pour une communauté soudée ?
#1
Wink 
je réponds a Vévé ici pour pas trop polluer l'autre thread (on va attaquer un sujet qui fait mal a la tête)  Mrgreen

(10/08/2017, 01:55)H.d.V a écrit : Tu aurais un exemple de "plate-forme qui fait le café", pour voir ce que tu as en tête ? 
Déjà, j'y connais rien en programmation de site (php, sql toussa), je connais CSS/HTML sans problème et je programme du visualbasic excel (ca me rappelle un peu mon vieux CPC Mrgreen ).

Donc sous réserve de faisabilité (technique et compétence) : avoir une BDD qui serve a la fois de forum et de site internet "litteraction". De ce que j'ai vu dans le panel d'admin quand j'ai trifouillé les templates, il devrait être possible de générer des pages "spéciales", disons des sous-forum ou des threads ressemblant a des articles ou des fiches AVH/LDVELH.
Si c'est faisable. le reste découle tout seul : les pages fiche/article ne seraient pas visible dans le forum mais dans des pages particulière (un sir\te genre litteraction). L'Avantage est d'avoir la BDD, comme ca, les thread de com sont visibles et utilisables soit sur le forum soit ou la page de l'AVH (puisqu'on code la même BDD a l'affichage via le php).

Ca c'est le gros œuvre ; si on peut bidouiller un semblant de fofo/site avec ce cahier des charges, on tient le moteur de site ; après, yapluka... Mrgreen

Autre avantage, on s'inscrit une fois pour toutes, les AVH sont postées sous le nom de l'auteur et avec son profil on a accès a tout : ses AVH, ses projets, ses com' toussa...
Il faut programmer la création de Projet (et de série), avec ses com' et presentation ; prevoir la conversion en AVH finie (soit on change le thread de place, soit on clôture le projet et ca fabrique automatiquement la page AVH publiée). Autre avantage, on peut programmer un agrégateur d'information qui remplit automatiquement le thread "avancement projet". Des qu'un membre change l'avancement, ou post, un com dans sa page projet, le php va chercher les modifs dans la BDD et le thread se complète tout seul ! (quand je dis que ca fait le café lol)

après y'a toujours le problème tu transfert de l'historique des fofo et de litteraction Crybaby

je rappelle, c'est juste une esquisse, y'a surement d'autre fonctionnalité possible (genre balancer des AVH en navigation html, chier des plug-in pour générer des nb aléatoires et des fiches personnages, fabrique des fichers en epub, faire une librairie virtuelle avec lulu, amazon, et les autres éditeurs, je sais pas moi, racheter Gallimard, convertir tout le monde a faire une AVH par jour sous peine de passer la nuit avec moi Lool la coercition, ca se programme, ca ? Clown )

Autant savoir si des gens s'y connaissent bien en fabrication de site/php ; déjà pour avoir un avis sur la faisabilité et éventuellement faire le taf lol

MANIFESTEZ-VOUS !! Merci
сыграем !
Répondre
#2
"sous réserve de faisabilité (technique et compétence)"

Il faut donc en premier lieu quelqu'un qui se manifeste en indiquant qu'il est capable de lever ces réserves. Qu'il explique qu'il a les capacités (sans rentrer dans une démonstration technique) et le temps devant lui pour le faire. Car s'il n'y a personne, ce n'est pas la peine d'aller plus loin dans la réflexion. Attendons donc que cette personne providentielle se manifeste (ou ce groupe de personnes). Sinon il faudra mettre de côté cette solution Sad
Répondre
#3
J'ai cru comprendre que Jehan allait déjà commencer à examiner la faisabilité (cela dit il y a une marge entre tester la faisabilité d'un truc, puis l'appliquer à grande échelle).
Répondre
#4
(10/08/2017, 08:51)tholdur a écrit : Il faut donc en premier lieu quelqu'un qui se manifeste en indiquant qu'il est capable de lever ces réserves. Qu'il explique qu'il a les capacités (sans rentrer dans une démonstration technique) et le temps devant lui pour le faire. Car s'il n'y a personne, ce n'est pas la peine d'aller plus loin dans la réflexion. Attendons donc que cette personne providentielle se manifeste (ou ce groupe de personnes). Sinon il faudra mettre de côté cette solution Sad
au contraire, plus on va papoter entre nous plus on aura une idée précise de ce qu'il faut faire, ce qui peut faciliter la recherche d'un ou plusieurs programmeurs. courage bordel !



(10/08/2017, 08:58)gynogege a écrit : J'ai cru comprendre que Jehan allait déjà commencer à examiner la faisabilité (cela dit il y a une marge entre tester la faisabilité d'un truc, puis l'appliquer à grande échelle).
c'est bien pour ca que je lance une grande campagne de brain-storming mefiant
сыграем !
Répondre
#5
S'il y a déjà des personnes aptes identifiées effectivement on peut passer à la suite. Mais il faudrait une liste de ces personnes aptes, qui auraient tout intérêt à participer à ce fil, qui deviendrait ensuite technique.
Répondre
#6
(10/08/2017, 08:58)gynogege a écrit : J'ai cru comprendre que Jehan allait déjà commencer à examiner la faisabilité (cela dit il y a une marge entre tester la faisabilité d'un truc, puis l'appliquer à grande échelle).

Doucement… : )

Je suis juste en train de voir s’il est possible de récupérer l’historique de la Taverne, puis, si cette première étape est franchie (ce qui est loin d’être garanti), tester un début de migration vers Rendez-vous au 1, mon but étant de voir si c’est possible et pas trop difficile.

C’est tout. C’est un simple test, qui va déjà me prendre beaucoup de temps.

Je ne suis pas contre l’idée d’une nouvelle plateforme, au contraire, mais je n’en serai pas l’architecte. Cela demande un temps colossal, que je n’ai absolument pas. Je ne veux plus m’engager sur des projets que je sais ne pas pouvoir tenir.

Ceci dit, si j’arrive à récupérer les données de la Taverne sous une forme exploitable, cela pourrait servir pour une migration non pas vers R.‑V.1, mais vers cette hypothétique nouvelle plateforme.

Mais, encore une fois, il est loin d’être garanti que j’arrive à mes fins. Attendez-vous plutôt à ce que je vous réponde, dépité : j’ai essayé, c’est trop compliqué. Comme ça, au pire, pas de déception, au mieux, on aura une bonne surprise.
Répondre
#7
La bdd derrière la taverne et rdv1 c'est quoi? Oracle ? MySql ?
Répondre
#8
Comme c’est dans ce fil que j’ai posté pour la dernière fois au sujet de la migration de l’historique de la Taverne, j’y reposte.

J’ai enfin fini ma « POC », et bonne nouvelle : finalement, la migration semble possible.

L’aspiration des pages des différents sujets de la Taverne est ce qui m’a pris le plus de temps. J’ai utilisé pour cela un logiciel nommé WinHTTrack. L’aspiration est très longue : j’ai fait plusieurs essais, et à chaque fois cela m’a pris plusieurs heures. Du coup, je laissais tourner le logiciel (en général la nuit), sans pouvoir faire grand-chose d’autre en attendant. Comme j’ai eu très peu de soirées pour me consacrer à la migration — et aucune journée jusqu’à ce week-end —, et que je ne pouvais, pour des raisons techniques, pas travailler dessus au boulot, ça a beaucoup traîné.

Il faut configurer WinHTTrack de façon à ce qu’il ne s’occupe que des fichiers H.T.M.L. Sinon, il récupère l’univers (notamment des tonnes d’images) et finit par protester qu’il analyse trop de liens. En le restreignant au H.T.M.L., en revanche, il va jusqu’au bout. Le résultat contient quand même un petit paquet de fichiers inutiles. Les fichiers qui nous intéressent, eux, sont préfixés de la lettre t suivie d’une série de chiffres, et correspondent à un vrai sujet. Les sujets qui font plusieurs pages sont divisés en différents fichiers, les fichiers correspondant aux pages autres que 1 ayant un préfixe surnuméraire : la lettre p suivie d’une série de chiffres. Par exemple, pour le Captif du roi-sorcier, on a les deux fichiers suivants : t5150-14-le-captif-du-roi-sorcier.html et t5150p25-14-le-captif-du-roi-sorcier.html. En tout, il y a plus de huit-mille fichiers pertinents.

L’avantage, c’est que ce sont des fichiers H.T.M.L. Il existe donc des outils dédiés à leur traitement. J’ai écrit mon script en Python, et j’ai utilisé un tel outil : une bibliothèque nommée Beautiful Soup, qui m’a énormément facilité la vie. Je m’y suis attelé ce week-end, ça m’a pris l’après-midi, et le résultat est encourageant.

Pour les curieux, mon script est en pièce jointe (j’ai modifié l’extension pour que le forum accepte le fichier). Je l’ai testé sur le sujet du Captif ainsi que sur les deux sujets (oui, bizarrement, il y en a deux) consacrés à un Poignard dans le dos : celui-ci et celui-là. Le résultat est un dictionnaire (une structure de donnée Python) qui répertorie les messages par forums et par sujets. Je l’ai transformé au format JSON, le résultat est également en pièce jointe.

À partir du JSON, il est possible de réimporter les messages n’importe où. Il pourra donc servir de base à une future migration. Mais c’est un autre sujet.

Bien sûr, ce n’est qu’une « preuve de concept ». Il y a encore un peu de travail pour en faire un vrai outil de migration. Par exemple, il y a un bug sur certains messages, dû à du code H.T.M.L. mal formé (une balise fermante </span> sans balise ouvrante ; j’ignore si le responsable est le forum lui-même ou WinHTTrack), qui fait que Beautiful Soup fait l’impasse sur le message concerné. Il est probable qu’il y aura d’autres bugs de ce genre à corriger au fur et à mesure. Il faut aussi voir comment se comporte le script en passant à l’échelle des plus de huit-mille fichiers H.T.M.L. (je n’ai pas testé). De même, la question de l’extraction de la liste des membres reste ouverte (mais je ne pense pas que celle-ci posera de grandes difficultés). Et cætera.

Néanmoins, même s’il faut rester prudent, ma conclusion est que la migration est possible.


Pièces jointes
.txt   scrypt.txt (Taille : 5,46 Ko / Téléchargements : 12)
.txt   resultat.txt (Taille : 29,59 Ko / Téléchargements : 11)
Répondre
#9
Wahou, bravo pour ce travail impressionnant ! Du coup, c'est quand même dommage que le "vote" ait déjà eu lieu (et qu'il y ait provoqué des frictions), cette info est essentielle.
Répondre
#10
(03/09/2017, 19:04)gynogege a écrit : Wahou, bravo pour ce travail impressionnant ! Du coup, c'est quand même dommage que le "vote" ait déjà eu lieu (et qu'il y ait provoqué des frictions), cette info est essentielle.

Merci. : ) Oui, j’espérais que je pourrais m’y consacrer plus vite, mais bon… Quelque part, un mois, chez moi, c’est limite un record. ^^

Après, l’information est importante, c’est certain, mais la migration de l’historique de l’un ou de l’autre forum n’est pas l’aspect le plus important, dans le cadre d’une nouvelle plateforme : c’est bien la mise en place de cette dernière qui constitue le gros du travail, et qui nécessite un temps beaucoup plus conséquent que l’écriture d’un « simple » script.
Répondre
#11
Quelle joie le lire du python ici ! Bravo, super boulot Smile
Répondre
#12
(03/09/2017, 19:25)linflas a écrit : Quelle joie le lire du python ici ! Bravo, super boulot :)

Tiens, un collègue ? : ) J’adore ce langage, même si dans le cadre de mon boulot, je code quasi-exclusivement en Java.
Répondre
#13
Toute la partie technique est du chinois pour moi, mais vraiment bravo à toi, Jehan !  Smile


Répondre
#14
Idem. Je suis largué dès qu'il est question de jargon technique, mais ce que tu rapportes est motivant, Jehan, félicitations !
Répondre
#15
Merci à vous deux, ça fait plaisir. : )
Répondre




Utilisateur(s) parcourant ce sujet : 1 visiteur(s)