Mise à jour du dossier Jev : essais de Laya en local

Le dossier Jev est maintenant en version 0.19.0, en français et en anglais. La version du 26 septembre a ajouté les résultats de mes essais locaux de Laya et un tutoriel d’installation pour les Mac Apple Silicon.

Laya a fonctionné hors ligne après le téléchargement du logiciel et des poids du modèle, sans API d’IA externe. Sur mon M5 Max, la médiane à chaud du filtre était de 8.55 ms, hors chargement et temps passé dans le navigateur. La vitesse était encourageante ; la qualité demande encore du travail. Sur 20 exemples synthétiques de tri, Laya a donné 14 bonnes réponses, contre 15 pour des règles lexicales simples.

La mise à jour comprend les entrées synthétiques et les prédictions, les erreurs observées dans le navigateur, les limites des mesures et les prochains tests à mener. Ce sont des résultats de Laya, pas un benchmark direct face à Jev. Le dossier signale le dernier ajout par New (traduction : « Nouveau ») et les chapitres révisés par Mis à jour le (traduction : « Mis à jour »).

Deuxième mise à jour du 27 septembre : les POCs Sentry, review et CI sont terminés. Sur 120 cas réservés à l’évaluation, les suggestions de Laya correspondent aux annotations provisoires à hauteur de 2/38, 1/9 et 6/20 respectivement. Les règles CI atteignent 5/6. Les 2 suggestions Sentry conformes étaient déjà explicitement liées ; la CI gagne au total 1 suggestion conforme, avec 13 suggestions erronées supplémentaires. Les 3 configurations testées sont écartées. Aucune validation humaine ; 15 entrées dépassent la fenêtre de contexte. Lire les 3 POCs en anglais.

Mise à jour du 27 septembre : le pilote sur les issues Aristote est maintenant inclus. Sur 60 tickets de test, Laya émet 11 suggestions de domaine, dont 8 correspondent aux annotations provisoires, contre 17 et 12 pour les règles actuelles qui ne lisent que le titre. Il laisse 49 tickets sans suggestion, dont 8 avec dépassement de contexte. Les annotations proviennent de 2 agents, sans validation humaine. La configuration testée est écartée ; garder les règles actuelles. Une variante lexicale distincte qui lit le titre et le corps atteint 40 suggestions conformes sur 51, avec 11 erreurs ; elle n’est pas déployée. Lire le pilote en anglais.

• Lire le dossier en anglais ou aller directement aux résultats locaux et au tutoriel d’installation.
• Lire le dossier en français, les résultats de nos essais et le tuto d’installation.

Mise à jour du 27 septembre : le dossier ajoute le pilote sur les issues Aristote. Sur 60 tickets, Laya émet 11 suggestions, dont 8 conformes aux annotations provisoires, contre 17 et 12 pour les règles actuelles. La configuration est écartée pour ce tri. Les annotations de 2 agents restent à valider humainement. Les essais synthétiques et le tuto hors ligne sont conservés séparément.

Deuxième mise à jour du 27 septembre : les 3 POCs Sentry, reviews et CI sont terminés. Suggestions conformes aux annotations provisoires : 2/38, 1/9 et 6/20 ; les règles CI atteignent 5/6. Les configurations testées sont écartées. Les 15 dépassements restent dans le bilan et aucune validation humaine n’est revendiquée.