Bibliothèque de workflows consultable et API de documentation
La référence de 2 053 workflows d’automatisation tenait dans un seul fichier HTML de 71 Mo. Il mettait dix secondes à s’ouvrir, alors l’équipe avait cessé de s’en servir.
- Rôle
- Architecture et développement
- Outils
- Python, FastAPI, SQLite FTS5, Mermaid
- Corpus
- 2 053 workflows, 365 intégrations, 29 445 nœuds
- Résultat
- 71 Mo en 10 s devenus <100 Ko en moins d’une seconde
La référence de 71 mégaoctets
La collection avait déjà de la valeur : 2 053 workflows n8n, 365 intégrations distinctes, 29 445 nœuds au total. Des années de modèles d’automatisation accumulés, chacun un exemple concret de quelque chose dont quelqu’un avait besoin.
Elle était livrée sous forme d’un seul fichier HTML statique. Soixante et onze mégaoctets. Chaque workflow, chaque nœud, chaque paramètre, rendus dans un seul document et envoyés au navigateur d’un bloc.
- Dix secondes ou plus avant que quoi que ce soit s’affiche.
- Environ deux gigaoctets de mémoire une fois la page chargée.
- La recherche, c’était
Ctrl+Fsur tout le DOM. - Sur un téléphone, la page abandonnait tout simplement.
Alors les gens ont cessé de l’ouvrir. Le contenu était en bon état. Le problème était l’accès, et personne ne l’avait traité comme un problème.
Ce que j’ai construit
Un indexeur et une petite API devant lui. Les workflows restent où ils sont, sous forme de fichiers sur disque; tout ce qui coûte cher à la lecture se fait une seule fois, à l’indexation, dans SQLite.
Recherche plein texte
L’index plein texte FTS5 de SQLite fait le travail. Les noms, les descriptions et les listes d’intégrations sont découpés une seule fois, et une requête sur deux mille workflows répond en moins d’un dixième de seconde sur un portable, sans autre service que ce seul processus. Les filtres s’appuient sur le même index : type de déclencheur (webhook, planifié, manuel, déclenché) et niveau de complexité calculé à partir du nombre de nœuds.
Des noms lisibles par un humain
Les noms de fichiers étaient générés par machine et hostiles : 2051_Telegram_Webhook_Automation_Webhook.json. L’indexeur en tire un titre lisible à l’analyse (« Telegram Webhook Automation ») et détecte les intégrations en parcourant les types de nœuds, puisque les noms de fichiers ne sont pas fiables. C’est du travail ingrat sur des chaînes de caractères, et c’est surtout grâce à lui que la liste est devenue consultable.
Des schémas générés
Le graphe de nœuds de chaque workflow est transformé à la demande en schéma Mermaid, à partir des connexions déjà présentes dans le JSON. Personne n’a à entretenir ces schémas : si le workflow change, l’image change avec lui. Le JSON brut peut être consulté et téléchargé depuis la même page, puisque la plupart des visiteurs finissent par importer un workflow dans leur propre n8n.
Le point qu’on aurait raison de contester
SQLite n’est pas un moteur de recherche, et si ce corpus grossit d’un ordre de grandeur, la bonne réponse devient Postgres avec un vrai plein texte, ou Meilisearch, ou un autre outil conçu pour ça.
- On y gagne zéro exploitation. Un fichier, aucun serveur à faire tourner, aucune grappe à maintenir, aucune facture mensuelle. N’importe qui peut cloner le dépôt et tout lancer avec
pip installet une commande. Une grappe de recherche ferait perdre ça. - L’index est jetable. Il se reconstruit à partir des fichiers sur disque en quelques secondes, et un point d’accès
/api/reindexexiste pour quand il dérive. Rien de précieux ne vit dans la base, donc rien de précieux ne se perd en la jetant.
Ce qu’il fait
- Recherche plein texte dans 2 053 workflows et 365 intégrations
- <100msRecherche plein texte dans 2 053 workflows et 365 intégrations
- Charge réduite : 71 Mo de HTML devenus moins de 100 Ko
- 700×Charge réduite : 71 Mo de HTML devenus moins de 100 Ko
- Mémoire utilisée, contre environ 2 Go pour la page remplacée
- <50MBMémoire utilisée, contre environ 2 Go pour la page remplacée
Ce que je n’ai pas résolu : la recherche porte encore sur le nom d’un workflow et les services qu’il utilise. Quelqu’un qui cherche « avertis-moi quand un paiement échoue » doit déjà savoir qu’il a été construit avec Stripe et Slack. La recherche sémantique sur les graphes de nœuds est la suite logique, et je n’en ai pas encore trouvé de version qui batte un bon nommage.