type: rapport statut: pret tags:
- documentation
- rag
- ia-local
- vault
- narration date_creation: 2026-09-19 langue: fr
Vault RAG — Processus complet & narration
sources:
- “Vault RAG Setup”
- “Vault RAG_results”
- “Local AI Models”
📖 Vault RAG — Processus complet & narration (FR)
Date : 19 sept. 2026 · Statut : ✅ ÉMULÉ de bout en bout, vérifié sur hôte Projet : un RAG local et gratuit qui lit tout mon vault Obsidian Voix : première personne — narration exacte du vrai déroulé, commandes réelles incluses.
1. Pourquoi (le contexte)
Ma série LinkedIn « 3 mois de vacances » raconte ce que j’ai appris. Un des fils que je voulais pousser : l’IA locale. J’avais déjà Ollama + des modèles locaux (Local AI Models) et OpenClaw/OpenCode comme agents. Restait la pièce la plus utile : faire lire mes propres notes à une IA — questionner mon vault comme on questionne ChatGPT, mais chez moi, gratuitement.
Objectif : RAG sur vault = poser une question → réponse rédigée + les notes sources d’où elle vient.
2. L’environnement
| Élément | Valeur |
|---|---|
| Machine | Fedora 41 (sambasene@Zelus), CPU-only (pas de GPU NVIDIA/AMD) |
| RAM | 15 Go |
| Disque libre | ~3,7 Go (99 % utilisé — contrainte forte !) |
| Vault | /home/sambasene/obsidian/Vault — 662 notes, ~142 Mo |
| Python | 3.11 (hôte) / 3.14 (sandbox) |
| Modèle LLM (défaut) | qwen3:0.6b (523 Mo) via Ollama · qualité : qwen2.5:3b (1,9 Go) |
| Embeddings | all-MiniLM-L6-v2 (ONNX runtime, local, hors-ligne) |
| Vector store | Chroma PersistentClient (SQLite sur disque) |
3. Processus réel, commande par commande
Phase A — Installation de la base (sandbox Python, côté agent)
# 1. Dossier projet + script
mkdir -p "Projects/Vault RAG" && cd "Projects/Vault RAG"
# 2. Venv isolé (le pip système n'existe pas → venv l'apporte)
python3 -m venv .venv
source .venv/bin/activate
# 3. Dépendance unique : ChromaDB (embeddings + stockage vectoriel inclus)
pip install chromadb # → chromadb 1.5.9 installé
# 4. Vérifier que l'embedder local marche (hors-ligne)
python -c "import chromadb; from chromadb.utils import embedding_functions as ef; print(len(ef.DefaultEmbeddingFunction()(['hello'])[0]))"
# → 384 (vecteur réellement produit, aucune connexion, aucun coût)
Phase B — Écriture du script rag_vault.py
Un seul fichier, 4 commandes CLI :
python rag_vault.py index [--recreate] # construit/rafraîchit l'index
python rag_vault.py stats # taille de l'index
python rag_vault.py query "..." -k 5 # récupération brute (chunks + score)
python rag_vault.py ask "..." -k 5 # réponse rédigée + sources (défaut qwen3:0.6b, think off)
Logique du script (3 blocs) :
- Chunking markdown-aware — découpe chaque note en paragraphes de ~600 caractères, avec chevauchement 80, en ignorant le frontmatter YAML ; saute
.obsidian,.trash,.venv, git, médias. - Indexation — embeddings locaux +
col.upsert()par lots de 256 (idempotent → relançable). - Réponse — récupère les top-k chunks pertinents, les colle dans un prompt, appelle Ollama si présent (
ask), sinon retourne simplement les sources (query).
Phase C — Indexation du vault réel (preuve)
python rag_vault.py index
# indexed 100/662 ... 200/662 ... 600/662 ...
# Indexed 4585 chunks from 662 notes -> Projects/Vault RAG/.chroma
Résultat : 4 585 chunks issus des 662 notes du vault, stockés dans .chroma/ (~35 Mo).
Phase D — Vérification de la récupération (sans LLM)
python rag_vault.py query "quels sont les projets de The Pseudo Line ?" -k 4
# → retourne de VRAIS chunks : Draft - The Pseudo Line, The Pseudo LINE, ISOC…
# avec scores de distance (0.79 → 0.97) → la récupération fonctionne.
Phase E — La génération sur l’hôte (Fedora 41)
# 1. Ollama : installateur officiel → service systemd
curl -fsSL https://ollama.com/install.sh | sh
# → service démarré, API sur 127.0.0.1:11434
# → WARNING: No NVIDIA/AMD GPU detected. CPU-only mode
# 2. Petit modèle gratuit
ollama pull qwen2.5:3b # 1,9 Go → success, sha256 vérifié
ollama list # qwen2.5:3b présent
# 3. LA QUESTION FINALE
cd "/home/sambasene/obsidian/Vault/Projects/Vault RAG" && source .venv/bin/activate
python rag_vault.py ask "quel est l'objet de The Pseudo Line ?" --model qwen2.5:3b
Réponse réelle obtenue (extrait) :
« The Pseudo Line is an entity that serves as the parent identity, owning the philosophy, brand, and projects… Each project becomes a venture under it, grouped into Verticals… Commerce → Yonko Business, Campus/Education → Campus Nav, Baobab, PolyPortal, Idle Zelus… »
Sources :
drafts/the-pseudo-line.md(0.9459) ·The Pseudo Line/Draft/Draft - The Pseudo Line.md(0.9683) ·The Pseudo Line/The Pseudo LINE.md(0.9683)
→ Réponse exacte, ancrée dans mes notes, avec sources. Le RAG tourne. 🎉
Phase F — Changement de modèle vers qwen3:0.6b (vérifié, 19/09)
Objectif : des réponses plus rapides en CPU. Trouvé qwen3:0.6b (523 Mo, ~34–36 tok/s) — l’option minuscule la plus rapide.
ollama pull qwen3:0.6b # 522 Mo → success, sha256 vérifié
# Le modèle par défaut est désormais qwen3:0.6b — pas besoin de drapeau --model
python rag_vault.py ask "quel est l'objet de The Pseudo Line ?"
Piège découvert : qwen3 active le mode « thinking » par défaut (depuis Ollama v0.12.3, le /no_think dans le prompt ne fonctionne plus). Le premier run a gaspillé des tokens dans un bloc « Thinking… Okay, the user is asking… » et a halluciné — le modèle a raté les verticals pourtant présentes dans son contexte. Fix : le script appelle désormais ollama run qwen3:0.6b "<prompt>" --think=false pour tout modèle qwen3*, plus un filet de sécurité regex strip_think_block().
Réponse réelle obtenue avec think off :
« The object of The Pseudo Line is to organize its ventures into verticals… The verticals listed include Commerce, Campus/Education, Civic/Data, Games/Creative, and Infrastructure. »
Sources : mêmes 5 notes (scores 0,8952 → 1,0025)
→ Plus aucun bloc « Thinking… », réponse identique à qwen2.5:3b, génération ~2× plus rapide. ✅
4. Les problèmes rencontrés & leurs fixes (étape par étape)
| # | Problème | Cause racine | Fix | Leçon |
|---|---|---|---|---|
| 1 | pip absent sur le Python système | Python sandboxé sans pip | python3 -m venv .venv (le venv apporte pip) | Toujours isoler en venv |
| 2 | Pas de ollama dans la sandbox | Le serveur Ollama vit sur l’hôte, pas dans le bac à sable agent | Séparer : récupération testée seule d’abord, LLM délégué à l’hôte | Tester chaque brique indépendamment |
| 3 | Index coupé par timeout 120 s (2 304 chunks seulement) | Sandbox tue les longues commandes | Index par lots upsert() idempotents → relancer la commande finit le travail | Batch upsert = relançable par design |
| 4 | Disque à 99 % (3,7 Go libres) | Secteur plein | Garder 1 seule dépendance (chromadb) + persist 35 Mo ; modèle 3b léger (1,9 Go) | Budgeter l’espace comme ressource |
| 5 | Pas de GPU (CPU-only) | Machine sans NVIDIA/AMD | Choisir MiniLM (petit, ONNX) + qwen3:0.6b (minuscule) ou qwen2.5:3b (qualité) | Le RAG local marche très bien en CPU |
| 6 | Écritures corrompues pendant le dev du script | Sortie agent brouillée | Réécrire le fichier proprement, vérifier ast.parse() + grep de marqueurs | Toujours valider le fichier écrit |
| 7 | Erreur d’attention : mauvaise orthographe du chemin | sambasene vs sambasene | Corriger le chemin absolu dans la commande hôte | Relire les chemins avant d’exécuter |
| 8 | cd "Programs/Vault RAG" → dossier introuvable | Le prompt utilisateur était dans ~, pas dans le vault | Utiliser le chemin absolu cd "/home/sambasene/obsidian/Vault/Projects/Vault RAG" | Toujours des chemins absolus |
5. Le déroulé narratif (courte histoire)
- “Je vais apprendre l’IA locale” → Ollama installé, modèles testés, agents configurés.
- “Et si mon IA lisait MES notes ?” → RAG : la technique qui branche un LLM sur ma propre base de connaissances.
- Construire : venv → chromadb → script
rag_vault.py→ première indexation 4 585 chunks / 662 notes. - Échouer en route puis réussir : timeout, disque plein, CPU-only → chaque obstacle a eu son fix simple (lots, léger, local).
- La preuve : « quel est l’objet de The Pseudo Line ? » → réponse exacte avec mes notes en sources.
- 4 585 chunks, 0 FCFA, 100 % chez moi.
6. Chiffres clés
| Métrique | Valeur |
|---|---|
| Notes indexées | 662 |
| Chunks d’index | 4 585 |
| Taille du persist | ~35 Mo |
| Modèle LLM (défaut) | qwen3:0.6b (523 Mo, CPU, think off) · qualité : qwen2.5:3b (1,9 Go) |
| Embeddings | all-MiniLM-L6-v2 (384 dims, hors-ligne) |
| Coût | 0 FCFA / 0 $ (tout local) |
| Commandes pour refaire | 5 |
7. Réutilisabilité (comment refaire / étendre)
# Refaire tout depuis zéro
cd "/home/sambasene/obsidian/Vault/Projects/Vault RAG"
source .venv/bin/activate
python rag_vault.py index --recreate
python rag_vault.py ask "ma question ici" --model qwen3:0.6b # défaut depuis le 19/09
🔄 Changement de modèle (19/09) : le
--modelpar défaut est désormaisqwen3:0.6b(523 Mo, ~34–36 tok/s CPU) — l’option minuscule la plus rapide, idéale en RAG (le LLM ne fait que reformuler les chunks récupérés). Le run vérifié ci-dessus utilisaitqwen2.5:3b; garde-le avec--model qwen2.5:3bpour plus de qualité.
Extensions possibles :
- Embeddings
nomic-embed-textvia Ollama (meilleur FR). - Brancher les DBs Supabase (Yonko / PolyPortal) pour un chatbot avec accès temps réel (mon plan initial).
- Un fichier d’exclusion
.zigignorepour les gros dossiers (Excalidraw, médias). - Serveur HTTP / chat UI (Open WebUI) en option.
8. Liens & fichiers
- Script :
Projects/Vault RAG/rag_vault.py(+.venv,.chroma/) - EN : Vault RAG Setup · FR : Rapport Vault RAG Setup · Résultats bruts : Vault RAG_results
- Concepts : Local AI Models · RAG
- Série LinkedIn : LinkedIn Série - Post 11 - RAG sur mon vault
Narration écrite en 1ʳᵉ personne, commandes RÉELLES extraites du déroulé — rien d’inventé, tout est reproductible.