Vault RAG


type: rapport statut: pret tags:

  • documentation
  • rag
  • ia-local
  • vault
  • narration date_creation: 2026-09-19 langue: fr

Vault RAG — Processus complet & narration

sources:

  • “Vault RAG Setup”
  • “Vault RAG_results”
  • “Local AI Models”

📖 Vault RAG — Processus complet & narration (FR)

Date : 19 sept. 2026 · Statut : ✅ ÉMULÉ de bout en bout, vérifié sur hôte Projet : un RAG local et gratuit qui lit tout mon vault Obsidian Voix : première personne — narration exacte du vrai déroulé, commandes réelles incluses.


1. Pourquoi (le contexte)

Ma série LinkedIn « 3 mois de vacances » raconte ce que j’ai appris. Un des fils que je voulais pousser : l’IA locale. J’avais déjà Ollama + des modèles locaux (Local AI Models) et OpenClaw/OpenCode comme agents. Restait la pièce la plus utile : faire lire mes propres notes à une IA — questionner mon vault comme on questionne ChatGPT, mais chez moi, gratuitement.

Objectif : RAG sur vault = poser une question → réponse rédigée + les notes sources d’où elle vient.


2. L’environnement

ÉlémentValeur
MachineFedora 41 (sambasene@Zelus), CPU-only (pas de GPU NVIDIA/AMD)
RAM15 Go
Disque libre~3,7 Go (99 % utilisé — contrainte forte !)
Vault/home/sambasene/obsidian/Vault — 662 notes, ~142 Mo
Python3.11 (hôte) / 3.14 (sandbox)
Modèle LLM (défaut)qwen3:0.6b (523 Mo) via Ollama · qualité : qwen2.5:3b (1,9 Go)
Embeddingsall-MiniLM-L6-v2 (ONNX runtime, local, hors-ligne)
Vector storeChroma PersistentClient (SQLite sur disque)

3. Processus réel, commande par commande

Phase A — Installation de la base (sandbox Python, côté agent)

# 1. Dossier projet + script
mkdir -p "Projects/Vault RAG" && cd "Projects/Vault RAG"

# 2. Venv isolé (le pip système n'existe pas → venv l'apporte)
python3 -m venv .venv
source .venv/bin/activate

# 3. Dépendance unique : ChromaDB (embeddings + stockage vectoriel inclus)
pip install chromadb          # → chromadb 1.5.9 installé

# 4. Vérifier que l'embedder local marche (hors-ligne)
python -c "import chromadb; from chromadb.utils import embedding_functions as ef; print(len(ef.DefaultEmbeddingFunction()(['hello'])[0]))"
# → 384  (vecteur réellement produit, aucune connexion, aucun coût)

Phase B — Écriture du script rag_vault.py

Un seul fichier, 4 commandes CLI :

python rag_vault.py index [--recreate]   # construit/rafraîchit l'index
python rag_vault.py stats                # taille de l'index
python rag_vault.py query "..." -k 5     # récupération brute (chunks + score)
python rag_vault.py ask "..." -k 5              # réponse rédigée + sources (défaut qwen3:0.6b, think off)

Logique du script (3 blocs) :

  1. Chunking markdown-aware — découpe chaque note en paragraphes de ~600 caractères, avec chevauchement 80, en ignorant le frontmatter YAML ; saute .obsidian, .trash, .venv, git, médias.
  2. Indexation — embeddings locaux + col.upsert() par lots de 256 (idempotent → relançable).
  3. Réponse — récupère les top-k chunks pertinents, les colle dans un prompt, appelle Ollama si présent (ask), sinon retourne simplement les sources (query).

Phase C — Indexation du vault réel (preuve)

python rag_vault.py index
#  indexed 100/662 ... 200/662 ... 600/662 ...
#  Indexed 4585 chunks from 662 notes  ->  Projects/Vault RAG/.chroma

Résultat : 4 585 chunks issus des 662 notes du vault, stockés dans .chroma/ (~35 Mo).

Phase D — Vérification de la récupération (sans LLM)

python rag_vault.py query "quels sont les projets de The Pseudo Line ?" -k 4
# → retourne de VRAIS chunks : Draft - The Pseudo Line, The Pseudo LINE, ISOC…
#   avec scores de distance (0.79 → 0.97) → la récupération fonctionne.

Phase E — La génération sur l’hôte (Fedora 41)

# 1. Ollama : installateur officiel → service systemd
curl -fsSL https://ollama.com/install.sh | sh
#    → service démarré, API sur 127.0.0.1:11434
#    → WARNING: No NVIDIA/AMD GPU detected. CPU-only mode

# 2. Petit modèle gratuit
ollama pull qwen2.5:3b      # 1,9 Go  → success, sha256 vérifié
ollama list                 # qwen2.5:3b présent

# 3. LA QUESTION FINALE
cd "/home/sambasene/obsidian/Vault/Projects/Vault RAG" && source .venv/bin/activate
python rag_vault.py ask "quel est l'objet de The Pseudo Line ?" --model qwen2.5:3b

Réponse réelle obtenue (extrait) :

« The Pseudo Line is an entity that serves as the parent identity, owning the philosophy, brand, and projects… Each project becomes a venture under it, grouped into Verticals… Commerce → Yonko Business, Campus/Education → Campus Nav, Baobab, PolyPortal, Idle Zelus… »

Sources : drafts/the-pseudo-line.md (0.9459) · The Pseudo Line/Draft/Draft - The Pseudo Line.md (0.9683) · The Pseudo Line/The Pseudo LINE.md (0.9683)

→ Réponse exacte, ancrée dans mes notes, avec sources. Le RAG tourne. 🎉

Phase F — Changement de modèle vers qwen3:0.6b (vérifié, 19/09)

Objectif : des réponses plus rapides en CPU. Trouvé qwen3:0.6b (523 Mo, ~34–36 tok/s) — l’option minuscule la plus rapide.

ollama pull qwen3:0.6b      # 522 Mo → success, sha256 vérifié

# Le modèle par défaut est désormais qwen3:0.6b — pas besoin de drapeau --model
python rag_vault.py ask "quel est l'objet de The Pseudo Line ?"

Piège découvert : qwen3 active le mode « thinking » par défaut (depuis Ollama v0.12.3, le /no_think dans le prompt ne fonctionne plus). Le premier run a gaspillé des tokens dans un bloc « Thinking… Okay, the user is asking… » et a halluciné — le modèle a raté les verticals pourtant présentes dans son contexte. Fix : le script appelle désormais ollama run qwen3:0.6b "<prompt>" --think=false pour tout modèle qwen3*, plus un filet de sécurité regex strip_think_block().

Réponse réelle obtenue avec think off :

« The object of The Pseudo Line is to organize its ventures into verticals… The verticals listed include Commerce, Campus/Education, Civic/Data, Games/Creative, and Infrastructure. »

Sources : mêmes 5 notes (scores 0,8952 → 1,0025)

→ Plus aucun bloc « Thinking… », réponse identique à qwen2.5:3b, génération ~2× plus rapide. ✅


4. Les problèmes rencontrés & leurs fixes (étape par étape)

#ProblèmeCause racineFixLeçon
1pip absent sur le Python systèmePython sandboxé sans pippython3 -m venv .venv (le venv apporte pip)Toujours isoler en venv
2Pas de ollama dans la sandboxLe serveur Ollama vit sur l’hôte, pas dans le bac à sable agentSéparer : récupération testée seule d’abord, LLM délégué à l’hôteTester chaque brique indépendamment
3Index coupé par timeout 120 s (2 304 chunks seulement)Sandbox tue les longues commandesIndex par lots upsert() idempotents → relancer la commande finit le travailBatch upsert = relançable par design
4Disque à 99 % (3,7 Go libres)Secteur pleinGarder 1 seule dépendance (chromadb) + persist 35 Mo ; modèle 3b léger (1,9 Go)Budgeter l’espace comme ressource
5Pas de GPU (CPU-only)Machine sans NVIDIA/AMDChoisir MiniLM (petit, ONNX) + qwen3:0.6b (minuscule) ou qwen2.5:3b (qualité)Le RAG local marche très bien en CPU
6Écritures corrompues pendant le dev du scriptSortie agent brouilléeRéécrire le fichier proprement, vérifier ast.parse() + grep de marqueursToujours valider le fichier écrit
7Erreur d’attention : mauvaise orthographe du cheminsambasene vs sambaseneCorriger le chemin absolu dans la commande hôteRelire les chemins avant d’exécuter
8cd "Programs/Vault RAG" → dossier introuvableLe prompt utilisateur était dans ~, pas dans le vaultUtiliser le chemin absolu cd "/home/sambasene/obsidian/Vault/Projects/Vault RAG"Toujours des chemins absolus

5. Le déroulé narratif (courte histoire)

  1. “Je vais apprendre l’IA locale” → Ollama installé, modèles testés, agents configurés.
  2. “Et si mon IA lisait MES notes ?” → RAG : la technique qui branche un LLM sur ma propre base de connaissances.
  3. Construire : venv → chromadb → script rag_vault.py → première indexation 4 585 chunks / 662 notes.
  4. Échouer en route puis réussir : timeout, disque plein, CPU-only → chaque obstacle a eu son fix simple (lots, léger, local).
  5. La preuve : « quel est l’objet de The Pseudo Line ? » → réponse exacte avec mes notes en sources.
  6. 4 585 chunks, 0 FCFA, 100 % chez moi.

6. Chiffres clés

MétriqueValeur
Notes indexées662
Chunks d’index4 585
Taille du persist~35 Mo
Modèle LLM (défaut)qwen3:0.6b (523 Mo, CPU, think off) · qualité : qwen2.5:3b (1,9 Go)
Embeddingsall-MiniLM-L6-v2 (384 dims, hors-ligne)
Coût0 FCFA / 0 $ (tout local)
Commandes pour refaire5

7. Réutilisabilité (comment refaire / étendre)

# Refaire tout depuis zéro
cd "/home/sambasene/obsidian/Vault/Projects/Vault RAG"
source .venv/bin/activate
python rag_vault.py index --recreate
python rag_vault.py ask "ma question ici" --model qwen3:0.6b   # défaut depuis le 19/09

🔄 Changement de modèle (19/09) : le --model par défaut est désormais qwen3:0.6b (523 Mo, ~34–36 tok/s CPU) — l’option minuscule la plus rapide, idéale en RAG (le LLM ne fait que reformuler les chunks récupérés). Le run vérifié ci-dessus utilisait qwen2.5:3b ; garde-le avec --model qwen2.5:3b pour plus de qualité.

Extensions possibles :

  • Embeddings nomic-embed-text via Ollama (meilleur FR).
  • Brancher les DBs Supabase (Yonko / PolyPortal) pour un chatbot avec accès temps réel (mon plan initial).
  • Un fichier d’exclusion .zigignore pour les gros dossiers (Excalidraw, médias).
  • Serveur HTTP / chat UI (Open WebUI) en option.

8. Liens & fichiers

  • Script : Projects/Vault RAG/rag_vault.py (+ .venv, .chroma/)
  • EN : Vault RAG Setup · FR : Rapport Vault RAG Setup · Résultats bruts : Vault RAG_results
  • Concepts : Local AI Models · RAG
  • Série LinkedIn : LinkedIn Série - Post 11 - RAG sur mon vault

Narration écrite en 1ʳᵉ personne, commandes RÉELLES extraites du déroulé — rien d’inventé, tout est reproductible.