Skip to content
Closed
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
2 changes: 1 addition & 1 deletion MyIA.AI.Notebooks/GenAI/Texte/10_LocalLlama.ipynb
Original file line number Diff line number Diff line change
Expand Up @@ -1107,7 +1107,7 @@
"tags": []
},
"source": [
"### Analyse de la reponse /models\n\nL'appel a l'endpoint `/models` permet d'**inspecter les modèles disponibles** sur chaque serveur. La latence de cet aller-retour est mesurée **en direct par la cellule 12** (`requests.get` + `time.time`) — re-exécutez-la pour la valeur courante (elle dépend du réseau et de la charge OpenRouter).\n\n**Résultats observes sur l'exécution committee** (2 endpoints configures) :\n\n| Endpoint | Modèles | Observation |\n|----------|---------|-------------|\n| **cloud-gpt5.2** (gpt-5.2 via OpenRouter) | 132 modèles | Catalogue OpenRouter complet, modèle configure `gpt-5.2` trouve |\n| **openweight-llama4** (llama-4-maverick via OpenRouter) | 132 modèles | Même catalogue, modèle configure `meta-llama/llama-4-maverick` trouve |\n\n> Sur un **deploiement local complet** (vLLM/Ollama distincts par modèle), la\n> ligne `local-mini` (ZwZ-8B, 1 modèle) et `local-medium` (Qwen3.5 MoE\n> 35B, TP=2) s'ajouteraient -- un serveur vLLM ne servant qu'un seul\n> modèle, contre le catalogue de 132 modèles d'OpenRouter.\n\n**Points pedagogiques** :\n\n1. **OpenRouter vs vLLM** : OpenRouter expose tout son catalogue (132 modèles), tandis que vLLM ne sert que le modèle charge. Le code tronque l'affichage a 5 modèles et verifie que le modèle configure est present.\n2. **Latence catalogue** : L'endpoint `/models` d'OpenRouter implique un aller-retour Internet + lecture du catalogue de 132 modèles ; un serveur vLLM local, sur reseau local avec un seul modèle, repond plus vite (mesurable par la même cellule 12 pointée vers un endpoint local).\n3. **Nom du modèle** : Le `served-model-name` vLLM (`zwz-8b`, `qwen3.5-35b-a3b`) doit correspondre exactement a `OPENAI_CHAT_MODEL_ID` dans `.env`.\n"
"### Analyse de la reponse /models\n\nL'appel a l'endpoint `/models` permet d'**inspecter les modèles disponibles** sur chaque serveur. La latence de cet aller-retour est mesurée **en direct par la cellule 12** (`requests.get` + `time.time`) — re-exécutez-la pour la valeur courante (elle dépend du réseau et de la charge du fournisseur cloud).\n\n**Résultats observes sur l'exécution committee** (2 endpoints configures, 1 seul execute sur `/models`) :\n\n| Endpoint | Modèles | Observation |\n|----------|---------|-------------|\n| **OpenAI** (`api.openai.com/v1`, `OPENAI_BASE_URL`) | 132 modèles | Catalogue OpenAI complet, 3 affiches dans la sortie : `text-embedding-ada-002`, `whisper-1`, `gpt-3.5-turbo` -- tous `owned_by: openai` |\n| **openweight-llama4** (llama-4-maverick via OpenRouter) | non exécuté | Endpoint configure mais non appele dans ce run (le code skip si la cle API manque ou si l'endpoint ne repond pas dans le timeout) |\n\n> Sur un **deploiement local complet** (vLLM/Ollama distincts par modèle), les\n> lignes `local-mini` (ZwZ-8B, 1 modèle) et `local-medium` (Qwen3.5 MoE\n> 35B, TP=2) s'ajouteraient -- un serveur vLLM ne servant qu'un seul\n> modèle, contre le catalogue de 132 modèles du fournisseur cloud (OpenAI\n> dans cette exécution).\n\n**Points pedagogiques** :\n\n1. **Fournisseur cloud vs vLLM local** : le fournisseur cloud expose tout son catalogue (132 modeles pour OpenAI au moment de l'execution), tandis qu'un serveur vLLM ne sert que le modele charge. Le code tronque l'affichage a 5 modeles et verifie que le modele configure est present.\n2. **Latence catalogue** : l'endpoint `/models` du fournisseur cloud implique un aller-retour Internet + lecture du catalogue de 132 modeles ; un serveur vLLM local, sur reseau local avec un seul modele, repond plus vite (mesurable par la meme cellule 12 pointée vers un endpoint local).\n3. **Nom du modèle** : le `served-model-name` vLLM (`zwz-8b`, `qwen3.5-35b-a3b`) doit correspondre exactement a `OPENAI_CHAT_MODEL_ID` dans `.env`.\n"
]
},
{
Expand Down
Loading