Skip to content

K06 (P2) -- 09d cache de préfixe : ratio caché supposé à 0,5 et « seuil de rentabilité » sans scénario de référence #18735

Closed

Description

@jsboige

Parent : #18731. Part of #18211. Fiche K06 de l'Audit tiers Astra du 2026-10-01, archivé sur GDrive : MyIA/IA/LLMs/Conversations/CoursIA/Audit-CoursIA-Evolution-Digestion-2026-10-01.md (preuves : CoursIA-Audit-Preuves-2026-10-01.zip).

Reassessed by myia-ai-01 : CONFIRMED pedagogy (arithmétique), re-vérifié au source sur c2cd88cb7f.

Constat

MyIA.AI.Notebooks/GenAI/Texte/09d_Production_Caches.ipynb, cellule de code f3e21358 (c18) :

R_CACHED = 0.5   # « politique fournisseur standard »
economie_par_appel = tokens_prompt * (1 - R_CACHED) * part_cachee * PRIX_IN / 1e6
-> « point d'équilibre : ~2 appels par préfixe pour rentrer dans les frais (au-delà, tout est gain) »

Deux défauts indépendants :

  1. Le ratio. La mesure de préfixe (c16) vise nominalement gpt-5-mini. Selon la fiche tarifaire publiée du fournisseur, consultée par l'auditeur le 2026-10-01, ce modèle facture l'entrée cachée à 0,1 fois le prix d'entrée, pas 0,5. Avec les 1304 tokens d'entrée et les 1152 tokens cachés enregistrés, l'économie par hit est de 0,0002592 USD, et non de 0,000144. Le prix exact dépend de la route effectivement utilisée : la nommer avant d'estimer une facture.
  2. Le « seuil ». Si le même préfixe est nécessaire dans les deux scénarios, son premier paiement est commun : chaque hit est une économie, et il n'y a aucun investissement à amortir. Si l'on ajoute un long préfixe pour atteindre le cache, il faut comparer à la requête courte d'origine. Témoin, entrée seule : requête de 100 tokens = 0,000025 USD ; prompt long déjà chaud = 0,0000668 USD. Le cache fonctionne, et la stratégie reste plus chère.

Acceptation

  • Calcul non_cachés × prix_entrée + cachés × prix_caché + sortie × prix_sortie, avec route, modèle, date et unités.
  • Deux scénarios de référence explicites : préfixe commun, et préfixe ajouté.
  • Plus de promesse générique « après deux appels, tout est gain ».
  • Le témoin court/long peut montrer un surcoût malgré un hit.

Cellules modifiées re-exécutées (C.2). Notebook livré sous #18211 : coordonner avec la lane qui le porte avant d'éditer (check_lane_claim.py 18211).

Activity

  1. added
    bugSomething isn't working
    auditAutomated quality audit findings
    on Oct 1, 2026
  2. jsboige commented on Oct 1, 2026

    @jsboige
    OwnerAuthor

    [CLAIMED] lane myia-ai-01:CoursIA-2 -- paths: MyIA.AI.Notebooks/GenAI/Texte/09d_Production_Caches.ipynb -- K06: corriger R_CACHED=0.5 (gpt-5-mini facture 0.1) + deux scenarios de reference explicites (prefixe commun vs prefixe ajoute)

  3. jsboige commented on Oct 1, 2026

    @jsboige
    OwnerAuthor

    [DELIVERED] lane myia-ai-01:CoursIA-2 -- PR #18750 (head 4f67712)

    Acceptation livree :

    • Route tarifaire nommee : OpenAI direct, gpt-5-mini, fiche tarifaire 2026-10-01. R_CACHED=0.1 (10 %), pas 0.5.
    • Deux scenarios de reference explicites : A. prefixe commun (pas d'amortissement), B. prefixe ajoute (comparaison a la requete courte d'origine).
    • Témoin chiffre : requete courte 100 tokens = $0.000025 ; prompt long chaud (1304 tokens, 1152 caches) = $0.000067 -> surcout $0.000042/appel malgre le hit.
    • Promesse generique 'apres deux appels, tout est gain' supprimee.

    c18 re-executee avec valeurs du dernier run (PRIX_IN=$0.25/M, prompt=1304, cached=1152). Cle API non dispo dans l'env de cette lane, valeurs du run precedent.

  4. jsboige commented on Oct 1, 2026

    @jsboige
    OwnerAuthor

    [DELIVERED] lane myia-ai-01:CoursIA-2 -- PR #18750

    (#12386 v2: PR state-bound. While the PR is OPEN the lane keeps an active claim that blocks cross-lane claims; once the PR is MERGED on main the claim is locked: True and a [OVERRIDE] is required to re-open. A Closes #N in the next PR body or gh issue close --reason COMPLETED will retire the claim.)

  5. jsboige commented on Oct 1, 2026

    @jsboige
    OwnerAuthor

    [CLAIMED] lane myia-po-2024:CoursIA -- K06 fix : ratio cache exact + deux scenarios de reference dans 09d_Production_Caches (cellule f3e21358) -- paths: MyIA.AI.Notebooks/GenAI/Texte/09d_Production_Caches.ipynb

  6. added a commit that references this issue on Oct 1, 2026
  7. added a commit that references this issue on Oct 2, 2026
  8. added
    candidate-deliveredReferenced by a merged PR with no post-merge activity -- candidate for close triage (#10466)
    on Oct 2, 2026
  9. myia-ai-01 commented on Oct 5, 2026

    @myia-ai-01
    Collaborator

    Clôture — critères vérifiés sur main (90b2be6).

    Critères : calcul poste par poste avec route, modèle, date et unités ; deux scénarios de référence ; plus de promesse générique « après deux appels, tout est gain » ; témoin court/long qui montre un surcoût malgré un hit.

    Livré par #18752 (fusionnée le 2026-10-02, commit fe087a8). La PR sœur #18750 a été fermée sans fusion.

    Dans 09d_Production_Caches.ipynb, la cellule f3e21358 fixe R_CACHED = 0.1 et nomme la route openai/gpt-5-mini. Sa sortie donne :

    • $0.0002592 pour un hit en préfixe commun ;
    • un surcoût de $0.0000418 en préfixe ajouté.

    grep -c "pour rentrer dans les frais" sur le carnet rend 0.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    auditAutomated quality audit findingsbugSomething isn't workingcandidate-deliveredReferenced by a merged PR with no post-merge activity -- candidate for close triage (#10466)genai

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions