ngram: измерить хост .135 и закрыть направление VRAM
Замеры на агентских промптах показали, что .135 ограничен арифметикой на
четырёх ядрах Ivy Bridge (351% CPU, 20% GPU busy), а не полосой памяти.
Отсюда два вывода с числами:

- перенос экспертов в видеопамять проигрывает в обеих раскладках:
  --n-cpu-moe 32 даёт 7,7 t/s против 10,2, целые слои (-ngl 4..12) — 5,5..6,4;
- запас нашёлся в другом: IQ2_M даёт +19% генерации за +1,9% perplexity,
  а -ub 2048 — +71% приёма промпта.

Добавлены зонды busy_probe и pp_probe, NGRAM_TASK.md дополнен разделом 9
и поправкой к 8.5.
1 parent 52066fc commit 42a110c599ce57980667c17a95a145c6e807c87e
@Eugene Sukhodolskiy Eugene Sukhodolskiy authored 3 days ago
Showing 8 changed files
View
NGRAM_TASK.md 0 → 100644
View
scripts/ngram_bench.py 0 → 100644
View
scripts/ngram_build.py 0 → 100644
View
scripts/ngram_busy_probe.py 0 → 100644
View
scripts/ngram_pp_probe.py 0 → 100644
View
scripts/ngram_prompts.json 0 → 100644
View
scripts/ngram_prompts_agentic.json 0 → 100644
View
scripts/ngram_tools_schema.json 0 → 100644