|
ngram: измерить хост .135 и закрыть направление VRAM
Замеры на агентских промптах показали, что .135 ограничен арифметикой на четырёх ядрах Ivy Bridge (351% CPU, 20% GPU busy), а не полосой памяти. Отсюда два вывода с числами: - перенос экспертов в видеопамять проигрывает в обеих раскладках: --n-cpu-moe 32 даёт 7,7 t/s против 10,2, целые слои (-ngl 4..12) — 5,5..6,4; - запас нашёлся в другом: IQ2_M даёт +19% генерации за +1,9% perplexity, а -ub 2048 — +71% приёма промпта. Добавлены зонды busy_probe и pp_probe, NGRAM_TASK.md дополнен разделом 9 и поправкой к 8.5. |
|---|
|
|
| NGRAM_TASK.md 0 → 100644 |
|---|
| scripts/ngram_bench.py 0 → 100644 |
|---|
| scripts/ngram_build.py 0 → 100644 |
|---|
| scripts/ngram_busy_probe.py 0 → 100644 |
|---|
| scripts/ngram_pp_probe.py 0 → 100644 |
|---|
| scripts/ngram_prompts.json 0 → 100644 |
|---|
| scripts/ngram_prompts_agentic.json 0 → 100644 |
|---|
| scripts/ngram_tools_schema.json 0 → 100644 |
|---|