ngram: измерить хост .135 и закрыть направление VRAM
...
Замеры на агентских промптах показали, что .135 ограничен арифметикой на
четырёх ядрах Ivy Bridge (351% CPU, 20% GPU busy), а не полосой памяти.
Отсюда два вывода с числами:
- перенос экспертов в видеопамять проигрывает в обеих раскладках:
--n-cpu-moe 32 даёт 7,7 t/s против 10,2, целые слои (-ngl 4..12) — 5,5..6,4;
- запас нашёлся в другом: IQ2_M даёт +19% генерации за +1,9% perplexity,
а -ub 2048 — +71% приёма промпта.
Добавлены зонды busy_probe и pp_probe, NGRAM_TASK.md дополнен разделом 9
и поправкой к 8.5.
Eugene Sukhodolskiy
committed
3 days ago