NEW-05
BWT + CM пост-модель (bsc/mcm-класс): мощная контекстная модель с SSE поверх BWT-трека
Why it might compress better
№1 на CHUNKED/малых text, где сейчас худшие text-гэпы: plrabn12.txt (cubrim 0.3636 vs ppmd 0.2750, +32.2%), alice29.txt (0.3268 vs 0.2563, +27.5%), asyoulik.txt (0.3481 vs 0.2903, +19.9%), cp.html (0.3265 vs ppmd 0.2720, +20.0%), плюс средние LZ-text при переключении их на BWT-путь: dickens (+28.8%), lcet10 (+31.0%), reymont (+24.0%). Цель — ppmd ±0..−4% на этой группе при скорости выше NEW-01/NEW-02.
не реализовано — DEFER: chunked/малые text; зависит от FU-01 (u32-block) + NEW-01 (CM), #9 на 64KB | 2026-08-09 PROBE NO-GO (superseded): all seven cited text gaps inverted at meta-36 — cubrim beats ppmd 1.8-19.4% on every cited file; 64KB BWT ceiling survives only in the value rail, CM2 codes text whole-file. BWT+large-block direction confirmed (-7.2% whole-file vs 64KB blocks on plrabn12) but class ceiling ~ppmd, below shipped. Record: probes-20260809/probe-new05-notes.md
Consilium verdict
DEFER via FU-01 (крупный блок) + NEW-01 (CM)
Next: Отложить до FU-01 (u32-block). Chunked/малые text (plrabn12 +32%, alice29 +27%, asyoulik +20%, cp.html +20%) страдают от 64KB-потолка: online-обучение дорого (#9), нужен больший BWT-блок (H-62/FU-01) + CM. Частный случай NEW-01 на малых блоках. Критерий: gap ≤0% vs ppmd на малых text в крупноблочном режиме.
Lessons
deepseek ОТЛОЖИТЬ/ДУБЛИКАТ / moonshot ОТЛОЖИТЬ. Синтез DEFER. Урок: "малые блоки + больший BWT" конфликтует с #9 (64KB penalty) — решается FU-01 (u32-block), затем CM; не отдельный трек.
NEW-04
LZMA-класс бэкенд: LZ77 + range coder с pos/state/rep-контекстами
Why it might compress better
№1 на файлах, где лидер — xz/7z/brotli с LZ77-механикой, а PPM/CM-классы не лидируют: samba (cubrim 0.1934 vs xz 0.1731, +11.8%), nci (0.0478 vs xz 0.0432, +10.7%), xml (0.0907 vs brotli 0.0805, +12.6%), sum (0.3458 vs xz 0.2484, +39.2%, в связке с IW-05 BCJ), mozilla (0.3066 vs 7z 0.2605, +17.7%) и ooffice (0.4357 vs rar 0.3742, +16.4%) в связке с x86-BCJ (см. трек binary/exe). Цель — xz −1..−3% на этой группе.
не реализовано — GO via LZ-literal трек (NEW-07/16) + BCJ; НЕ CM (LZ77-файлы) | 2026-08-09 PROBE NO-GO: meta-36 shows cubrim already leads samba/xml/mozilla/ooffice vs the LZ-class leaders; best-case target (xz -3%) sits above current cubrim. Ablation on nci (the one deficit, +7.3% vs xz): pos/state/rep contexts carry -0.12..+0.27%; the xz edge is parse/long-range class. Record: documentation/ephemeral/research/probes-20260809/probe-new04-notes.md
Consilium verdict
GO via LZ-literal трек (NEW-07/16); не CM
Next: Решать в рамках LZ+literal-coder (NEW-07 order-2 literal, NEW-16 segment-switch), НЕ CM. LZ77-файлы (samba +11.8%, nci +10.7%, xml +12.6%, sum +39.2% — последний = IW-05 SPARC-BCJ) выигрывают через match-finder/rep-codes/literal-кодер, не context-mixing. Критерий: размер vs xz/7z/brotli на LZ77-файлах.
Lessons
deepseek ОТЛОЖИТЬ (LZ-потолок, CM рискует не сработать) / moonshot GO (LZ+literal). Синтез GO-via-LZ-трек. Урок: LZ-лидеры используют другой механизм (match finder, rep-codes) — CM-фокус для них дистракция; правильный lever = LZ literal-coder (NEW-07/16) + BCJ (IW-05/NEW-09).
NEW-02
Собственная PPMd var.H/var.I реализация (SEE + information inheritance) как text-бэкенд
Why it might compress better
Паритет ±0.5% с ppmd на всех 11 text-файлах как пол, затем +1–3% сверху за счёт тюнинга — итог #1 или co-#1 на webster (0.1578), dickens (0.2253), lcet10 (0.2262), plrabn12 (0.2750), reymont (0.1722), alice29 (0.2563), asyoulik (0.2903), cp.html (0.2720), enwik8 (0.2240), плюс osdb, где ppmd тоже лидер (0.2366, наш gap +30.7%).
не реализовано — DUP NEW-01/H-61 (веха паритета с ppmd) | 2026-08-11 PROBE NO-GO: parity milestone already overshot — cubrim leads ppmd on all 11 text files and osdb at meta-36; same-slice real-vs-real beats 7z PPMd var.H by 9.5-10.3%; parked var.H model already in-tree (ppmd.rs, dead-code). Record: probes-20260809/probe-new02-notes.md
Consilium verdict
DUP NEW-01/H-61 (веха паритета, не отдельный трек)
Next: Не отдельная гипотеза — веха "паритет ±0.5% с ppmd на 11 text" внутри CM-бэкенда (NEW-01/H-61). Следующий шаг после паритета — +1-3% тюнингом. Критерий: gap на 11 text ≤0.5% от ppmd.
Lessons
Оба вендора ДУБЛИКАТ. Урок: "паритет +1-3%" — не гипотеза, а рабочий диапазон одного и того же CM-бэкенда; не плодить трек под целевую метрику.
NEW-01
CM top rail: full 24-file competitive-min
LIVE
Why it might compress better
MODE_CM is now measured across the full 24-file methodology; selection remains competitive-min against the verified existing rail.
Race standing · compression ratio (lower = better)
0.195527
What this round did
Overall Cubrim 0.222634, rank #1/10; CM improved 15/19 catch-up files.
WIN — full 24-file catch-up complete: CM measured on the missing 19 files; overall Cubrim 0.222634, rank #1/10. Per-type modes: binary: CUBR-0034 verified rail=2, MODE_CM mode10=1; code: MODE_CM mode10=3; database: CUBR-0034 verified rail=1, MODE_CM mode10=1; exe: MODE_CM mode10=2; image: CUBR-0034 verified rail=1, MED16 mode7=2; text: MODE_CM mode10=11.
Test result
measured · CUBR-0043-full24-cm19 · 2026-07-07
Full 24-file honest catch-up: CM mode10 measured on the 19 files previously left at CUBR-0034; competitive-min selected min(current verified rail, CM). CM improved 15/19: canterbury/alice29.txt, canterbury/asyoulik.txt, canterbury/cp.html, canterbury/fields.c, canterbury/grammar.lsp, canterbury/lcet10.txt, canterbury/plrabn12.txt, canterbury/sum, canterbury/xargs.1, silesia/mozilla, silesia/ooffice, silesia/osdb, silesia/reymont, silesia/samba, silesia/xml. Overall cubrim=0.222633711563, projected rank #1/10; leader cubrim=0.222633711563. Per-type selected modes: binary: CUBR-0034 verified rail=2, MODE_CM mode10=1; code: MODE_CM mode10=3; database: CUBR-0034 verified rail=1, MODE_CM mode10=1; exe: MODE_CM mode10=2; image: CUBR-0034 verified rail=1, MED16 mode7=2; text: MODE_CM mode10=11. RT basis: prior current rows retain CUBR-0034/CUBR-0043 RT=OK; CM19 rows have cmprobe RT=OK.
Per-file measurements (from DB)
overall 0.215421 · 31
canterbury/alice29.txt
mode10-cm-catchup
0.262498
canterbury/asyoulik.txt
mode10-cm-catchup
0.291319
canterbury/cp.html
competitive-min-cm
0.880137
canterbury/cp.html
mode10-cm-catchup
0.269235
canterbury/fields.c
competitive-min-cm
0.886726
canterbury/fields.c
mode10-cm-catchup
0.230404
canterbury/grammar.lsp
competitive-min-cm
0.906208
canterbury/grammar.lsp
mode10-cm-catchup
0.284601
canterbury/kennedy.xls
mode10-cm-catchup
0.065452
canterbury/lcet10.txt
mode10-cm-catchup
0.226798
canterbury/plrabn12.txt
mode10-cm-catchup
0.281895
canterbury/ptt5
mode10-cm-catchup
0.092335
canterbury/sum
competitive-min-cm
1.000340
canterbury/sum
mode10-cm-catchup
0.275680
canterbury/xargs.1
competitive-min-cm
0.902058
canterbury/xargs.1
mode10-cm-catchup
0.359830
dickens
competitive-min-cm
0.239216
enwik8
competitive-min-cm
0.237058
mr
competitive-min-cm
0.210426
silesia/mozilla
competitive-min-cm
0.308247
silesia/mozilla
mode10-cm-catchup
0.281832
silesia/nci
mode10-cm-catchup
0.050653
silesia/ooffice
mode10-cm-catchup
0.391184
silesia/osdb
mode10-cm-catchup
0.255320
silesia/reymont
mode10-cm-catchup
0.166763
silesia/samba
competitive-min-cm
0.197227
silesia/samba
mode10-cm-catchup
0.161485
silesia/sao
mode10-cm-catchup
0.636503
silesia/webster
competitive-min-cm
0.171240
silesia/xml
mode10-cm-catchup
0.072633
x-ray
competitive-min-cm
0.445067
Consilium verdict
GO (головной CM-backend трек = H-61/H-24; multi-day)
Next: Реализовать CM (context-mixing) top-rail — флагманский бэкенд (= H-61 GO-to-plan, value-scheme ppmd/CM byte 13). Закрывает gap 17-33% на 11 text+code. Высокое усилие (multi-day), высокий риск. Follow-up в backlog. Критерий: enwik8 ≤0.215 (vs ppmd 0.224) + ratio на 11 text/code ≤ ppmd. NEW-02/03/06 — вехи этого же трека, не отдельные задачи.
Lessons
Оба вендора GO (головной трек). Урок: трансформы бесполезны на тексте — единственный lever = PPMd-class/CM бэкенд (#11); потолок пробивается заменой энтропийного кодера, не препроцессора. Крупнейший приз проекта.
IW-05
SPARC-BCJ фильтр для sum/exe (xz бьёт вдвое своим BCJ)
Why it might compress better
sum — второй по величине единичный разрыв корпуса: rank 9, 0.3458 vs xz 0.2484 (+39.2%). Диагноз известен: sum — SPARC-ELF, не текст; xz прогоняет его через свой SPARC-BCJ фильтр (нормализация call/branch-смещений в абсолютные адреса), после чего LZMA видит повторы, невидимые без фильтра. Цель — свой BCJ-слой перед MODE_LZ: сначала SPARC (sum), затем x86 (mozilla +17.7%, ooffice +16.4%). BCJ — проверенный десятилетиями чужой рычаг, тут нет исследования, есть перенос.
Test result
measured · CUBR-0046 IW-05 full24 dev-ai replay · 2026-07-16
Full 24-file dev-ai replay at exact commit 6275a826bedcd898883de58d6dc060b8997bfd1f; RT=OK/cmp=0 on 24/24; world aggregate 0.2357144048113152. Target sum probe was worse than xz; candidate snapshot also trails the current Cubrim rail.
Per-file measurements (from DB)
overall 0.235714 · 24
silesia/dickens
auto
0.239216
silesia/mozilla
auto
0.308247
silesia/mr
auto
0.210426
silesia/nci
auto
0.047821
silesia/ooffice
auto
0.436255
silesia/osdb
auto
0.314538
silesia/reymont
auto
0.215835
silesia/samba
auto
0.197227
silesia/sao
auto
0.695309
silesia/webster
auto
0.171240
silesia/x-ray
auto
0.445067
silesia/xml
auto
0.092180
enwik8/enwik8
auto
0.237058
canterbury/alice29.txt
auto
0.345094
canterbury/asyoulik.txt
auto
0.384002
canterbury/cp.html
auto
0.880137
canterbury/fields.c
auto
0.886726
canterbury/grammar.lsp
auto
0.906208
canterbury/kennedy.xls
auto
0.069518
canterbury/lcet10.txt
auto
0.299475
canterbury/plrabn12.txt
auto
0.366135
canterbury/ptt5
auto
0.094216
canterbury/sum
auto
1.000340
canterbury/xargs.1
auto
0.902058
Consilium verdict
GO (in-work: SPARC-BCJ фильтр, расширение BCJ-семьи H-37)
Next: Добавить SPARC-BCJ фильтр в arch-диспетчер (расширение отгруженной BCJ-семьи x86/ARM64/RISC-V). sum (SPARC-ELF) rank9 0.3458 vs xz 0.2484 (+39.2%) — xz уже доказывает SPARC-BCJ. Среднее усилие, низкий риск. Критерий: ratio sum → xz 0.2484.
Lessons
Оба вендора РЕАЛИЗОВЫВАТЬ. Урок: отсутствие arch-фильтра = автоматический провал на исполняемом формате; BCJ-фильтры — быстрый win для бинарников. SPARC — известная дыра в отгруженной BCJ-семье.