Cubrim — Universal Compression

H-25c

LzRans: repeat-offset distance cache + облегчённый order-1 literal coder

Record WIN

Why it might compress better

Repeat-offset кэш (rep0..rep3) — один из самых прибыльных приёмов LZ-класса, уже WIN. Направление — выжать из него максимум там, где данные записе-ориентированы: расширить кэш специализированными слотами (rep0−1, rep0+1 как в RAR/LZX «delta-rep»), добавить контекстную модель выбора rep-слота (какой rep сработает — сильно предсказуемо по state), и связать с парсером (H-25h/H-25j-lite уже делают DP rep-aware). Литеральная часть order-1 — переходная; её развитие ушло в H-25f (dedicated literal c...

Test result

measured · 2026-06-24

lz-rans 12/12 RT=OK. H-25c: rail-win на long-range (−29% vs geomix), holdout 0.2390 unchanged (64KB cap). RT byte-exact.

Per-file measurements (from DB)

overall 0.930887 · 24

silesia/dickens auto 0.854213 silesia/mozilla auto 0.992003 silesia/mr auto 0.951467 silesia/nci auto 0.751436 silesia/ooffice auto 0.999114 silesia/osdb auto 1.000261 silesia/reymont auto 0.879108 silesia/samba auto 0.863912 silesia/sao auto 1.000262 silesia/webster auto 0.877013 silesia/x-ray auto 1.000262 silesia/xml auto 0.843045 enwik8/enwik8 auto 0.988744 canterbury/alice29.txt auto 0.877289 canterbury/asyoulik.txt auto 0.876848 canterbury/cp.html auto 0.880137 canterbury/fields.c auto 0.886726 canterbury/grammar.lsp auto 0.906208 canterbury/kennedy.xls auto 1.000274 canterbury/lcet10.txt auto 0.877053 canterbury/plrabn12.txt auto 0.842880 canterbury/ptt5 auto 0.877289 canterbury/sum auto 1.000340 canterbury/xargs.1 auto 0.902058

Consilium verdict

WIN (LZ-line step: repeat-offset cache — первый rail-win)

Next: Валидированный шаг. Repeat-offset кэш (rep0..3, MTF) дал первый LZ-выигрыш рельса на single-block long-range (−29% vs geomix). Ограничен 64KB MODE_CHUNKED границей → снято в H-25d (whole-file).

Lessons

Урок: repeat-offset cache (zstd-рычаг) реален — LzRans впервые WINS competitive-min на within-block long-range (6867 vs geomix 9628). Но 64KB chunk-граница режет cross-block повторы → holdout unmoved.

2026-06-24

H-25b

LzRans strengthened: order-0 literals + full-value byte-split length/distance

Record WIN

Why it might compress better

H-25b разделила токены на потоки (литералы отдельно, length/distance побайтово) и дала первый серьёзный прирост LZ-ветки. Направление развития — от order-0 к контекстным моделям каждого потока: литералы → order-1..2 (уже частично сделано в H-25c/H-25f), length → контекст по предыдущей длине и типу матча, distance → slot-модель с контекстом по length (классическая zstd/LZMA связка length→dist-slot). Потолок order-0 давно пройден; ценность гипотезы теперь — как каркас потоковой архитектуры, в к...

Test result

measured · 2026-06-24

lz-rans 12/12 RT=OK (overall 0.2621). H-25b: standalone бьёт BwtRans 4/5, holdout 0.2390 unchanged. RT byte-exact.

Per-file measurements (from DB)

overall 0.930887 · 24

silesia/dickens auto 0.854213 silesia/mozilla auto 0.992003 silesia/mr auto 0.951467 silesia/nci auto 0.751436 silesia/ooffice auto 0.999114 silesia/osdb auto 1.000261 silesia/reymont auto 0.879108 silesia/samba auto 0.863912 silesia/sao auto 1.000262 silesia/webster auto 0.877013 silesia/x-ray auto 1.000262 silesia/xml auto 0.843045 enwik8/enwik8 auto 0.988744 canterbury/alice29.txt auto 0.877289 canterbury/asyoulik.txt auto 0.876848 canterbury/cp.html auto 0.880137 canterbury/fields.c auto 0.886726 canterbury/grammar.lsp auto 0.906208 canterbury/kennedy.xls auto 1.000274 canterbury/lcet10.txt auto 0.877053 canterbury/plrabn12.txt auto 0.842880 canterbury/ptt5 auto 0.877289 canterbury/sum auto 1.000340 canterbury/xargs.1 auto 0.902058

Consilium verdict

WIN (LZ-line step: order-0 литералы + byte-split; RT byte-exact)

Next: Валидированный шаг lz-rans. order-0 литералы + byte-split length/distance вывели LzRans из dead-weight (2×хуже) в mid-tier (бьёт 4/7 sibling-схем). Развитие продолжено в H-25c (repeat-offset).

Lessons

Урок: order-0 литеральный кодер решает на больших алфавитах (exe.bin 16619 vs 33042 BwtRans, 2×лучше — где H-25 был 2×хуже). Но всё ещё проигрывает geomix per-file → holdout 0.2390 неизменен (selected 0/6).

2026-06-24

H-25

LzRans: LZ77 match modeling + rANS (НЕ-BWT ветка value-stream)

Record WIN

Why it might compress better

H-25 — корень всего LZ-трека: LZ77-парсер поверх value-stream + rANS-энтропийник вместо BWT-цепочки. Ветка уже доросла до zstd-класса (через H-25b..H-25k) и обслуживает большинство файлов рейтинга в режиме LZ. Стратегическая цель корневой гипотезы — эволюция от zstd-класса к LZMA-классу: адаптивный range coder с контекстами по позиции и состоянию (pos/state bits), литеральный контекст по предыдущему байту и старшим битам match-дистанции. Это прямой путь к #1 на файлах, где лидер — xz/7z: samb...

Test result

measured · 2026-06-24

РЕАЛЬНО (CUBR-0039, RT=OK): lz-rans 12/12 RT=OK, overall 0.2621, best-file 0.1935, крашей 0. Самоверификация byte-exact. Линия H-25b..k RT byte-exact (tuned 0.158273/holdout 0.2390).

Per-file measurements (from DB)

overall 0.262140 · 24

canterbury/cp.html auto 0.880137 canterbury/cp.html lz-rans 0.326464 canterbury/fields.c auto 0.886726 canterbury/fields.c lz-rans 0.305650 canterbury/grammar.lsp auto 0.906208 canterbury/grammar.lsp lz-rans 0.387261 canterbury/sum auto 1.000340 canterbury/sum lz-rans 0.345816 canterbury/xargs.1 auto 0.902058 canterbury/xargs.1 lz-rans 0.453040 dickens auto 0.291223 dickens lz-rans 0.290306 enwik8 auto 0.262293 enwik8 lz-rans 0.262223 mr auto 0.332600 mr lz-rans 0.210426 silesia/mozilla auto 0.308247 silesia/mozilla lz-rans 0.306801 silesia/samba auto 0.197227 silesia/samba lz-rans 0.193481 silesia/webster auto 0.210721 silesia/webster lz-rans 0.210509 x-ray auto 0.616064 x-ray lz-rans 0.445067

Consilium verdict

WIN (2-of-2: 12/12 RT=OK, zstd-паритет long-range)

Next: Сохранять LZ-трек как равнозначную ветку диспетчера (идентичен order2-rans по overall — competitive-min выбирает одну). Развитие: масштабирование окна на 100MB+ (BT match finder упирается в память), literal-coder до ppmd-класса (NEW-07). Обслуживает большинство файлов рейтинга в LZ-режиме.

Lessons

Оба вендора WIN/GO. Урок: LZ-трек даёт тот же overall 0.2621, что order2-rans; корневая гипотеза всей линии H-25b..k, догнавшей zstd на long-range. Самоверификация fields.c 3408 byte-exact.

2026-06-24

H-24

BwtGeoMix (scheme 11) — champion on the tuned corpus

Record WIN

Why it might compress better

BwtGeoMix (scheme 11) — champion on the tuned corpus

Test result

measured · CUBR-0046-E1c full24 history replay · 2026-07-12

Full 24-file replay on dev-ai at commit 3937caf; RT=OK/cmp=0 on 24/24; world aggregate 0.999829470664157 confirms the tuned-corpus champion does not transfer competitively to the world corpus.

Per-file measurements (from DB)

overall 0.999829 · 24

silesia/dickens bwt-geomix 1.000001 silesia/mozilla bwt-geomix 1.000000 silesia/mr bwt-geomix 1.000001 silesia/nci bwt-geomix 1.000000 silesia/ooffice bwt-geomix 1.000002 silesia/osdb bwt-geomix 1.000001 silesia/reymont bwt-geomix 1.000002 silesia/samba bwt-geomix 1.000001 silesia/sao bwt-geomix 1.000002 silesia/webster bwt-geomix 1.000000 silesia/x-ray bwt-geomix 1.000002 silesia/xml bwt-geomix 1.000002 enwik8/enwik8 bwt-geomix 1.000000 canterbury/alice29.txt bwt-geomix 1.000085 canterbury/asyoulik.txt bwt-geomix 1.000104 canterbury/cp.html bwt-geomix 0.326464 canterbury/fields.c bwt-geomix 0.305650 canterbury/grammar.lsp bwt-geomix 0.387261 canterbury/kennedy.xls bwt-geomix 1.000013 canterbury/lcet10.txt bwt-geomix 1.000030 canterbury/plrabn12.txt bwt-geomix 1.000027 canterbury/ptt5 bwt-geomix 1.000025 canterbury/sum bwt-geomix 0.345816 canterbury/xargs.1 bwt-geomix 0.453040

2026-06-24

H-20

Order-2 context rANS на BWT-потоке

Record WIN

Why it might compress better

H-20 — самая перспективная выигранная гипотеза кодека: контекстный rANS поверх BWT уже бьёт bzip2-класс и стоит на прямой дороге к bsc/mcm-классу, который на тексте обгоняет ppmd. Стремиться: дорастить пост-BWT модель до state-of-the-art — order-3/hashed контексты, run-aware состояния, SSE/APM ступень, бинарная декомпозиция символа с адаптивными вероятностями. Это ветка, которая должна снять text-приз целиком: 11 файлов, лидер ppmd на 9 из них. H-20 + большой блок (H-16.2/FU-01) + диспетч tex...

Race standing · compression ratio (lower = better)

0.138836

What this round did

1

WIN — the most promising codec hypothesis: paired with a large block (FU-01) and a text→BWT dispatch it is the main strike at the whole text class.

Test result

measured · 2026-06-23

РЕАЛЬНО (CUBR-0039, RT=OK): order2-rans 12/12 RT=OK, overall 0.2621, best-file 0.1935, крашей 0. Чемпион. Самоверификация byte-exact.

gap to zstd-19

-31.7%

Per-file measurements (from DB)

overall 0.262140 · 24

canterbury/cp.html auto 0.880137 canterbury/cp.html order2-rans 0.326464 canterbury/fields.c auto 0.886726 canterbury/fields.c order2-rans 0.305650 canterbury/grammar.lsp auto 0.906208 canterbury/grammar.lsp order2-rans 0.387261 canterbury/sum auto 1.000340 canterbury/sum order2-rans 0.345816 canterbury/xargs.1 auto 0.902058 canterbury/xargs.1 order2-rans 0.453040 dickens auto 0.291223 dickens order2-rans 0.290306 enwik8 auto 0.262293 enwik8 order2-rans 0.262223 mr auto 0.332600 mr order2-rans 0.210426 silesia/mozilla auto 0.308247 silesia/mozilla order2-rans 0.306801 silesia/samba auto 0.197227 silesia/samba order2-rans 0.193481 silesia/webster auto 0.210721 silesia/webster order2-rans 0.210509 x-ray auto 0.616064 x-ray order2-rans 0.445067

Consilium verdict

WIN (2-of-2: чемпион, 12/12 RT=OK)

Next: Закрепить order-2 context rANS как основной baseline competitive-min. Дорастить пост-BWT модель до bsc/mcm-класса (bWT+сильная контекстная пост-модель бьёт ppmd на тексте) — трек H-61/NEW-01. Крашей нет, надёжен.

Lessons

Оба вендора WIN. Урок: order-2 context rANS — текущий лидер (overall 0.2621, best-file 0.1935), competitive-min стабильно выбирает эту ветку; крашей 0/12. Самоверификация cp.html 8032 byte-exact.

2026-06-23

Hypothesis feed

LzRans: repeat-offset distance cache + облегчённый order-1 literal coder

LzRans strengthened: order-0 literals + full-value byte-split length/distance

LzRans: LZ77 match modeling + rANS (НЕ-BWT ветка value-stream)

BwtGeoMix (scheme 11) — champion on the tuned corpus

Order-2 context rANS на BWT-потоке