Cubrim — Universal Compression

H-25h

Repeat-offset-aware cost-optimal LZ parse (к равномерному обгону zstd)

Record WIN

Why it might compress better

Гипотеза научила парсер видеть цену rep-матчей при выборе разбиения и закрыла задачу «обогнать zstd равномерно». Её продолжение материализовано в H-25j-lite (rep-aware DP cost model) и H-25j-full (BT match finder) — сама ветка завершена. Куда стремиться: остаточная зона — точность rep-цены на границах блоков и взаимодействие с адаптивным энтропийным слоем: когда кодер станет адаптивным (LZMA-слой из H-25/H-25g), цена rep-матча зависит от state-контекста в точке кодирования, и парсер должен эт...

Test result

measured · 2026-06-24

lz-rans 12/12 RT=OK. H-25h: srctree 286447→284369 (−0.7%), tuned/holdout byte-identical. RT byte-exact.

Per-file measurements (from DB)

overall 0.291751 · 24

silesia/dickens auto 0.332257 silesia/mozilla auto 0.330001 silesia/mr auto 0.332600 silesia/nci auto 0.061742 silesia/ooffice auto 0.471188 silesia/osdb auto 0.324364 silesia/reymont auto 0.255591 silesia/samba auto 0.215812 silesia/sao auto 0.709167 silesia/webster auto 0.248668 silesia/x-ray auto 0.695370 silesia/xml auto 0.100442 enwik8/enwik8 auto 0.311105 canterbury/alice29.txt auto 0.363629 canterbury/asyoulik.txt auto 0.403622 canterbury/cp.html auto 0.880137 canterbury/fields.c auto 0.886726 canterbury/grammar.lsp auto 0.906208 canterbury/kennedy.xls auto 0.069518 canterbury/lcet10.txt auto 0.320559 canterbury/plrabn12.txt auto 0.390984 canterbury/ptt5 auto 0.102056 canterbury/sum auto 1.000340 canterbury/xargs.1 auto 0.902058

Consilium verdict

CLOSED (LZ-line step: rep-offset cost-optimal parse — marginal)

Next: Валидированный, marginal шаг (srctree −0.7%). Разрыв на mixed-tarball фундаментален match-count'у (~72K distinct offsets), не rep-price → лечится DP optimal parser (H-25i).

Lessons

Урок: рычаг = parse OPTIMALITY, не search depth (deeper hash chains дали −0.7% за 25s). zstd выигрывает btultra DP-парсером (меньше/длиннее матчей → меньше offsets).

2026-06-24

H-25g

Combined sequence coder для token-потоков MODE_LZ

Record WIN

Why it might compress better

Совместный кодер последовательностей (literal-length / match-length / offset как единая sequence, à la zstd) собран и дал WIN. Направление развития — от zstd-схемы к LZMA-схеме сигнализации: вместо посимвольной sequence-таблицы — бинарное дерево решений (isMatch → isRep → rep-index / new-match) с адаптивными вероятностями в контексте state. Это устраняет остаточную избыточность сигнализации на коротких матчах и микро-повторах, которых много в структурных данных. Второе направление — совместна...

Test result

measured · 2026-06-24

lz-rans 12/12 RT=OK. H-25g: 120KB 5211 vs zstd 5202 (0.17% — TIED), gzip −25%. RT byte-exact, regression-proof.

Per-file measurements (from DB)

overall 0.295504 · 24

silesia/dickens auto 0.332023 silesia/mozilla auto 0.342917 silesia/mr auto 0.330526 silesia/nci auto 0.065497 silesia/ooffice auto 0.482650 silesia/osdb auto 0.321696 silesia/reymont auto 0.255803 silesia/samba auto 0.219338 silesia/sao auto 0.708273 silesia/webster auto 0.249719 silesia/x-ray auto 0.697472 silesia/xml auto 0.101935 enwik8/enwik8 auto 0.313461 canterbury/alice29.txt auto 0.362768 canterbury/asyoulik.txt auto 0.402655 canterbury/cp.html auto 0.880137 canterbury/fields.c auto 0.886726 canterbury/grammar.lsp auto 0.906208 canterbury/kennedy.xls auto 0.065567 canterbury/lcet10.txt auto 0.319924 canterbury/plrabn12.txt auto 0.389467 canterbury/ptt5 auto 0.106302 canterbury/sum auto 1.000340 canterbury/xargs.1 auto 0.902058

Consilium verdict

WIN (LZ-line step: combined sequence coder — gap к zstd CLOSED)

Next: Ключевой WIN линии: combined sequence coder (zstd-style interleaved literal-length/match-length/offset) убрал per-stream framing → within 9 bytes of zstd-19 на long-range (0.17%). Завершил формат sequences.

Lessons

Урок: подтвердил H-25f re-диагностику (framing, не литералы) — 5335→5211 (−124B), essentially TIED с zstd (5211 vs 5202) на long-range, beating gzip на 25%. Holdout ceiling = local BWT-coder (no LZ helps).

2026-06-24

H-25f

Выделенный literal coder для LZ-остатка

GO

Why it might compress better

Единственная (вместе с H-25i) ещё не добитая ветка семьи — и самая перспективная: литералы составляют основную массу LZ-остатка на тексте и коде, и именно их слабое кодирование — главная причина разрыва к ppmd/brotli на text-файлах LZ-режима. Куда стремиться: полноценный контекстный литеральный кодер — order-1..3 по предыдущим байтам + LZMA matched-literal (предсказание по байту на rep0-дистанции) + выбор контекстной маски по типу данных (text: prev byte; exe: position alignment; db: column p...

Test result

measured · 2026-06-24

lz-rans 12/12 RT=OK. H-25f: 120KB 5359→5335 (−24B, lit_kind=1), 2.5% позади zstd. RT byte-exact.

Per-file measurements (from DB)

overall 0.295504 · 24

silesia/dickens auto 0.332023 silesia/mozilla auto 0.342917 silesia/mr auto 0.330526 silesia/nci auto 0.065497 silesia/ooffice auto 0.482650 silesia/osdb auto 0.321696 silesia/reymont auto 0.255803 silesia/samba auto 0.219338 silesia/sao auto 0.708272 silesia/webster auto 0.249719 silesia/x-ray auto 0.697471 silesia/xml auto 0.101935 enwik8/enwik8 auto 0.313461 canterbury/alice29.txt auto 0.362761 canterbury/asyoulik.txt auto 0.402647 canterbury/cp.html auto 0.880137 canterbury/fields.c auto 0.886726 canterbury/grammar.lsp auto 0.906208 canterbury/kennedy.xls auto 0.065566 canterbury/lcet10.txt auto 0.319922 canterbury/plrabn12.txt auto 0.389465 canterbury/ptt5 auto 0.106300 canterbury/sum auto 1.000340 canterbury/xargs.1 auto 0.902058

Consilium verdict

CLOSED (LZ-line step: dedicated literal coder — marginal)

Next: Валидированный, но marginal шаг (−24B). Re-диагностика: остаток к zstd — LZ FRAMING/sequence overhead, не литералы → закрыто в H-25g. Литеральный residue уже кодировался near-order-0.

Lessons

Урок: H-25e-премиса частично неверна — residue уже кодировался near order-0 entropy cube-путём, лучший литеральный кодер почти нечего дать. Остаток = framing (per-stream token overhead).

2026-06-24

H-25e

Cost-aware / lazy LZ parse (рычаг «optimal parse» из zstd)

Record WIN

Why it might compress better

Lazy/cost-aware парсинг закрыл разрыв «жадный парсер vs zstd». Его логическое продолжение уже отработано в H-25h → H-25j-lite → H-25j-full → H-25i (полный DP optimal parse), поэтому сама H-25e — завершённое звено. Куда стремиться: (а) держать lazy-парсер как быстрый уровень ансамбля (компрессионные уровни по образцу zstd: greedy/lazy/btultra) — это ответ на IW-06 (throughput); (б) точность cost-модели: lazy-решения принимаются по оценке цены токена, и по мере усиления энтропийного слоя (H-25k...

Test result

measured · 2026-06-24

lz-rans 12/12 RT=OK. H-25e: 120KB 5359 vs zstd 5202 (было 33%, стало 3%), holdout 0.2390 unchanged. RT byte-exact.

Per-file measurements (from DB)

overall 0.322905 · 24

silesia/dickens auto 0.361911 silesia/mozilla auto 0.351652 silesia/mr auto 0.524341 silesia/nci auto 0.078511 silesia/ooffice auto 0.501972 silesia/osdb auto 0.347294 silesia/reymont auto 0.264187 silesia/samba auto 0.219980 silesia/sao auto 0.714243 silesia/webster auto 0.271492 silesia/x-ray auto 0.780920 silesia/xml auto 0.106089 enwik8/enwik8 auto 0.345999 canterbury/alice29.txt auto 0.404973 canterbury/asyoulik.txt auto 0.459111 canterbury/cp.html auto 0.880137 canterbury/fields.c auto 0.886726 canterbury/grammar.lsp auto 0.906208 canterbury/kennedy.xls auto 0.121092 canterbury/lcet10.txt auto 0.347350 canterbury/plrabn12.txt auto 0.435673 canterbury/ptt5 auto 0.151426 canterbury/sum auto 1.000340 canterbury/xargs.1 auto 0.902058

Consilium verdict

WIN (LZ-line step: cost-aware/lazy parse — сузил к zstd)

Next: Валидированный шаг. Cost-aware+lazy парс (zstd-рычаг optimal parse) сузил разрыв к zstd с 33% до 3% на long-range (5359 vs 5202). Развитие: literal coder (H-25f), combined seq (H-25g).

Lessons

Урок: главным zstd-рычагом был OPTIMAL/lazy parse, не FSE-vs-rANS — cut matches 2424→16, token_streams 5590→210. Holdout не двигается (нет long-range структуры).

2026-06-24

H-25d

Whole-file LZ pre-pass до чанкинга (контейнер MODE_LZ)

Record WIN

Why it might compress better

MODE_LZ снял главный проигрыш чанкинга — потерю дальних совпадений через границы чанков — и стал контейнером, в котором живёт весь LZ-трек. Направление развития: (а) снять оставшиеся лимиты окна — whole-file означает окно = размер файла, для enwik8 (100MB) и mozilla (51MB) это вопрос памяти и структуры match-finder'а; (б) превратить контейнер в двухслойную схему «LZ pre-pass → специализированный бэкенд для residue»: длинные совпадения снимает LZ, остаток (литеральная масса) уходит не в rANS, ...

Test result

measured · 2026-06-24

lz-rans 12/12 RT=OK. H-25d: 120KB multi-copy 6934 vs gzip 6950 (первый gzip-beat), holdout 0.2390 unchanged. RT byte-exact.

Per-file measurements (from DB)

overall 0.307997 · 24

silesia/dickens auto 0.338207 silesia/mozilla auto 0.372372 silesia/mr auto 0.326780 silesia/nci auto 0.072899 silesia/ooffice auto 0.500240 silesia/osdb auto 0.346308 silesia/reymont auto 0.261540 silesia/samba auto 0.223985 silesia/sao auto 0.740187 silesia/webster auto 0.256937 silesia/x-ray auto 0.634207 silesia/xml auto 0.108181 enwik8/enwik8 auto 0.329019 canterbury/alice29.txt auto 0.366746 canterbury/asyoulik.txt auto 0.410261 canterbury/cp.html auto 0.880137 canterbury/fields.c auto 0.886726 canterbury/grammar.lsp auto 0.906208 canterbury/kennedy.xls auto 0.121216 canterbury/lcet10.txt auto 0.324002 canterbury/plrabn12.txt auto 0.394962 canterbury/ptt5 auto 0.121421 canterbury/sum auto 1.000340 canterbury/xargs.1 auto 0.902058

Consilium verdict

WIN (LZ-line step: MODE_LZ whole-file — первый gzip-beat)

Next: Валидированный архитектурный шаг (MODE_LZ=3 контейнер). Whole-file LZ pre-pass снял 64KB-потолок → первый gzip-beat на long-range (6934 vs 6950). Развитие: cost-aware parse (H-25e).

Lessons

Урок: whole-file LZ бьёт gzip ТОЛЬКО когда данные реально содержат cross-block long-range/duplicate; diverse holdout его не содержит (MODE_LZ selected 0/6). Архитектурный рычаг (контейнер), не value-scheme.

2026-06-24

Hypothesis feed

Repeat-offset-aware cost-optimal LZ parse (к равномерному обгону zstd)

Combined sequence coder для token-потоков MODE_LZ

Выделенный literal coder для LZ-остатка

Cost-aware / lazy LZ parse (рычаг «optimal parse» из zstd)

Whole-file LZ pre-pass до чанкинга (контейнер MODE_LZ)