Cubrim — Universal Compression

H-53

H-53 - LiDAR Morton-order reordering

NO-GO

Why it might compress better

H-53 - LiDAR Morton-order reordering

Test result

measured · CUBR-0046 E1d full24 history replay · 2026-07-15

Full 24-file dev-ai replay at exact commit 13f1e858b637e4d102a140e4ae1aedcc4480d5ca; mode auto; RT=OK/cmp=0 on 24/24; world aggregate 0.2590905823085317. The hypothesis commit shipped no codec change, so this measures its actual inherited codec snapshot without attributing the hypothesis-specific transform effect.

Per-file measurements (from DB)

overall 0.259091 · 24

silesia/dickens auto 0.291223 silesia/mozilla auto 0.308247 silesia/mr auto 0.332600 silesia/nci auto 0.047821 silesia/ooffice auto 0.436255 silesia/osdb auto 0.314538 silesia/reymont auto 0.215835 silesia/samba auto 0.197227 silesia/sao auto 0.695309 silesia/webster auto 0.210721 silesia/x-ray auto 0.616064 silesia/xml auto 0.092180 enwik8/enwik8 auto 0.262293 canterbury/alice29.txt auto 0.345094 canterbury/asyoulik.txt auto 0.384002 canterbury/cp.html auto 0.880137 canterbury/fields.c auto 0.886726 canterbury/grammar.lsp auto 0.906208 canterbury/kennedy.xls auto 0.069518 canterbury/lcet10.txt auto 0.299475 canterbury/plrabn12.txt auto 0.366135 canterbury/ptt5 auto 0.094216 canterbury/sum auto 1.000340 canterbury/xargs.1 auto 0.902058

2026-06-26

H-52

VCF genotype-matrix PBWT transform

GO

Why it might compress better

VCF genotype-matrix PBWT transform

Test result

measured · CUBR-0046-E1c full24 history replay · 2026-07-12

Full 24-file replay on dev-ai at commit c6f2c36; RT=OK/cmp=0 on 24/24; world aggregate 0.259090582308532. Class-specific VCF transform does not engage on the world corpus files.

Per-file measurements (from DB)

overall 0.259091 · 24

silesia/dickens auto 0.291223 silesia/mozilla auto 0.308247 silesia/mr auto 0.332600 silesia/nci auto 0.047821 silesia/ooffice auto 0.436255 silesia/osdb auto 0.314538 silesia/reymont auto 0.215835 silesia/samba auto 0.197227 silesia/sao auto 0.695309 silesia/webster auto 0.210721 silesia/x-ray auto 0.616064 silesia/xml auto 0.092180 enwik8/enwik8 auto 0.262293 canterbury/alice29.txt auto 0.345094 canterbury/asyoulik.txt auto 0.384002 canterbury/cp.html auto 0.880137 canterbury/fields.c auto 0.886726 canterbury/grammar.lsp auto 0.906208 canterbury/kennedy.xls auto 0.069518 canterbury/lcet10.txt auto 0.299475 canterbury/plrabn12.txt auto 0.366135 canterbury/ptt5 auto 0.094216 canterbury/sum auto 1.000340 canterbury/xargs.1 auto 0.902058

2026-06-26

H-49..H-51

NON-SUBSUMABLE structural transforms, round 4 (crystallises Gotcha #11)

Record WIN

Why it might compress better

Раунд 4 кристаллизовал Gotcha #11: есть структурные трансформы, которые НЕ поглощаются (non-subsumable) универсальным LZ/BWT/rANS-конвейером — их выигрыш достижим только отдельной веткой до энтропийного кодера. Раунд дал WIN; направление — довести каждый доказанный non-subsumable трансформ до диспетчеризуемой ветки и систематически искать оставшиеся: каждый файл, где универсальный конвейер стоит на rank 6-9 при двузначном разрыве (sum +39.2%, kennedy.xls +48.6%, osdb +30.7%, ooffice +16.4%), ...

Test result

ИЗМЕРЕНО NO-GO: не аддитивен над temporal delta (1.00× smooth TS); non-temporal covtype/adult 1.02-1.05× whole-file

Per-file measurements (from DB)

overall 0.259091 · 24

silesia/dickens auto 0.291223 silesia/mozilla auto 0.308247 silesia/mr auto 0.332600 silesia/nci auto 0.047821 silesia/ooffice auto 0.436255 silesia/osdb auto 0.314538 silesia/reymont auto 0.215835 silesia/samba auto 0.197227 silesia/sao auto 0.695309 silesia/webster auto 0.210721 silesia/x-ray auto 0.616064 silesia/xml auto 0.092180 enwik8/enwik8 auto 0.262293 canterbury/alice29.txt auto 0.345094 canterbury/asyoulik.txt auto 0.384002 canterbury/cp.html auto 0.880137 canterbury/fields.c auto 0.886726 canterbury/grammar.lsp auto 0.906208 canterbury/kennedy.xls auto 0.069518 canterbury/lcet10.txt auto 0.299475 canterbury/plrabn12.txt auto 0.366135 canterbury/ptt5 auto 0.094216 canterbury/sum auto 1.000340 canterbury/xargs.1 auto 0.902058

Consilium verdict

CLOSED-NOGO (не аддитивен над temporal delta)

Next: Не внедрять. Cross-column MI non-subsumed БАЙТ-моделью, но nearly-subsumed per-column ENTROPY-кодером (rANS уже кодирует redundant колонки near entropy → collapse даёт лишь 2-5% файла). Заморозить до large-block режима или схемного ввода (оплаченные id). Только для целочисленных таблиц с >2 correlated cols БЕЗ temporal delta.

Lessons

CONFIRM-NOGO (2-of-2). Урок уточняет #11: "non-subsumed бэкендом" ≠ "аддитивен над существующим pipeline" — надо бить то, что temporal delta УЖЕ извлекает. Corra −53..−85% — против слабого Parquet dict/bitpack, не rANS.

2026-06-24

H-47..H-48

telemetry/columnar class-wide hardening (track 1: extend the PROVEN win)

Record WIN

Why it might compress better

Трек 1 — распространение уже доказанного telemetry/columnar-выигрыша на весь класс — отгружен. Направление теперь: (а) удержание — регрессионный контроль отгруженной ветки при каждой новой интеграции; (б) дожим остаточных разрывов database-класса теми же средствами: osdb всё ещё rank 7 (0.3093 vs ppmd 0.2366, +30.7%), nci rank 3 (0.0478 vs xz 0.0432, +10.7%). SHIPPED ≠ #1: ветка работает, но лидера пока не бьёт.

Test result

measured · 2026-06-24

ВАЛИДИРОВАНО class-wide: columnar −22% agg, covtype 1.25×/poker 1.13× vs strong universals (RT byte-exact)

Per-file measurements (from DB)

overall 0.259091 · 24

silesia/dickens auto 0.291223 silesia/mozilla auto 0.308247 silesia/mr auto 0.332600 silesia/nci auto 0.047821 silesia/ooffice auto 0.436255 silesia/osdb auto 0.314538 silesia/reymont auto 0.215835 silesia/samba auto 0.197227 silesia/sao auto 0.695309 silesia/webster auto 0.210721 silesia/x-ray auto 0.616064 silesia/xml auto 0.092180 enwik8/enwik8 auto 0.262293 canterbury/alice29.txt auto 0.345094 canterbury/asyoulik.txt auto 0.384002 canterbury/cp.html auto 0.880137 canterbury/fields.c auto 0.886726 canterbury/grammar.lsp auto 0.906208 canterbury/kennedy.xls auto 0.069518 canterbury/lcet10.txt auto 0.299475 canterbury/plrabn12.txt auto 0.366135 canterbury/ptt5 auto 0.094216 canterbury/sum auto 1.000340 canterbury/xargs.1 auto 0.902058

Consilium verdict

WIN (validated class-wide — обязательный regression-gate)

Next: Зафиксировать world telemetry+covtype/poker корпус как ОБЯЗАТЕЛЬНЫЙ regression-gate при merge любого пре-трансформа/бэкенда — чтобы не сломать non-temporal-wide win. Не codec-change (корпус-задача). Parquet domain codec пока не benched (follow-up).

Lessons

CONFIRM-WIN (2-of-2). Columnar-win class-wide −22% agg; covtype 1.25× / poker 1.13× vs strongest universal (base-codec, БЕЗ нового кода). Урок: telemetry+non-temporal-wide-categorical — классы, где ОТГРУЖЕННЫЙ кодек уже бьёт сильные универсалы; их надо защищать регрессионно.

2026-06-24

H-43..H-46

external-research candidate ladder, round 3 (grammar / image-transform)

LIVE

Why it might compress better

Раунд 3 (grammar-сжатие + image-трансформы) уже LIVE в кодеке — image-класс почти закрыт: x-ray #1 (0.4451 vs ppmd 0.4545, −2.1%), mr rank 3 (+10.1%, флип найден в IW-02), ptt5 rank 5 (+12.5%). Направление: добить оставшиеся image-файлы до #1 и раскрутить grammar-ветку на структурированный текст (nci, xml, samba), где повторяющиеся конструкции — грамматические по природе.

Test result

ОТГРУЖЕНО (sub-green+MED), GO; +29.22% self-gain, бьёт xz-лидера на 39% (kodim23, RT byte-exact)

Per-file measurements (from DB)

overall 0.259091 · 24

silesia/dickens auto 0.291223 silesia/mozilla auto 0.308247 silesia/mr auto 0.332600 silesia/nci auto 0.047821 silesia/ooffice auto 0.436255 silesia/osdb auto 0.314538 silesia/reymont auto 0.215835 silesia/samba auto 0.197227 silesia/sao auto 0.695309 silesia/webster auto 0.210721 silesia/x-ray auto 0.616064 silesia/xml auto 0.092180 enwik8/enwik8 auto 0.262293 canterbury/alice29.txt auto 0.345094 canterbury/asyoulik.txt auto 0.384002 canterbury/cp.html auto 0.880137 canterbury/fields.c auto 0.886726 canterbury/grammar.lsp auto 0.906208 canterbury/kennedy.xls auto 0.069518 canterbury/lcet10.txt auto 0.299475 canterbury/plrabn12.txt auto 0.366135 canterbury/ptt5 auto 0.094216 canterbury/sum auto 1.000340 canterbury/xargs.1 auto 0.902058

Consilium verdict

WIN (shipped, sub-green+MED image·RGB — cycle complete)

Next: Отгружено, стекается на H-39 MED. Дальнейшие colour pre-transform — только при sub-byte/реальной арифметике (YCoCg-R H-56 дал лишь +1.5% над sub-green — marginal). Дефолтный RGB-стек: detect → sub-green → per-channel MED → bwt-rans.

Lessons

CONFIRM-WIN (2-of-2). Sub-green = inter-channel декорреляция (#11 cross-column исключение): +29.22% self-gain, бьёт xz на 39% (kodim23). Урок: cross-channel MI не поглощается 1D-бэкендом; аддитивна к MED (−6.26% сверху).

2026-06-24

Hypothesis feed

H-53 - LiDAR Morton-order reordering

VCF genotype-matrix PBWT transform

NON-SUBSUMABLE structural transforms, round 4 (crystallises Gotcha #11)

telemetry/columnar class-wide hardening (track 1: extend the PROVEN win)

external-research candidate ladder, round 3 (grammar / image-transform)