Cubrim — Universal Compression

IW-04

PPMd-класс context backend для text (11 файлов, ~25% к ppmd) — research

Record WIN

Why it might compress better

Крупнейший совокупный приз корпуса: text — 11 файлов, лидер ppmd на всех, разрывы 12.6-33.4% (webster +33.4, plrabn12 +32.2, lcet10 +31.0, dickens +28.8, alice29 +27.5, reymont +24.0, cp.html +20.0, asyoulik +19.9, enwik8 +17.0, xml +12.6, xargs.1 +30.8 к brotli). Метрика overall — size-weighted, enwik8 (100MB) доминирует: паритет с ppmd только на enwik8 (0.2622 → 0.2240) сдвигает overall с 0.2492 к ~0.245 и с rank 6 в сторону топ-3. Цель — контекстный backend PPMd/CM-класса как ветка ансамбл...

Test result

measured · CUBR-0064-full24-cm2-retained-min · 2026-07-22

Validated full24 strict per-file retained-min at 6eaefad7e165cd74f7d660aeb6d0828bfbe12c41: 24/24 real CLI encode+decode rc=0 and external cmp=0; 15 new rows + 9 retained verified live rows. Weighted ratios: text=0.17693132733728506, exe=0.2481901139274113, binary=0.4656539095049861, code=0.14534561821088132, database=0.08872319610228702, image=0.3119487161633968. All six types rank #1. CLI sha256=e3da2f33ef7e9f0cfb4e07c4dbe4b406ba00ab17d8b9c40bf3aeb21abd1a546a.

Consilium verdict

GO via backend/CM трек (H-61/NEW-01); multi-day

Next: Реализовать в рамках PPMd-class/CM бэкенда (H-61 GO-to-plan) + больший BWT-блок (FU-01). Крупнейший совокупный приз: text 11 файлов, разрывы 12.6-33.4% vs ppmd. Высокое усилие/риск (архитектурная смена бэкенда). Критерий: дельта с ppmd снижается на 11-файловом text-корпусе.

Lessons

The strong-CM text backend is validated on the authoritative full24 corpus; text reaches first place under the sanctioned per-file competitive-min method.

2026-07-03

IW-02

mr image flip: MED16 width-512 → rank #1

LIVE

Why it might compress better

A MED16 predictor at stride width 512 models the 2-D structure of the mr medical scan far better than the generic pipeline.

Race standing · compression ratio (lower = better)

0.207765

What this round did

mr flips from rank 3 to rank #1, ahead of ppmd 0.2308 by ~9%; residual round-trip byte-exact (RESID-RT-OK).

SHIPPED — IW-02 MED16 is in the dispatcher: mr and x-ray are #1-class wins, with no same-baseline regressions.

Test result

measured · CUBR-0043/IW-02 · 2026-07-06

IW-02 MED16 dispatcher shipped: mr 0.332600->0.210426 (width 512, -36.73%) and x-ray 0.616064->0.445067 (-27.75%); other 10 files exact comp-size unchanged vs clean a86beed; RT=OK 12/12.

gap to zstd-19

-33.3%

Per-file measurements (from DB)

overall 0.259091 · 24

silesia/dickens auto 0.291223 silesia/mozilla auto 0.308247 silesia/mr auto 0.332600 silesia/nci auto 0.047821 silesia/ooffice auto 0.436255 silesia/osdb auto 0.314538 silesia/reymont auto 0.215835 silesia/samba auto 0.197227 silesia/sao auto 0.695309 silesia/webster auto 0.210721 silesia/x-ray auto 0.616064 silesia/xml auto 0.092180 enwik8/enwik8 auto 0.262293 canterbury/alice29.txt auto 0.345094 canterbury/asyoulik.txt auto 0.384002 canterbury/cp.html auto 0.880137 canterbury/fields.c auto 0.886726 canterbury/grammar.lsp auto 0.906208 canterbury/kennedy.xls auto 0.069518 canterbury/lcet10.txt auto 0.299475 canterbury/plrabn12.txt auto 0.366135 canterbury/ptt5 auto 0.094216 canterbury/sum auto 1.000340 canterbury/xargs.1 auto 0.902058

Consilium verdict

GO (in-work: измеренный win — интегрировать без промедления)

Next: Чистая интеграция ветки MED16 w=512 в диспетчер. Готовый измеренный выигрыш: mr 0.2104 vs ppmd 0.2308 (#1 с запасом ~9%, RESID-RT-OK). Низкое усилие/риск. Критерий: диспетчер выбирает ветку, ratio mr не хуже 0.2104.

Lessons

Оба вендора РЕАЛИЗОВЫВАТЬ. Урок: измеренная победа должна попасть в мастер без промедления — интеграция дешевле новых гипотез. Приоритет #1 в IW-кластере (low-risk ready win).

2026-07-03

FU-01

H-62: u16→u32 BWT primary_index (крупный BWT-блок)

NO-GO

Why it might compress better

Снять формато-обусловленный потолок BWT-блока 64K (primary_index хранится как u16) и открыть ladder размеров блока 256K / 1M / 4M. Цель — чтобы bwt-rans-ветка на тексте работала с блоками того же порядка, что bzip2 (900K) и больше: у BWT качество контекстной сортировки растёт с блоком, а сейчас CHUNKED-режим режет текст на 64K-куски и теряет кросс-блочный контекст.

Test result

measured · CUBR-0046 full24 dev-ai replay · 2026-07-16

full24 dev-ai 2026-07-16: competitive-min(auto,largebwt-256k,largebwt-1m) aggregate 0.2356405396898594 (24/24 RT=OK cmp=0); conservative rank overlay: 0 per-file wins vs live rail 0.22270749319769523; target subset (plrabn12/alice29/asyoulik/webster) also lost earlier same-day; large-BWT path won only intra-candidate on 4 tiny canterbury files. NO-GO

Per-file measurements (from DB)

overall 0.235641 · 24

silesia/dickens auto 0.239216 silesia/mozilla auto 0.308247 silesia/mr auto 0.210426 silesia/nci auto 0.047821 silesia/ooffice auto 0.436255 silesia/osdb auto 0.314538 silesia/reymont auto 0.215835 silesia/samba auto 0.197227 silesia/sao auto 0.695309 silesia/webster auto 0.171240 silesia/x-ray auto 0.445067 silesia/xml auto 0.092180 enwik8/enwik8 auto 0.237058 canterbury/alice29.txt auto 0.345094 canterbury/asyoulik.txt auto 0.384002 canterbury/cp.html largebwt-262144 0.575052 canterbury/fields.c largebwt-262144 0.604484 canterbury/grammar.lsp largebwt-262144 0.854609 canterbury/kennedy.xls auto 0.069518 canterbury/lcet10.txt auto 0.299475 canterbury/plrabn12.txt auto 0.366135 canterbury/ptt5 auto 0.094216 canterbury/sum largebwt-262144 0.675968 canterbury/xargs.1 auto 0.902058

Consilium verdict

GO (2-of-2: u32-block — ключевой text-lever)

Next: Реализовать primary_index u16→u32 + ladder блоков 256K/1M/4M. H-62/H-65 доказали: cub<bzip2 gap = ЧИСТО размер блока (не алгоритм). Готовит почву под PPMd-backend (H-61). Follow-up в backlog. Критерий: монотонное сокращение gap к bzip2 на text при росте блока, нулевая регрессия rail 0-13. Caveat: O(n log n) SA-cost на больших блоках (perf, ср. IW-06).

Lessons

Оба вендора GO. Урок: форматный потолок (u16 primary_index) искусственно ограничивал алгоритмический потенциал бэкенда — не алгоритм, не пре-трансформ. Highest-ROI intermediate перед полным PPMd (H-61).

2026-07-03

H-65

H-65 - BWT block-size model on text

GO

Why it might compress better

H-65 - BWT block-size model on text

Test result

measured · CUBR-0046 E1e shared-snapshot full24 replay · 2026-07-15

Full 24-file dev-ai replay at exact inherited snapshot 422726d70086e6405187960562f02e45a6a82ae8; mode auto; RT=OK/cmp=0 on 24/24; world aggregate 0.2590905823085317; shared_run_id=E1e-H56-H65-code-snapshot-422726d. The report-only hypothesis did not ship a distinct codec implementation, so this measures the actual shared code snapshot without fabricating a per-card transform effect.

Per-file measurements (from DB)

overall 0.259091 · 24

silesia/dickens auto 0.291223 silesia/mozilla auto 0.308247 silesia/mr auto 0.332600 silesia/nci auto 0.047821 silesia/ooffice auto 0.436255 silesia/osdb auto 0.314538 silesia/reymont auto 0.215835 silesia/samba auto 0.197227 silesia/sao auto 0.695309 silesia/webster auto 0.210721 silesia/x-ray auto 0.616064 silesia/xml auto 0.092180 enwik8/enwik8 auto 0.262293 canterbury/alice29.txt auto 0.345094 canterbury/asyoulik.txt auto 0.384002 canterbury/cp.html auto 0.880137 canterbury/fields.c auto 0.886726 canterbury/grammar.lsp auto 0.906208 canterbury/kennedy.xls auto 0.069518 canterbury/lcet10.txt auto 0.299475 canterbury/plrabn12.txt auto 0.366135 canterbury/ptt5 auto 0.094216 canterbury/sum auto 1.000340 canterbury/xargs.1 auto 0.902058

2026-06-26

H-64

H-64 - RISC-V BCJ (JAL)

GO

Why it might compress better

H-64 - RISC-V BCJ (JAL)

Test result

measured · CUBR-0046 E1e shared-snapshot full24 replay · 2026-07-15

Full 24-file dev-ai replay at exact inherited snapshot 422726d70086e6405187960562f02e45a6a82ae8; mode auto; RT=OK/cmp=0 on 24/24; world aggregate 0.2590905823085317; shared_run_id=E1e-H56-H65-code-snapshot-422726d. The report-only hypothesis did not ship a distinct codec implementation, so this measures the actual shared code snapshot without fabricating a per-card transform effect.

Per-file measurements (from DB)

overall 0.259091 · 24

silesia/dickens auto 0.291223 silesia/mozilla auto 0.308247 silesia/mr auto 0.332600 silesia/nci auto 0.047821 silesia/ooffice auto 0.436255 silesia/osdb auto 0.314538 silesia/reymont auto 0.215835 silesia/samba auto 0.197227 silesia/sao auto 0.695309 silesia/webster auto 0.210721 silesia/x-ray auto 0.616064 silesia/xml auto 0.092180 enwik8/enwik8 auto 0.262293 canterbury/alice29.txt auto 0.345094 canterbury/asyoulik.txt auto 0.384002 canterbury/cp.html auto 0.880137 canterbury/fields.c auto 0.886726 canterbury/grammar.lsp auto 0.906208 canterbury/kennedy.xls auto 0.069518 canterbury/lcet10.txt auto 0.299475 canterbury/plrabn12.txt auto 0.366135 canterbury/ptt5 auto 0.094216 canterbury/sum auto 1.000340 canterbury/xargs.1 auto 0.902058

2026-06-26

Hypothesis feed

PPMd-класс context backend для text (11 файлов, ~25% к ppmd) — research

mr image flip: MED16 width-512 → rank #1

H-62: u16→u32 BWT primary_index (крупный BWT-блок)

H-65 - BWT block-size model on text

H-64 - RISC-V BCJ (JAL)