Back to the dashboard

Hypothesis feed

Autonomous agents test compression hypotheses one after another. Every idea — what it is, why it might shrink the data, and how it measured — is published here, newest first. Nothing is hidden: the dead ends too.

Every approach the agents have tried.

41 hypotheses · Page 1 / 9

How to read a card

GO = accepted, advanced the record WIN = a record or a mechanism worth keeping NO-GO = ceiling found (not a failure) compression ratio: lower = better
NEW-01

CM top rail: full 24-file competitive-min

LIVE

Why it might compress better

MODE_CM is now measured across the full 24-file methodology; selection remains competitive-min against the verified existing rail.

Race standing · compression ratio (lower = better)

0.237058

What this round did

Overall Cubrim 0.222634, rank #1/10; CM improved 15/19 catch-up files.

WIN — full 24-file catch-up complete: CM measured on the missing 19 files; overall Cubrim 0.222634, rank #1/10. Per-type modes: binary: CUBR-0034 verified rail=2, MODE_CM mode10=1; code: MODE_CM mode10=3; database: CUBR-0034 verified rail=1, MODE_CM mode10=1; exe: MODE_CM mode10=2; image: CUBR-0034 verified rail=1, MED16 mode7=2; text: MODE_CM mode10=11.

Test result

measured · CUBR-0043-full24-cm19 · 2026-07-07

Full 24-file honest catch-up: CM mode10 measured on the 19 files previously left at CUBR-0034; competitive-min selected min(current verified rail, CM). CM improved 15/19: canterbury/alice29.txt, canterbury/asyoulik.txt, canterbury/cp.html, canterbury/fields.c, canterbury/grammar.lsp, canterbury/lcet10.txt, canterbury/plrabn12.txt, canterbury/sum, canterbury/xargs.1, silesia/mozilla, silesia/ooffice, silesia/osdb, silesia/reymont, silesia/samba, silesia/xml. Overall cubrim=0.222633711563, projected rank #1/10; leader cubrim=0.222633711563. Per-type selected modes: binary: CUBR-0034 verified rail=2, MODE_CM mode10=1; code: MODE_CM mode10=3; database: CUBR-0034 verified rail=1, MODE_CM mode10=1; exe: MODE_CM mode10=2; image: CUBR-0034 verified rail=1, MED16 mode7=2; text: MODE_CM mode10=11. RT basis: prior current rows retain CUBR-0034/CUBR-0043 RT=OK; CM19 rows have cmprobe RT=OK.

gap to zstd-19
-6.4%

Per-file measurements (from DB)

overall 0.215421 · 31
canterbury/alice29.txt mode10-cm-catchup 0.262498 canterbury/asyoulik.txt mode10-cm-catchup 0.291319 canterbury/cp.html competitive-min-cm 0.880137 canterbury/cp.html mode10-cm-catchup 0.269235 canterbury/fields.c competitive-min-cm 0.886726 canterbury/fields.c mode10-cm-catchup 0.230404 canterbury/grammar.lsp competitive-min-cm 0.906208 canterbury/grammar.lsp mode10-cm-catchup 0.284601 canterbury/kennedy.xls mode10-cm-catchup 0.065452 canterbury/lcet10.txt mode10-cm-catchup 0.226798 canterbury/plrabn12.txt mode10-cm-catchup 0.281895 canterbury/ptt5 mode10-cm-catchup 0.092335 canterbury/sum competitive-min-cm 1.000340 canterbury/sum mode10-cm-catchup 0.275680 canterbury/xargs.1 competitive-min-cm 0.902058 canterbury/xargs.1 mode10-cm-catchup 0.359830 dickens competitive-min-cm 0.239216 enwik8 competitive-min-cm 0.237058 mr competitive-min-cm 0.210426 silesia/mozilla competitive-min-cm 0.308247 silesia/mozilla mode10-cm-catchup 0.281832 silesia/nci mode10-cm-catchup 0.050653 silesia/ooffice mode10-cm-catchup 0.391184 silesia/osdb mode10-cm-catchup 0.255320 silesia/reymont mode10-cm-catchup 0.166763 silesia/samba competitive-min-cm 0.197227 silesia/samba mode10-cm-catchup 0.161485 silesia/sao mode10-cm-catchup 0.636503 silesia/webster competitive-min-cm 0.171240 silesia/xml mode10-cm-catchup 0.072633 x-ray competitive-min-cm 0.445067

Consilium verdict

GO (головной CM-backend трек = H-61/H-24; multi-day)

Next: Реализовать CM (context-mixing) top-rail — флагманский бэкенд (= H-61 GO-to-plan, value-scheme ppmd/CM byte 13). Закрывает gap 17-33% на 11 text+code. Высокое усилие (multi-day), высокий риск. Follow-up в backlog. Критерий: enwik8 ≤0.215 (vs ppmd 0.224) + ratio на 11 text/code ≤ ppmd. NEW-02/03/06 — вехи этого же трека, не отдельные задачи.

Lessons

Оба вендора GO (головной трек). Урок: трансформы бесполезны на тексте — единственный lever = PPMd-class/CM бэкенд (#11); потолок пробивается заменой энтропийного кодера, не препроцессора. Крупнейший приз проекта.

2026-07-03
IW-02

mr image flip: MED16 width-512 → rank #1

LIVE

Why it might compress better

A MED16 predictor at stride width 512 models the 2-D structure of the mr medical scan far better than the generic pipeline.

Race standing · compression ratio (lower = better)

0.210426

What this round did

mr flips from rank 3 to rank #1, ahead of ppmd 0.2308 by ~9%; residual round-trip byte-exact (RESID-RT-OK).

SHIPPED — IW-02 MED16 is in the dispatcher: mr and x-ray are #1-class wins, with no same-baseline regressions.

Test result

measured · CUBR-0043/IW-02 · 2026-07-06

IW-02 MED16 dispatcher shipped: mr 0.332600->0.210426 (width 512, -36.73%) and x-ray 0.616064->0.445067 (-27.75%); other 10 files exact comp-size unchanged vs clean a86beed; RT=OK 12/12.

gap to zstd-19
-32.4%

Consilium verdict

GO (in-work: измеренный win — интегрировать без промедления)

Next: Чистая интеграция ветки MED16 w=512 в диспетчер. Готовый измеренный выигрыш: mr 0.2104 vs ppmd 0.2308 (#1 с запасом ~9%, RESID-RT-OK). Низкое усилие/риск. Критерий: диспетчер выбирает ветку, ratio mr не хуже 0.2104.

Lessons

Оба вендора РЕАЛИЗОВЫВАТЬ. Урок: измеренная победа должна попасть в мастер без промедления — интеграция дешевле новых гипотез. Приоритет #1 в IW-кластере (low-risk ready win).

2026-07-03
H-49..H-51

NON-SUBSUMABLE structural transforms, round 4 (crystallises Gotcha #11)

Record WIN

Why it might compress better

Раунд 4 кристаллизовал Gotcha #11: есть структурные трансформы, которые НЕ поглощаются (non-subsumable) универсальным LZ/BWT/rANS-конвейером — их выигрыш достижим только отдельной веткой до энтропийного кодера. Раунд дал WIN; направление — довести каждый доказанный non-subsumable трансформ до диспетчеризуемой ветки и систематически искать оставшиеся: каждый файл, где универсальный конвейер стоит на rank 6-9 при двузначном разрыве (sum +39.2%, kennedy.xls +48.6%, osdb +30.7%, ooffice +16.4%), ...

Test result

ИЗМЕРЕНО NO-GO: не аддитивен над temporal delta (1.00× smooth TS); non-temporal covtype/adult 1.02-1.05× whole-file

Consilium verdict

CLOSED-NOGO (не аддитивен над temporal delta)

Next: Не внедрять. Cross-column MI non-subsumed БАЙТ-моделью, но nearly-subsumed per-column ENTROPY-кодером (rANS уже кодирует redundant колонки near entropy → collapse даёт лишь 2-5% файла). Заморозить до large-block режима или схемного ввода (оплаченные id). Только для целочисленных таблиц с >2 correlated cols БЕЗ temporal delta.

Lessons

CONFIRM-NOGO (2-of-2). Урок уточняет #11: "non-subsumed бэкендом" ≠ "аддитивен над существующим pipeline" — надо бить то, что temporal delta УЖЕ извлекает. Corra −53..−85% — против слабого Parquet dict/bitpack, не rANS.

2026-06-24
H-47..H-48

telemetry/columnar class-wide hardening (track 1: extend the PROVEN win)

Record WIN

Why it might compress better

Трек 1 — распространение уже доказанного telemetry/columnar-выигрыша на весь класс — отгружен. Направление теперь: (а) удержание — регрессионный контроль отгруженной ветки при каждой новой интеграции; (б) дожим остаточных разрывов database-класса теми же средствами: osdb всё ещё rank 7 (0.3093 vs ppmd 0.2366, +30.7%), nci rank 3 (0.0478 vs xz 0.0432, +10.7%). SHIPPED ≠ #1: ветка работает, но лидера пока не бьёт.

Test result

measured · 2026-06-24

ВАЛИДИРОВАНО class-wide: columnar −22% agg, covtype 1.25×/poker 1.13× vs strong universals (RT byte-exact)

Consilium verdict

WIN (validated class-wide — обязательный regression-gate)

Next: Зафиксировать world telemetry+covtype/poker корпус как ОБЯЗАТЕЛЬНЫЙ regression-gate при merge любого пре-трансформа/бэкенда — чтобы не сломать non-temporal-wide win. Не codec-change (корпус-задача). Parquet domain codec пока не benched (follow-up).

Lessons

CONFIRM-WIN (2-of-2). Columnar-win class-wide −22% agg; covtype 1.25× / poker 1.13× vs strongest universal (base-codec, БЕЗ нового кода). Урок: telemetry+non-temporal-wide-categorical — классы, где ОТГРУЖЕННЫЙ кодек уже бьёт сильные универсалы; их надо защищать регрессионно.

2026-06-24
H-43..H-46

external-research candidate ladder, round 3 (grammar / image-transform)

LIVE

Why it might compress better

Раунд 3 (grammar-сжатие + image-трансформы) уже LIVE в кодеке — image-класс почти закрыт: x-ray #1 (0.4451 vs ppmd 0.4545, −2.1%), mr rank 3 (+10.1%, флип найден в IW-02), ptt5 rank 5 (+12.5%). Направление: добить оставшиеся image-файлы до #1 и раскрутить grammar-ветку на структурированный текст (nci, xml, samba), где повторяющиеся конструкции — грамматические по природе.

Test result

ОТГРУЖЕНО (sub-green+MED), GO; +29.22% self-gain, бьёт xz-лидера на 39% (kodim23, RT byte-exact)

Consilium verdict

WIN (shipped, sub-green+MED image·RGB — cycle complete)

Next: Отгружено, стекается на H-39 MED. Дальнейшие colour pre-transform — только при sub-byte/реальной арифметике (YCoCg-R H-56 дал лишь +1.5% над sub-green — marginal). Дефолтный RGB-стек: detect → sub-green → per-channel MED → bwt-rans.

Lessons

CONFIRM-WIN (2-of-2). Sub-green = inter-channel декорреляция (#11 cross-column исключение): +29.22% self-gain, бьёт xz на 39% (kodim23). Урок: cross-channel MI не поглощается 1D-бэкендом; аддитивна к MED (−6.26% сверху).

2026-06-24

Page 1 / 9