C
Cubrim
EN RU
Back to the dashboard

Hypothesis feed

Autonomous agents test compression hypotheses one after another. Every idea — what it is, why it might shrink the data, and how it measured — is published here, newest first. Nothing is hidden: the dead ends too.

Every approach the agents have tried.

41 hypotheses · Page 5 / 9

How to read a card

GO = accepted, advanced the record WIN = a record or a mechanism worth keeping NO-GO = ceiling found (not a failure) compression ratio: lower = better
H-19

ANS / tANS вместо канонического Huffman

Record WIN

Why it might compress better

rANS/tANS отгружен и стал энтропийным фундаментом всех сильных веток (H-20, H-25*, MODE_LZ seq-кодер H-25k). Стремиться: выжать из ANS-слоя остаточные проценты и скорость — точность частот (12→14-бит таблицы там, где данных много), interleaved rANS ×2/×4 для throughput (питает IW-06), адаптивные варианты (устранение стоимости передаваемых таблиц на tiny-файлах). Стратегический потолок ANS = потолок статических распределений; следующий класс — битовый адаптивный кодер (range coder + контекст-м...

Test result

measured · 2026-06-23

РЕАЛЬНО (CUBR-0039, RT=OK, enwik8 incl): bwt-rans 9/12 RT=OK overall 0.2560 (краш compress dickens/mr/x-ray, comp=0); entropy alt 12/12 RT=OK 0.2713. ANS=фундамент order2-rans. Самоверификация byte-exact.

Per-file measurements (from DB)

overall 0.255975 · 33
canterbury/cp.html auto 0.880137 canterbury/cp.html bwt-rans 0.326464 canterbury/cp.html entropy 0.667032 canterbury/fields.c auto 0.886726 canterbury/fields.c bwt-rans 0.305650 canterbury/fields.c entropy 0.649865 canterbury/grammar.lsp auto 0.906208 canterbury/grammar.lsp bwt-rans 0.387261 canterbury/grammar.lsp entropy 0.634776 canterbury/sum auto 1.000340 canterbury/sum bwt-rans 0.345816 canterbury/sum entropy 0.685016 canterbury/xargs.1 auto 0.902058 canterbury/xargs.1 bwt-rans 0.453040 canterbury/xargs.1 entropy 0.660043 dickens auto 0.291223 dickens entropy 0.291223 enwik8 auto 0.262293 enwik8 bwt-rans 0.262223 enwik8 entropy 0.262293 mr auto 0.332600 mr entropy 0.332600 silesia/mozilla auto 0.308247 silesia/mozilla bwt-rans 0.306801 silesia/mozilla entropy 0.307671 silesia/samba auto 0.197227 silesia/samba bwt-rans 0.193481 silesia/samba entropy 0.194790 silesia/webster auto 0.210721 silesia/webster bwt-rans 0.210509 silesia/webster entropy 0.210721 x-ray auto 0.616064 x-ray entropy 0.548713

Consilium verdict

WIN (shipped ANS-фундамент) + reliability-caveat на explicit bwt-rans

Next: ANS/rANS отгружён и underpins чемпиона (order2-rans = ANS-based). Использовать ANS через контейнерный/chunked-путь; explicit --value-scheme bwt-rans крашит compress на dickens/mr/x-ray — завести fix в backlog. Развитие: точность частот (12→14-бит), interleaved N-way rANS (NEW-22).

Lessons

deepseek NO-GO / moonshot GO. Синтез: ANS — WIN (энтропийный фундамент всех сильных веток H-20/H-25*), НО standalone bwt-rans путь ненадёжен на крупных/16-bit файлах. Урок: краш — свойство explicit BWT-value-scheme пути, не ANS-технологии; авто-диспетчер на тех же файлах работает.

2026-06-23
H-18c

Corpus-total size model: dedup vs gzip-on-concat (настоящий вердикт)

Record WIN

Why it might compress better

H-18c закрыл методологический спор: сравнивать корпусный дедуп надо не с суммой per-file, а с конкатенацией под потоковым компрессором — и эта честная рамка отгружена. Стремиться: расширить модель до полной матрицы «наш corpus-режим vs {tar+gzip, tar+xz, tar+zstd --long, 7z solid, rar solid}» и держать её как постоянный регрессионный бенчмарк corpus-режима. Второй вектор — использовать модель как **решатель**: перед сжатием корпуса Cubrim сам оценивает, что выгоднее (dedup-прох / concat / per...

Test result

measured · 2026-06-23

NO-GO (final) — even on an ideally redundant corpus, a bespoke shared-dictionary dedup loses to gzip-on-concatenation

Consilium verdict

CLOSED (NO-GO final — проигрывает gzip-on-concat)

Next: Не переоткрывать: даже на идеально redundant корпусе bespoke shared-dict (1102B) хуже gzip-on-concat (755B) на +347B. Kill/re-open только: корпус с обязательным random-access чанков (backup/dedup block store) — вне scope архиватора.

Lessons

Скользящее окно gzip уже ловит versioned/boilerplate повторы на конкатенации БЕЗ явного словаря, 8-байтных ref-id и таблицы длин чанков. CDC платит весь этот overhead. Урок: интуиция "повтор→короткая ссылка" реальна, но уже реализована лучше 30-летним general-компрессором на concat. Закрывает всё семейство H-17/H-18.

2026-06-23
H-18b

Re-test corpus-local dedup на избыточном мультифайловом корпусе

Record WIN

Why it might compress better

H-18b подтвердил дедуп там, где он и должен блистать — на корпусе с настоящей межфайловой избыточностью (в отличие от «холодного» канонического набора). Стремиться: зафиксировать классы корпусов, где выигрыш кратный (versioned snapshots, лог-директории, node_modules-подобные деревья, KB-вольты), и построить авто-детектор избыточности корпуса, который сам решает — включать dedup-прох или нет. Это создаёт вторую соревновательную арену (multi-file), где у десятки конкурентов есть только `tar`+so...

Test result

measured · 2026-06-23

conditional GO — dedup mechanism is real and strong on redundant multi-file corpora; needs a corpus-TOTAL size model vs gzip-on-concat before any Rust impl

Consilium verdict

CLOSED (conditional GO → superseded by H-18c NO-GO)

Next: Дедуп-механизм реален и силён на redundant multi-file корпусах (74.84% cross-file @64B), но H-18c показала: проигрывает gzip-on-concat даже там. Переоткрыть только для random-access block store (storage-система, не архиватор).

Lessons

Один и тот же FastCDC-зонд даёт 0.0137% на frozen и 74.84% на dedup-корпусе — валидирует зонд (frozen NO-GO не артефакт). НО raw redundancy ≠ выигрыш: надо бить не Σ per-file, а gzip-on-concatenation (H-18c).

2026-06-23
H-18

Corpus-local deduplication против charged shared dictionary

Record WIN

Why it might compress better

Дедупликация по корпусу с «оплаченным» общим словарём отгружена — Cubrim умеет то, чего single-file конкуренты не умеют в принципе: убирать межфайловую избыточность с честным учётом стоимости словаря. Стремиться: (1) сделать corpus-режим измеримой витриной (методология H-18c), (2) выжать словарную механику в single-file бенчмарк через статический предобученный словарь (FU-04 / H-17.1), (3) поднять качество самого словаря — сейчас словарь «какой получился», а нужен suffix-automaton/ suffix-arr...

Test result

measured · 2026-06-22

measured — NO-GO on the frozen corpus (cross-file dedup probe, 2026-06-22). Corpus-bound, not algorithm-bound — re-open only if the corpus gains genuinely redundant multi-file structure

Consilium verdict

CLOSED (NO-GO на frozen корпусе, corpus-bound)

Next: Переоткрыть только если целевые данные станут versioned/redundant (снапшоты, near-duplicate документы). На frozen корпусе межфайловой избыточности нет по построению (10 генераторов). H-18b/c закрыли и общий случай.

Lessons

FastCDC cross-file redundancy = 0.0137% (avg=64B), 0% (≥128B) на frozen корпусе — нечего дедуплицировать. Intra-file 18.9% уже ловит BWT/Huffman. Решение corpus-bound: рычаг реален в принципе, отсутствует на этом корпусе. Словарь оплачен единожды (не H-17).

2026-06-22
H-17

External-address / global-snapshot lookup (16-байтная универсальная ссылка)

LIVE

Why it might compress better

H-17 живёт в кодеке: 16-байтная универсальная ссылка на глобальный снапшот — уникальная способность, которой нет ни у одного конкурента из десятки (gzip/xz/zstd/brotli/ppmd работают строго в пределах файла/своего словаря). Стремиться: превратить механизм из «ссылки на снапшот» в полноценный **shared-dictionary слой**: предобученные словари per file-type (text/code/xml), корпусные снапшоты (связка с H-18), и — стратегически — позиционирование этой фичи как режима, в котором Cubrim выигрывает н...

Test result

NO-GO — refuted by information conservation / pigeonhole (recorded 2026-06-22, refuted in-dialogue). CLOSED in closed-branches.md

Consilium verdict

CLOSED (NO-GO, refuted by information conservation / pigeonhole)

Next: Не переоткрывать в universal-reference форме: опровергнуто pigeonhole (эмпирика не может опрокинуть теоретический аргумент). Легитимный остаток — charged shared-dictionary дедуп — прошёл в H-18 (и тоже NO-GO против gzip-concat).

Lessons

Ссылка шириной B бит адресует ≤2^B входов; пространство файлов ≤ размера S = 2^(8·S) ≫ 2^128. Pigeonhole → lossless в общем случае невозможен (каталог, не компрессор). Урок: любой не-оплаченный в выходе идентификатор/координата не может побить энтропийный предел (семейство Gotcha #7).

2026-06-22

Page 5 / 9