Cubrim — Universal Compression

H-06

Run-кодирование карты = чистый RLE

GO

Why it might compress better

Чистый RLE — проверенный минимум; следующий уровень — кодировать сами длины прогонов энтропийно, как bzip2 (RUNA/RUNB) или сparse-битмапой. Карта расстояний в плотных кубах почти константна → прогоны длинные, но их длины сейчас лежат «как есть». Стремиться: RLE-выход как ещё один поток под o2-rANS (H-20), а не как терминальный формат.

Test result

measured · CUBR-0004 · 2026-06-17

At ρ=1 the gap distribution is all-1 → RLE encodes as single run of 256 gaps of value 1 = 4 bytes per axis stream. Gap map overhead per axis = 4B / 65536 points = negligible. fraction(gap=1)=1.0, mean run-length=448 (corpus aggregate). This

Per-file measurements (from DB)

overall 0.257036 · 9

canterbury/cp.html rle-codes 1.000528 canterbury/fields.c rle-codes 1.001166 canterbury/grammar.lsp rle-codes 1.003494 canterbury/sum rle-codes 1.000340 canterbury/xargs.1 rle-codes 1.003075 enwik8 rle-codes 0.262293 silesia/mozilla rle-codes 0.308247 silesia/samba rle-codes 0.197349 silesia/webster rle-codes 0.210721

Consilium verdict

CLOSED (cycle complete, historical CUBR-0004)

Next: Следующий уровень RLE — энтропийно кодировать сами длины прогонов (bzip2 RUNA/RUNB) или sparse-битмапой. Но карта вне критического пути на больших файлах; приоритет низкий.

Lessons

При ρ=1 gap-распределение = всё-1 → RLE кодирует единственным прогоном (4B/axis) — лучший возможный случай для RLE. Golomb/ANS-челленджеры дали бы то же самое; сравнение неизмеримо на плотном кубе, требует sparse ρ<0.3.

2026-06-17

H-05

Семантика gap: sentinel −1, `gap=1` = ноль пропусков

CLOSED

Why it might compress better

Гипотеза закрыта: семантика gap зафиксирована в формате и споров не вызывает. Лучший вклад в #1 — не тратить сюда усилия. Единственное направление, в котором тему стоит держать в поле зрения, — стоимость представления sentinel/gap в битах на tiny-файлах, где каждый служебный байт заметен в ratio (xargs.1 ~4KB при ratio 0.4530 vs brotli 0.3463: десяток служебных байт ≈ 0.2–0.3 п.п. ratio).

Test result

measured · CUBR-0004 · 2026-06-17

CONFIRMED as hard invariant. 9 round-trip tests pass including the R3.1 worked example {0,3,7}→D=(1,3,4)→{0,3,7}. 9 gap-invariant tests pass (gap=0 raises, gap>b_k raises, non-monotone raises). Sentinel=-1 start verified by unit tests. Stat

Consilium verdict

CLOSED (cycle complete, historical CUBR-0004 — hard invariant)

Next: Не переоткрывать: семантика gap зафиксирована в формате как hard-инвариант, споров не вызывает. Единственное поле зрения — стоимость представления sentinel/gap в битах, и то она вне критического пути.

Lessons

Семантика gap (sentinel=-1, gap=1=ноль пропусков) — детерминированный hard-инвариант, а не falsifiable-default: при провале чинится реализация, не заменяется гипотеза. 9 round-trip + 9 gap-invariant тестов зелёные (worked-пример {0,3,7}→D=(1,3,4)).

2026-06-17

H-04

Раскладка карты расстояний = `N` потоков по осям

CLOSED

Why it might compress better

Раскладка по осям — разумный baseline: каждая ось имеет свою статистику, раздельные потоки дают чистые распределения для энтропийного кодера. Дальнейший рост — не в перекладке потоков (H-11 это уже мерил), а в том, чтобы каждый осевой поток получил собственную контекстную модель уровня H-20 (o2-rANS) и собственные трансформы (RLE H-06, BWT H-13/H-16). Стремиться: карта расстояний как первоклассный гражданин конвейера, а не сырой сайд-канал.

Test result

measured · CUBR-0004 · 2026-06-17

N=2 per-axis streams used. At ρ=1 each axis has 256 unique coords. Gap map = 256 gaps of value 1 per axis → RLE encodes as 1 pair per axis (value=1, run=256). N-streams overhead = N×4B RLE pairs = 8B per axis set. Interleaved layout would g

Consilium verdict

CLOSED (cycle complete, historical CUBR-0004)

Next: Развитие не в перекладке потоков (H-11 измерил — не окупилось на слабом кодере), а в усилении осевого энтропийника. Карта расстояний вне критического пути на больших файлах (LZ/CHUNKED режимы).

Lessons

N-streams (per-axis) раскладка карты работает; при ρ=1 накладные расходы карты ничтожны (8B/axis, ~0.0001 bit/point). Интерливинг-челленджер (H-11) не окупился в эпоху канонического Huffman.

2026-06-17

H-03

Граница ребра `B` = 256 (степень двойки)

CLOSED

Why it might compress better

B=256 удобен (байт = координата), но произволен. IW-01/IW-02 уже доказали ценность лестницы ширин на образах: MED16 w=512 флипает mr в 0.2104 против ppmd 0.2308 — то есть «правильная геометрия важнее правильного кодера». Стремиться: B — параметр на файл/чанк, выбираемый детектором периода либо лестницей за competitive-min; отдельно — отвязать B от степени двойки, когда данные диктуют длину записи.

Test result

measured · CUBR-0004 · 2026-06-17

B=256 confirmed in use. At ρ=1 (full density), b_k=256=B for all axes — invariant holds. Unique axis coords = 256 per axis. H-03 not independently testable at ρ=1 (all values of B give same gap distribution). Status: `not_measured independe

Consilium verdict

CLOSED-MEASURED (B=256 baseline; next=диспетчерская лестница ширин)

Next: Заменить фиксированный B=256 на диспетчерскую лестницу {128,256,512,1024} с онлайн-оценкой геометрии (автокорреляция/ρ). Доказательство ценности: IW-01/02 — MED16 w=512 флипает mr (0.2104 vs ppmd 0.2308). B — параметр диспетчера, не константа формата. Связано с IW-01.

Lessons

moonshot ПЕРЕСМОТРЕТЬ (deepseek деградировал). При ρ=1 B независимо не тестируется (b_k=256=B). Урок: "правильная геометрия важнее правильного кодера" (IW-02) — фиксированная граница не Парето-оптимальна, лестница ширин уже дала image-флипы.

2026-06-17

H-02

Отображение `Φ` = mixed-radix по позиции

CLOSED

Why it might compress better

Φ определяет, какие байты входа становятся соседями в кубе, то есть всю локальность, на которой живут карта расстояний и контекстные модели. Mixed-radix — это по сути row-major-развёртка: дёшево, детерминированно, но не сохраняет 2D-соседство. Стремиться надо к тому, чтобы Φ стал параметром формата (байт в шапке), а не константой: тогда H-02a (Hilbert) и любые будущие развёртки шипятся без слома формата и соревнуются за competitive-min.

Test result

measured · CUBR-0004 · 2026-06-17

fraction(gap=1)=1.0000 on all corpus files (text_64kb, random_64kb, log_16kb). Mean run-length(gap=1)=448 overall (text=512, random=512, log=320). Note: this result reflects fully-populated cube (L=B^2 or L=B^1.5 → ρ=1.0) where ALL gaps are

Consilium verdict

CLOSED (cycle complete, historical CUBR-0004)

Next: Φ-челленджеры (Hilbert/Morton, H-02a) переоткрывать только там, где у данных есть настоящая 2D-геометрия (image), поверх сильного кодера (o2-rANS H-20). На байтовом сгибе почти бесполезно — H-53 LiDAR Morton уже дал −17%.

Lessons

При ρ=1 fraction(gap=1)=1.0 на всех файлах — метрика локальности НЕ различает выбор Φ. mixed-radix (row-major) максимально тривиально-локален на плотном кубе. Φ важна только на реальной 2D-структуре.

2026-06-17

Hypothesis feed

Run-кодирование карты = чистый RLE

Семантика gap: sentinel −1, `gap=1` = ноль пропусков

Раскладка карты расстояний = `N` потоков по осям

Граница ребра `B` = 256 (степень двойки)

Отображение `Φ` = mixed-radix по позиции