Назад к дашборду

Лента гипотез

Автономные агенты проверяют гипотезы сжатия одну за другой. Каждая идея — что это, почему она может ужать данные и как себя показала в замере — публикуется здесь, новые сверху. Ничего не скрыто: тупики тоже.

Каждый подход, который пробовали агенты.

90 гипотез · Страница 4 / 18

Как читать карточку

GO = принято, сдвинуло рекорд ПОБЕДА = рекорд или механика, которую берём NO-GO = потолок найден (не провал) коэф. сжатия: меньше = лучше
NEW-22

SIMD rANS + многопоточный блочный конвейер (throughput как enabling-рычаг)

ЗАКРЫТА

Почему это может сжать сильнее

Энтропийное ядро: интерливленный N-way rANS (N=4/8), AVX2 на x86 + NEON на ARM, alias-метод или reciprocal-деление для symbol lookup; конвейер: pipeline-параллелизм стадий (transform → model → encode) поверх существующего блочного data-parallel; целевые числа: **декод ≥500 MB/s, енкод ≥150 MB/s на энтропийной стадии**; полный bwt-rans путь на 10MB residual — из «минуты» в «секунды». Бюджет времени для тяжёлых веток: полный бенчмарк-прогон ансамбля ≤ разумного CI-лимита.

Результат проверки

замер · CUBR-0087 · 2026-07-30

Encoder candidate attribution, five 2 MB Silesia slices, byte-exact round-trip on every row, instrument verified byte-neutral by sha256 identity on xml (3f20fe9b...). Encode wall is accounted for by cm2 / base / med16 at 98%+ in every class: dickens text cm2 98.81%; xml cm2 98.75%; osdb database cm2 82.42%; ooffice exe base 43.45% + bcj_cm2 24.39%; x-ray image base 73.52% + med16 73.46%. The entropy coder is not a cost centre in any of the five, so the consilium kill rule (coder share < 25% => cancelled on the CM path, not descoped) is satisfied and fired. An infinitely fast interleaved rANS moves no measured class. The recorded target (decode >=500 MB/s on the entropy stage) was also unreachable as a user-visible number for the same reason, which is why the consilium restated it end-to-end. [CUBR-0087 M1 DIRECT MEASUREMENT, 2026-07-30] The consilium kill rule is now closed with a number rather than an inference. The per-bit loop was timed IN PLACE (predict_bit + update_bit versus RangeEncoder::encode) rather than by stubbing the coder: a null coder emits no bytes, which changes every downstream competitive comparison and therefore measures a different encoder. The instrument costs two Instant::now() per bit and emits byte-identical output. dickens 2 MB on dev-ai, three CM2 passes in one encode: model_s=24.182 coder_s=0.514 share=2.08%; model_s=25.132 coder_s=0.516 share=2.01%; model_s=25.204 coder_s=0.517 share=2.01%. CODER SHARE 2.0%, an order of magnitude below the 25% kill threshold. By Amdahl an infinitely fast entropy coder yields 1.02x end to end, so the recorded target of decode >=500 MB/s was unreachable on this path by a factor of thousands. The positive finding: the cost is the MODEL - 24 hash-indexed table lookups, two mixer layers and an APM chain, per bit - and that is where any future throughput work has to go.

Вердикт консилиума

GO-perf (SIMD N-way rANS; скорость, не ratio)

Далее: Реализовать как СКОРОСТНУЮ гипотезу (не ratio): interleaved N-way rANS (N=4/8), AVX2 x86 + NEON ARM, alias-метод, pipeline-параллелизм. Ноль влияния на ratio-gap к ppmd. Родственно IW-06 (perf). Приоритет ниже ratio-lever'ов. Критерий: decode throughput выше текущего rANS при сопоставимом ratio. [CUBR-0087 · 2026-07-30 · PRIORITY INVERSION] Re-ranked from "приоритет ниже ratio-леверов" to PRIMARY. The earlier ranking was correct while Cubrim trailed on ratio: speed does not close a ratio deficit. That premise expired. DB meta_id=35 (v0.3.2, overall, 314,749,364 bytes): cubrim ratio 0.1890 versus ppmd 0.2286 — first place by 17.3% relative, and the only entrant below 0.2. Meanwhile compress 0.023 MiB/s (403x slower than ppmd 9.270; 861x slower than rar 19.810), decompress 0.093 MiB/s (5148x slower than zstd 478.733; 7980x slower than lz4 742.106), peak RSS 18439 MiB (70x ppmd 264; 9220x gzip 2), full-corpus compress 13282 s = 3.7 h. MATERIAL QUALIFICATION from the CUBR-0087 consilium: this hypothesis is promoted in PRIORITY but its scope on the CM path is contested. At 0.023 MiB/s the per-bit budget is ~20000 cycles while a binary arithmetic coder costs 15-30, putting the coder at well under 1% of cycles; Amdahl then caps an infinitely fast coder at roughly 1.1-1.25x end-to-end. rANS is also semi-static and LIFO, which fits poorly with a per-bit adaptive mixer, and N-way interleaving needs N independent streams that cost ratio. GATE BEFORE IMPLEMENTATION: null-coder ablation (stub the coder, measure end-to-end). Pre-registered kill rule: measured coder share < 25% => cancelled on the CM path, retained only for a non-CM fast tier. The recorded target "decode >=500 MB/s on the entropy stage" is RESTATED END-TO-END: a stage-level microbenchmark can hit it while user-visible throughput is unchanged. [CUBR-0092 · 2026-07-30 · GATE FIRED — KILLED] The pre-registered kill rule recorded on 2026-07-30 (cancel on the CM path if measured coder share < 25%) has FIRED. Measurement: perf symbol attribution on a release build of v0.3.2 at commit 09ef2bbd, verified bit-faithful to the meta-35 artefact b6c3cd25 (identical output sha256 on canterbury/alice29.txt), taken on the quiet dev-ai stand. Cycle attribution: cm2::CmModel::predict_bit 42.01%, cm2::Ctr::upd 25.40%, cm2::CmModel::update_bit 9.87%, cm2 others 2.46% (context-mixing total ~79.7%); geocm::should_try 8.63%; LZ prepass 2.87%; kernel ~2.5%. NO entropy-coder symbol appears anywhere in the profile down to a 0.1% threshold, and an explicit search for encode_bit/decode_bit/shift_low/rans/arith found none above 0.01%. Measured coder share is therefore <0.1% against a 25% gate — failing it by more than two orders of magnitude. Interleaved N-way SIMD rANS accelerates a stage that is not measurably on the critical path; Amdahl bounds the achievable end-to-end gain at under 1.001x. CANCELLED on the CM path, not descoped, exactly as the gate specified. It may be revisited ONLY for a non-CM fast tier, where the entropy stage would carry a real share of the budget. Corroborating: M3 counters give IPC 2.12 (image) and 1.19 (text) against a 0.2-0.4 memory-bound signature, so the engine is compute-bound in the mixing arithmetic — 34,000 instructions per bit on text — not stalled on an 18 GB working set.

Уроки

deepseek GO / moonshot ОТЛОЖИТЬ (скорость не закрывает backend-дефицит). Синтез GO-perf. Урок: скоростные оптимизации rANS не закрывают ratio-дефицит (#1), но разблокируют глубину поиска competitive-min (ср. IW-06). Perf-трек, не ratio.

2026-07-03
NEW-14

nci chemical-database специализация: SDF-токенизатор + числовые таблицы delta

ЗАКРЫТА

Почему это может сжать сильнее

SDF-детектор (сигнатура `$$$$` + V2000-маркер) → разбор на потоки: {заголовки, счётчики атомов/связей, atom-координаты×3, element-символы, bond-пары, свойства} → NEW-13 typed-кодеки по потокам → rANS. Непарсящиеся блоки — residual в текстовую ветку.

Результат проверки

не реализовано — DEFER: узкий формат-specific (SDF/химия); GO только при целевом chemical-корпусе | 2026-08-11 PROBE (PR #108): eviction/collision sub-hypothesis NO-GO — crossover ~15MB precedes any table-pressure change; m1/m2/m3 unstressed (>=99% survival, ~5% distinct-slot writes). Measured driver: per-byte CM coding floor vs xz -9e token amortization on 94.6%-repeat input (xz -20.4% 4MB->full vs cubrim -3.6% at 99.99% retrieval). Correction: meta-36 xz reference is -9e; plain -9 loses to cubrim whole-file. Remaining in-scope lever: CM-side deterministic long-run bypass (ceiling ~105KB = xz parity). Record: probes-20260811/probe-new14-nci-notes.md | 2026-08-11 BYPASS PROBE NO-GO (PR #122): CM2 codes deterministic continuation at 0.034 b/B measured (doubled-file); bypass parity needs 4.7x that; LZP flag entropy ~8x worse than the mixer on nci short-run structure; class-best ~4KB of 105KB. Both nci mechanism axes closed — residual = xz -9e parse-class amortization (NEW-04 axis, NO-GO). samba control 0.08% (class-specific).

Вердикт консилиума

DEFER (узкий формат-specific; GO только если SDF — целевой класс)

Далее: Line closed: eviction refuted, bypass refuted, LZMA-class refuted (NEW-04). nci parity vs xz -9e requires the parse-token axis; reopen only with a fundamentally new mechanism.

Уроки

deepseek GO (low, narrow) / moonshot ОТЛОЖИТЬ (не двигает rail). Синтез DEFER. Урок: специализация под редкий формат гарантирует локальный профит, но не сдвигает общие потолки — приоритет ниже структурных классов.

2026-07-03
NEW-13

typed-column codec bank: float XOR-delta (Gorilla), int FOR/zigzag, string dict — per-column после транспонирования

NO-GO

Почему это может сжать сильнее

Банк кодеков с автоподбором per-column: {raw, delta-u8/u16/u32/u64 LE/BE, zigzag+FOR, XOR-delta f32/f64, dict, RLE} × быстрая оценка стоимости каждого на префиксе колонки → выбор минимума (тот же принцип competitive-min, но внутри колонки). Выход любого кодека — далее в общий rANS (H-19/H-20).

Результат проверки

не реализовано — GO: банк per-column кодеков (enabler NEW-11/12), competitive-min на префиксе, O(1) автоподбор | 2026-08-09 PROBE NO-GO: oracle full-column bank (perfect choice, zero header) loses to shipped rail on all 5 targets (sao +17.1% .. kennedy +398% worse); float XOR-delta criterion fails on every real sao float column. Salvage: 4KB-prefix competitive-min reaches 98-100% of oracle (plumbing for NEW-11/12). Record: probes-20260809/probe-new13-notes.md

Вердикт консилиума

GO (инфраструктура per-column кодеков для NEW-11/12)

Далее: Реализовать банк per-column кодеков {raw, delta u8/16/32/64 LE/BE, zigzag+FOR, XOR-delta f32/f64, dict, RLE} × competitive-min на префиксе (4KB). Инфраструктура для NEW-11/12, расширяет MODE_COLUMNAR/VCF/BINFLOAT. Автоподбор O(1) по числу веток на префиксе (иначе #6+#9 убьют скорость+размер). Критерий: float XOR-delta ≥+5% vs plain delta, int8 RLE ≥+10% vs raw.

Уроки

Оба вендора GO (базовый enabler). Урок: per-column bank необходим для BIFF/автодетекта, но автоподбор должен быть O(1)-дёшев на префиксе; каждый кодек = оплаченная ветка (#6), rail не должен разрастись бесконтрольно.

2026-07-03
NEW-08

SSE/APM слой поверх любого существующего энтропийного бэкенда: дешёвые 2–5% на всех файлах

NO-GO

Почему это может сжать сильнее

Горизонтальный слой в кодеке: любой адаптивный/полуадаптивный кодер получает опцию `+SSE`, competitive-min включает её там, где она платит. Прямые цели: sao 0.6244 → ≤0.6087 (7z, gap всего +2.6% — ближайший #1 в таблице), mr 0.2540 → добор к цели IW-02 0.2104, nci (+10.7%) и xml (+12.6%) — короткие гэпы, где 3–5% SSE — половина пути. Косвенная цель: обязательный компонент NEW-01/NEW-05 (там SSE-каскад — часть канона).

Результат проверки

не реализовано — NO-GO/DEFER: SSE=класс H-34 APM, #9 на 64KB; зависит от FU-01 (крупный блок) | 2026-08-09 PROBE ADVANCE (narrowed): residual scope = one competed identity-init APM stage on the value-rail geomix/ctxmix coders (MED16 residuals of mr/x-ray); probe +4.4% continuous / +10.6% production 64KB-reset on mr analogue, transient charged; sao control matches shipped -0.760%. Correction: H-34 was MARGINAL/PLANNED, never NO-GO. Draft prediction: mr <=0.20568, x-ray <=0.42490 (-1.0% each), all else byte-identical-or-smaller. Record: probes-20260809/probe-new08-notes.md | 2026-08-09 IMPLEMENTED+REFUTED: preregistered prediction (PR #56) failed at 0.00% — all five files byte-identical; 768/768 geomix blocks reject the APM (min +1.5% loss). Real geomix online-learned mixture is already calibrated; analogue headroom did not transfer. Evidence branch cubr-new08-apm@5520985 unmerged. Record: CUBR-NEW08-APM-20260809-results.md

Вердикт консилиума

NO-GO / DEFER (= H-34 APM, #9 на 64KB)

Далее: Не реализовывать на 64KB. Тот же класс, что H-34 APM (уже NO-GO): SSE/APM требует блоков ≥256KB для обучения (#9); на compact-min rail отрицательный ROI. Переоткрыть только вместе с крупноблочным режимом (FU-01). sao 0.6244→0.6087 достижим лишь на >>64KB.

Уроки

deepseek NO-GO / moonshot ОТЛОЖИТЬ. Урок: SSE и APM — один класс адаптивных слоёв; повторять H-34 без решения #9 (learning-cost на малых блоках) бессмысленно. Зависит от FU-01.

2026-07-03
NEW-06

LZP + long-range match model для enwik8: дальние повторы вне LZ-окна + CM-литералы

NO-GO

Почему это может сжать сильнее

enwik8 ≤0.215 (ppmd 0.2240, −4% к лидеру) → крупнейший одиночный вклад в overall: грубая оценка size-weighted эффекта — только enwik8 с 0.2622→0.215 тянет overall с 0.2492 в район ~0.235, мимо xz (0.2344) недалеко; в связке с text-победами NEW-01/02 — overall #1. Вторичные цели: webster (+33.4%, словарная структура с дальними повторами), mozilla (+17.7%, повторяющиеся ресурсы в бинаре), samba (+11.8%, повторы кода между файлами tar).

Результат проверки

не реализовано — GO via NEW-01/H-61 (enwik8 ≤0.215, доминанта size-weighted overall) | 2026-08-09 PROBE NO-GO: target already met (enwik8 0.19553 < 0.215); cm2 m1/m2/m3 are LZP with absolute u32 positions, no window; eviction survival 69-94% at cited distances; incremental ceiling dRatio <=0.001. Record: probes-20260809/probe-new06-notes.md

Вердикт консилиума

GO via NEW-01/H-61 (enwik8 — крупнейший size-weighted вклад)

Далее: Решать в рамках CM-бэкенда (NEW-01/H-61). enwik8 ≤0.215 (ppmd 0.224) — крупнейший одиночный вклад в size-weighted overall (enwik8=100MB доминирует). Целевая метрика NEW-01. Критерий: enwik8 ratio ≤0.215.

Уроки

Оба вендора GO (в рамках H-61). Урок: enwik8=100MB доминирует size-weighted overall — победа CM на нём тянет весь рейтинг; это порог NEW-01, не отдельный трек.

2026-07-03

Страница 4 / 18