Cubrim-2 · исследовательский трек

Глобальный Адресатор

Cubrim-2 задаёт другой вопрос, чем архиватор Cubrim-1: не «как сжать байты локально», а можно ли передавать данные короткими ссылками (стремимся к разумному минимуму — порядка десятков–сотен байт) в общие, заранее распространённые структуры — Универсальные Матрицы Данных Валентовых? Если отправитель и получатель располагают одинаковой большой структурой данных, передавать можно не весь объект, а инструкцию по выбору и сборке нужных фрагментов. Эта страница — живой журнал трека: список гипотез и каждый статус ниже приходят напрямую из исследовательской базы данных — здесь ничего не захардкожено и не приукрашено.

Честное ограничение — прежде всего

Фиксированный короткий код различает лишь конечное число состояний, а пространство возможных файлов растёт экспоненциально с длиной — поэтому один короткий адрес сам по себе не может однозначно обозначать каждую длинную последовательность. Адрес имеет смысл только вместе с каталогом, где объект уже находится. И любой честный результат обязан учитывать полную стоимость: адреса, метаданные, остаток — и саму общую матрицу, которая окупается только при амортизации по многим файлам и устройствам. Поэтому Cubrim-2 не обещает «сжать любой файл в 16 байт». Трек картирует, где глобальная адресация действительно выигрывает у локального сжатия, — и так же открыто фиксирует, где она структурно выиграть не может.

Волна 1 — текущее состояние

Все гипотезы волны 1 стартуют со статусом OPEN: сформулированы, ещё не измерены. Предсказанные рычаги — предсказания. Измеренный результат появится здесь только после фактической проверки гипотезы.

NO-GO · 3 GO · 6 OPEN · 14 PROBED · 1
общий контекст (словарь / фрагменты) · 4 identity-дедупликация — ссылка ≪ payload при точном совпадении · 3 структурно не может выиграть (граница) · 4 учёт стоимости инфраструктуры · 10 ближайшее совпадение + дельта · 3

Сформировано: 2026-07-14T20:12:08Z · db:addressor_hypotheses

Гипотезы · 24

AH-01 NO-GO W1 · 2026-07-13

Матрица-как-словарь (shared dictionary)

Если зафиксировать versioned-immutable глобальный словарь как секцию матрицы и передавать dict_id+поток со словарём, то net-байты на мелких структурированных файлах (<128 KiB) упадут vs локальный zstd, потому что малый файл не успевает выучить собственную статистику.

Класс данных (Z)
small structured files (JSON/HTML/logs/configs)
Адресная цель
н/п
Предсказанный рычаг
>=25% на smalls (предсказание), ->0 на >=4 MiB
Категория потолка
общий контекст (словарь / фрагменты)
Механизм
готовый контекст с первого байта; амортизация однократной доставки словаря
Тест фальсификации
корпус мелких файлов: выигрыш <25% или словарь не амортизируется -> NO-GO
Полная стоимость (total_cost)
address: 8 B dict_id · metadata: zstd-frame header · residual: ВЕСЬ сжатый поток (схема не ссылочная) · amortized: dict_size/N_files устройства + однократная доставка словаря на устройство.
Вердикт пробы
NO-GO по пре-регистрированному бару: реальный zstd-словарь (110 КиБ, train/test split по чётности хэша) дал 2.94 пп абсолютных / 9.95% относительных против плоского zstd-3 — далеко от предсказанных >=25%. Рычаг существует, но величина съедена силой самого локального кодека (семейство Gotcha #11); словарь остаётся полезным baseline-конкурентом для фрагментных схем.
Измеренный результат
{"date":"2026-07-14","probe":"W1-fragments-v1b-fair","split":{"test_bytes":320725794,"test_files":59936,"train_files":61704},"class_z":"small structured files (<128 KiB, text-ish), real KB","verdict":"NO-GO","dict_bytes":112640,"gain_abs_pp":2.94,"gain_rel_pct":9.95,"verdict_note":"NO-GO по пре-регистрированному бару: реальный zstd-словарь (110 КиБ, train\/test split по чётности хэша) дал 2.94 пп абсолютных \/ 9.95% относительных против плоского zstd-3 — далеко от предсказанных >=25%. Рычаг существует, но величина съедена силой самого локального кодека (семейство Gotcha #11); словарь остаётся полезным baseline-конкурентом для фрагментных схем.","L1_dict_ratio":0.2664,"L0_plain_ratio":0.2959}
AH-02 GO W1 · 2026-07-13

Матрица-как-CAS чанков (CDC)

Если представить матрицу как глобальный CAS неизменяемых CDC-чанков, то net-байты на повторно встречающемся контенте упадут до последовательности 32B хэш-ссылок, потому что получатель уже хранит чанки, а CDC устойчив к сдвигам.

Класс данных (Z)
OS-образы, пакеты, пересылаемые файлы, бэкапы
Адресная цель
32 Б
Предсказанный рычаг
hit_rate*(1-0.4%) по массе; литература enterprise 10-30x (внешняя)
Категория потолка
identity-дедупликация — ссылка ≪ payload при точном совпадении
Механизм
exact chunk dedup по каталогу; получатель хранит чанки
Тест фальсификации
chunk-hit-rate по массе на кросс-девайсной смеси; <30% -> только режим router (AH-18)
Полная стоимость (total_cost)
address: 32 B на чанк при hit · metadata: манифест файла (список чанков, длины, порядок) · residual: новые чанки целиком + их upload в матрицу · amortized: хранение CAS×время + каталог (AH-09/10) + integrity (AH-21) + первая передача каждого блока (AH-19).
Вердикт пробы
GO: chunk dup-mass 43.01% на 3-хостовом объединении (falsification-бар <30% НЕ сработал) + ИЗМЕРЕННЫЙ competitive-выигрыш charged-адресатора над локальным zstd-3 (+7.81 пп при штрафе чанк-контекста 11.6 пп). Вердикт обусловлен реалистичным составом корпуса; мульти-девайс эмулирован хэш-агрегацией (AH-23), payload не покидал хосты.
Измеренный результат
{"cdc":{"max":65536,"min":2048,"avg_chunk":8192},"date":"2026-07-14","probe":"W1-dupmass-v0","corpus":{"host":"arcana-devs","files":204275,"roots":["~\/arcanada","~\/cubrim-sources","~\/cubr-cm-work\/cubrim-code"],"caveat":"single-host snapshot; cross-device realism pending AH-23; worktree copies inflate dup-mass","total_bytes":8517809533},"verdict":"GO","competitive":{"date":"2026-07-14","codec":"zstd-3 both sides (level cancels out)","probe":"W1-competitive-v1","corpus":{"host":"arcana-devs","files":197910,"caveat":"single-host; worktree copies inflate dup-mass; cross-device pending AH-23","total_bytes":8709420841},"local_ratio":0.5562,"charge_terms":{"refs_bytes":42971680,"catalog_bytes":21690132,"residual_comp_bytes":4099360171},"verdict_note":"РЕАЛЬНЫЙ competitive-выигрыш charged-адресатора над локальным сжатием на этом корпусе (+7.81 пп) несмотря на штраф чанк-контекста 11.6 пп; критерий оператора (net-байты < локальное сжатие при ссылке << payload) ВЫПОЛНЕН на single-host срезе; GO — после кросс-девайсного подтверждения (AH-23 в работе)","win_delta_pct":7.81,"addresser_charged_ratio":0.4781,"chunk_context_penalty_pct":11.6},"crossdevice":{"date":"2026-07-14","probe":"W1-crossdevice-v1","union":{"hosts":["arcana-devs","arcana-prod","arcana-www"],"total_bytes":12941464032},"chunk_dup_intra_pct":26.8,"chunk_dup_total_pct":43.01,"chunk_dup_cross_device_pct":16.21},"charge_terms":{"catalog_bytes":21907639,"addr_manifest_bytes":42980416},"chunks_total":934588,"verdict_note":"GO: chunk dup-mass 43.01% на 3-хостовом объединении (falsification-бар <30% НЕ сработал) + ИЗМЕРЕННЫЙ competitive-выигрыш charged-адресатора над локальным zstd-3 (+7.81 пп при штрафе чанк-контекста 11.6 пп). Вердикт обусловлен реалистичным составом корпуса; мульти-девайс эмулирован хэш-агрегацией (AH-23), payload не покидал хосты.","chunks_unique":638474,"chunk_dup_mass_pct":28.09,"naive_stored_ratio":0.7191,"charged_stored_ratio":0.7267}
AH-03 OPEN W1 · 2026-07-13

Генерируемая матрица (PRNG/pi/де Брёйн) — анти-гипотеза

Если сделать матрицу детерминированно генерируемой (дистрибуция ~0), то total_cost на любом реальном классе не улучшится, потому что адрес в исчерпывающем/случайном каталоге стоит не меньше самого содержимого (information conservation).

Класс данных (Z)
любой реальный
Адресная цель
н/п
Предсказанный рычаг
NO-GO строгий (predicted)
Категория потолка
структурно не может выиграть (граница)
Механизм
M/2^512 покрытие для случайного пула; адрес k-грамма в де Брёйне = биты k-грамма
Тест фальсификации
предъявить класс где адресация в генерируемый пул дешевле энтропийной стоимости — не ожидается
Полная стоимость (total_cost)
address: по теореме ≥ информационного содержимого адресуемого фрагмента (де Брёйн: адрес k-грамма = биты k-грамма; случайный пул: покрытие M/2^512≈0) · metadata/residual: фактически весь файл · amortized: дистрибуция ~0 — и это не спасает.
Измеренный результат
ещё не измерено — честный null
AH-04 OPEN W1 · 2026-07-13

Occupancy-bitmap N-куба как секция матрицы

Если реализовать 'биты указывают какие байты куба существуют' как succinct RRR bitmap над φ-геометрией, то стоимость передачи множества занятых координат на sparse-классе (ρ<0.3) приблизится к log2 C(L,k), потому что RRR почти оптимален для множеств.

Класс данных (Z)
sparse inputs (ρ<0.3)
Адресная цель
н/п
Предсказанный рычаг
как носитель — NO-GO (predicted); как ключ — см. AH-14
Категория потолка
общий контекст (словарь / фрагменты)
Механизм
succinct set encoding; но set не несёт порядок/значения (Gotcha #2/#7)
Тест фальсификации
доля информации файла в occupancy-set; <5% на реальных классах -> мёртв как носитель
Полная стоимость (total_cost)
address: n/a · metadata: RRR-битмап ≈ log2 C(L,k) бит · residual: перестановка + значения — 99%+ информации файла (Gotcha #2) · amortized: доля occupancy-секции в матрице.
Измеренный результат
ещё не измерено — честный null
AH-05 GO W1 · 2026-07-13

Identity-dedup целого файла — эталон сверхкороткой ссылки

Если адрес = криптохэш целого файла (порядка десятков байт с метаданными) при объекте, уже лежащем в каталоге, то передача на классе точных повторов падает до ссылки, много меньшей payload, для файла любого размера, потому что различаем только уже сохранённое (pigeonhole не нарушен). Размер ссылки — метрика для минимизации, не жёсткий порог (operator clarification 2026-07-14).

Класс данных (Z)
инсталляторы, медиа-решеры, пакеты
Адресная цель
64 Б
Предсказанный рычаг
крупнейший честный рычаг; dup-mass 20-50% в enterprise (внешняя литература)
Категория потолка
identity-дедупликация — ссылка ≪ payload при точном совпадении
Механизм
exact whole-file match по каталогу
Тест фальсификации
file-level dup-mass на реальной смеси; <10% массы -> рычаг узок
Полная стоимость (total_cost)
address: 32 B криптохэш + ≤32 B метаданных (суммарно ≤64 B) · metadata: запись каталога · residual: 0 при exact-hit, ВЕСЬ файл при miss · amortized: хранение копии в матрице + каталог + первая передача файла (AH-19).
Вердикт пробы
GO: whole-file dup-mass 34.99% на реальном 3-хостовом объединении (12.94 ГБ), из них ЧИСТО кросс-хостовых 15.9% — worktree-искажение intra-среза не затрагивает кросс-срез, и он один превышает 10%-бар узости; charged-надбавка на файловой гранулярности 0.23 пп. Dedup детерминирован — вердикт обусловлен реалистичным составом корпуса; мульти-девайс эмулирован хэш-агрегацией (AH-23), payload не покидал хосты.
Измеренный результат
{"date":"2026-07-14","probe":"W1-dupmass-v0","corpus":{"host":"arcana-devs","files":204275,"roots":["~\/arcanada","~\/cubrim-sources","~\/cubr-cm-work\/cubrim-code"],"caveat":"single-host snapshot; cross-device realism pending AH-23; worktree copies inflate dup-mass","total_bytes":8517809533},"verdict":"GO","dup_files":91856,"crossdevice":{"date":"2026-07-14","probe":"W1-crossdevice-v1","union":{"files":363020,"hosts":["arcana-devs","arcana-prod","arcana-www"],"total_bytes":12941464032},"dup_intra_pct":19.09,"dup_total_pct":34.99,"dup_cross_device_pct":15.9},"charge_terms":{"catalog_bytes":3857308,"addr_manifest_bytes":16012992},"dup_mass_pct":17.79,"verdict_note":"GO: whole-file dup-mass 34.99% на реальном 3-хостовом объединении (12.94 ГБ), из них ЧИСТО кросс-хостовых 15.9% — worktree-искажение intra-среза не затрагивает кросс-срез, и он один превышает 10%-бар узости; charged-надбавка на файловой гранулярности 0.23 пп. Dedup детерминирован — вердикт обусловлен реалистичным составом корпуса; мульти-девайс эмулирован хэш-агрегацией (AH-23), payload не покидал хосты.","charged_savings_pct":17.55}
AH-06 OPEN W1 · 2026-07-13

Гистограмма+хэш как носитель — анти-гипотеза

Если использовать byte-histogram+хэш как адрес для восстановления, то реконструкция на нетривиальном классе невозможна за вычислимое время, потому что гистограмма уничтожает порядок (L!/∏ci! кандидатов), а явная передача перестановки стоит энтропию файла.

Класс данных (Z)
любой нетривиальный
Адресная цель
н/п
Предсказанный рычаг
NO-GO как носитель; честная роль — integrity/поисковый ключ (AH-14)
Категория потолка
структурно не может выиграть (граница)
Механизм
потеря порядка; невычислимый поиск канонического представителя по хэшу
Тест фальсификации
класс где мультимножество почти определяет порядок (sorted data) — ниша <<1%
Полная стоимость (total_cost)
address: histogram+hash (сотни байт) · metadata: — · residual: явная перестановка log2(L!/∏cᵢ!) бит ≈ энтропия файла, либо невычислимый перебор · amortized: —.
Измеренный результат
ещё не измерено — честный null
AH-07 NO-GO W1 · 2026-07-13

Двухуровневый адрес фрагмента матрицы

Если адрес фрагмента = (version,section,offset,len,flags) ~16-24B на фрагмент в матрице, то net-байты на структурированных повторах снизятся на covered_fraction*(1-address/fragment_len), потому что типовые фрагменты длинны и частотны.

Класс данных (Z)
boilerplate, лицензии, шаблоны, обёртки форматов, копипаст-код
Адресная цель
24 Б
Предсказанный рычаг
покрытие фрагментами >=256B на office/code/web 20-60% (предсказание)
Категория потолка
общий контекст (словарь / фрагменты)
Механизм
ссылка дешевле длинного частотного фрагмента
Тест фальсификации
скан корпуса: покрытие <15% ИЛИ экономия <= zstd-со-словарём -> NO-GO (AH-01 subsumes)
Полная стоимость (total_cost)
address: 16–24 B × число фрагментов · metadata: разметка границ/точек вставки (отдельная ветка декодера — платится по Gotcha #6) · residual: непокрытые байты через локальный кодек · amortized: секции матрицы с фрагментным пулом.
Вердикт пробы
NO-GO — оба пре-регистрированных условия сработали: покрытие фрагментами >=256 Б всего 10.69% (<15%) И экономия <= zstd-словаря (per-file: фрагменты 0.2781 без каталога / 0.3017 с каталогом против словаря 0.2664). Первая версия пробы показывала мнимый выигрыш — стенд AH-22 поймал конфаунд (residual жался солидным потоком против пофайловых базлайнов); после выравнивания плеч выигрыш исчез: solid-сценарий с заряженным каталогом 0.228 против солидного локального 0.2153. Фрагментная адресация на этом классе вырождается в то, что словарь даёт дешевле.
Измеренный результат
{"date":"2026-07-14","probe":"W1-fragments-v1b-fair","solid":{"L0_solid":0.2153,"A_no_catalog":0.2044,"A_with_catalog":0.228},"class_z":"small structured files (<128 KiB, text-ish), real KB","verdict":"NO-GO","per_file":{"L1_dict":0.2664,"A_no_catalog":0.2781,"A_with_catalog":0.3017},"coverage_pct":10.69,"verdict_note":"NO-GO — оба пре-регистрированных условия сработали: покрытие фрагментами >=256 Б всего 10.69% (<15%) И экономия <= zstd-словаря (per-file: фрагменты 0.2781 без каталога \/ 0.3017 с каталогом против словаря 0.2664). Первая версия пробы показывала мнимый выигрыш — стенд AH-22 поймал конфаунд (residual жался солидным потоком против пофайловых базлайнов); после выравнивания плеч выигрыш исчез: solid-сценарий с заряженным каталогом 0.228 против солидного локального 0.2153. Фрагментная адресация на этом классе вырождается в то, что словарь даёт дешевле.","pool_fragments":221086}
AH-08 OPEN W1 · 2026-07-13

Энтропийное кодирование потока адресов

Если поток ссылок в матрицу кодировать rANS, то средняя стоимость ссылки на Zipf-классах упадёт с номинальных 16-32B до эффективных единиц байт, потому что обращения к матрице сильно скошены к топ-фрагментам.

Класс данных (Z)
любой с Zipf-обращениями (web/code)
Адресная цель
н/п
Предсказанный рычаг
топ-1% фрагментов >=50% обращений (предсказание)
Категория потолка
общий контекст (словарь / фрагменты)
Механизм
skewed reference distribution -> короткие коды частым
Тест фальсификации
распределение обращений на корпусе; ~uniform -> рычага нет; заряжать сквозь настоящий бэкенд (Gotcha #11)
Полная стоимость (total_cost)
address: сжимается rANS-ом к энтропии распределения обращений · metadata: таблица частот/контекст кодера · residual: не меняется · amortized: не меняется.
Измеренный результат
ещё не измерено — честный null
AH-09 OPEN W1 · 2026-07-13

MPH-каталог

Если индекс матрицы строить на minimal perfect hashing (~2-3 бита/ключ) + 8-16-бит отпечаток с криптоподтверждением при hit, то catalog_bytes/chunk позволит держать каталог миллиардного стора в единицах ГиБ, потому что MPH почти оптимален по памяти.

Класс данных (Z)
инфраструктура каталога (мета)
Адресная цель
н/п
Предсказанный рычаг
каталог 10^9 чанков ~ единицы ГиБ (предсказание)
Категория потолка
учёт стоимости инфраструктуры
Механизм
почти-оптимальная память MPH + дешёвый префильтр отпечатком
Тест фальсификации
кривая fp/bytes; если безопасный fp недостижим 16-бит отпечатком и каталог съедает амортизацию -> NO-GO конфигурации
Полная стоимость (total_cost)
инфра-статья: catalog_bytes/chunk ≈ 2–3 бита MPH + 8–16 бит отпечаток; при hit — подтверждение полным хэшем (сетевое) · amortized: делится на все обращения флота.
Измеренный результат
ещё не измерено — честный null
AH-10 OPEN W1 · 2026-07-13

Bloom-предфильтр отправителя

Если отправитель держит локальный Bloom-фильтр каталога (fp~1%), то сетевые lookup'ы на типичном user-миксе упадут до ~hit_rate*(1+fp) доли чанков, потому что заведомо-новое отсекается локально без RTT.

Класс данных (Z)
типичный user-микс
Адресная цель
н/п
Предсказанный рычаг
порядок(и) меньше сетевых запросов (предсказание)
Категория потолка
учёт стоимости инфраструктуры
Механизм
локальный отсев miss'ов
Тест фальсификации
модель churn матрицы vs трафик обновлений фильтра; обновления дороже экономии -> NO-GO
Полная стоимость (total_cost)
инфра-статья: клиентский фильтр ~1–2 байта на чанк каталога + ТРАФИК ОБНОВЛЕНИЙ при churn матрицы · экономия: сетевые lookup-RTT.
Измеренный результат
ещё не измерено — честный null
AH-11 GO W1 · 2026-07-13

Порог окупаемости N* (break-even)

Если формализовать B(N)=Σsavings−M_size−C_catalog_sync−C_residual_overhead, то существует измеримый порог N*, достижимый на enterprise-backup классе и N*→∞ на уникальном персональном контенте, потому что savings пропорциональны кросс-девайсной повторности.

Класс данных (Z)
enterprise-backup vs personal-unique
Адресная цель
н/п
Предсказанный рычаг
формула+таблица N* по классам — измеритель честности трека
Категория потолка
учёт стоимости инфраструктуры
Механизм
амортизация фиксированной стоимости матрицы повторностью
Тест фальсификации
посчитать N* на 2-3 реальных смесях; классы с N*>реалистичного флота — вне рынка
Полная стоимость (total_cost)
это агрегатор total_cost всего трека: B(N)=Σsavings(N) − M_size − C_catalog_sync(N) − C_residual_overhead(N); порог N* = корень B.
Вердикт пробы
GO — оба предсказания подтверждены на ИЗМЕРЕННЫХ параметрах: для office/infra-класса порог окупаемости существует и мал (N*=2: уже второе устройство делает баланс положительным, +0.613 ГиБ), для уникального персонального класса c~0 -> N*->бесконечность (чистый корпус личных файлов — за AH-16 follow-up). Формула и таблица N* — измеритель честности трека, дистрибуция матрицы = приобретение данных устройствами (первые передачи учтены в AH-19).
Измеренный результат
{"date":"2026-07-14","B_GiB":{"N1":-0.019,"N2":0.613,"N3":1.245,"N10":5.669,"N100":62.555},"probe":"W1-nstar-v1","formula":"B(N) = c*d*(N-1) - 2*k_cat*u*N","verdict":"GO","verdict_note":"GO — оба предсказания подтверждены на ИЗМЕРЕННЫХ параметрах: для office\/infra-класса порог окупаемости существует и мал (N*=2: уже второе устройство делает баланс положительным, +0.613 ГиБ), для уникального персонального класса c~0 -> N*->бесконечность (чистый корпус личных файлов — за AH-16 follow-up). Формула и таблица N* — измеритель честности трека, дистрибуция матрицы = приобретение данных устройствами (первые передачи учтены в AH-19).","inputs_measured":{"source":"W1-crossdevice-v1 (3 реальных хоста) + AH-09 catalog-модель","c_cross_chunk_dup":0.1621,"d_bytes_per_device":4313821344,"u_unique_per_device":2458446783,"k_cat_per_unique_byte":0.00419},"N_star_office_infra":2}
AH-12 OPEN W1 · 2026-07-13

Деградация замороженной матрицы (drift)

Если матрицу заморозить (immutable v1 по канону), то hit-rate на свежем контенте будет монотонно деградировать с измеримой скоростью d(hit)/dt, потому что распределение реальных данных нестационарно.

Класс данных (Z)
новости, обновляемый софт, новые форматы
Адресная цель
н/п
Предсказанный рычаг
полураспад словарных секций быстрее чанковых (предсказание, без чисел)
Категория потолка
учёт стоимости инфраструктуры
Механизм
нестационарность данных vs снимок прошлого
Тест фальсификации
hit-rate(t) на датированных снапшотах корпуса
Полная стоимость (total_cost)
стоимость каждой новой версии матрицы = distribution+sync на каждое устройство; выигрыш = восстановленный hit-rate; чистый эффект = разница.
Измеренный результат
ещё не измерено — честный null
AH-13 OPEN W1 · 2026-07-13

φ-нормализованные ключи фрагментов (кросс-контейнерный dedup)

Если ключи фрагментов строить по нормал-форме куба Cubrim-1 (мультимножество секции + локальная карта), то hit-rate кросс-файлового dedup на классе 'тот же payload в разных обёртках' вырастет vs сырой CDC, потому что φ-нормализация абстрагирует позиционный сдвиг.

Класс данных (Z)
same payload / shifted container (tar vs zip-stored)
Адресная цель
н/п
Предсказанный рычаг
выигрыш только где плата за пер-фрагментную перестановку < ценность совпадения; презумпция против (CUBR-0032 закрыл внутрифайловый случай)
Категория потолка
ближайшее совпадение + дельта
Механизм
инвариантность ключа к сдвигу внутри секции; но перестановка платится (Gotcha #7)
Тест фальсификации
charged end-to-end на паре shifted-container; (совпадение − перестановочная плата) <= CDC-baseline -> NO-GO
Полная стоимость (total_cost)
address: ключ нормал-формы секции · metadata: локальная карта/пер-фрагментная перестановка — платится ПОЛНОСТЬЮ (Gotcha #7) · residual: непокрытое · amortized: индекс нормал-форм по матрице.
Измеренный результат
ещё не измерено — честный null
AH-14 OPEN W1 · 2026-07-13

(occupancy-hash, histogram-hash) как составной поисковый ключ

Если пару сигнатур секции куба использовать как LSH-подобный ключ каталога для поиска похожих секций, то recall near-duplicate поиска на версионированных данных вырастет при фиксированной precision vs криптохэш-чанкинг, потому что сигнатуры устойчивы к малым правкам.

Класс данных (Z)
версионированные/слабо изменённые данные
Адресная цель
н/п
Предсказанный рычаг
recall-прирост на multiversion-корпусе (предсказание: >=10 п.п. чтобы окупиться)
Категория потолка
ближайшее совпадение + дельта
Механизм
робастность сигнатур vs ломкость криптохэша от 1 бита
Тест фальсификации
recall/precision vs simhash/CDC на multiversion; прирост <10 п.п. -> NO-GO
Полная стоимость (total_cost)
инфра/каталожная статья: вторая сигнатура на секцию + LSH-бакеты в каталоге · выигрыш: recall поиска near-dup кандидатов для AH-15.
Измеренный результат
ещё не измерено — честный null
AH-15 OPEN W1 · 2026-07-13

Near-match адрес + дельта (rsync-родня)

Если адрес указывает ближайший фрагмент матрицы и передаётся только дельта, то net-байты на версионированных данных упадут до address+delta << full, потому что соседние версии близки по содержимому.

Класс данных (Z)
код, документы, бэкап-цепочки
Адресная цель
32 Б
Предсказанный рычаг
крупный (rsync-практика, внешняя ссылка)
Категория потолка
ближайшее совпадение + дельта
Механизм
малые дельты между версиями; rolling-hash поиск ближайшего
Тест фальсификации
charged: address+delta+доля каталога vs локальный zstd-19 со словарём на multiversion; не бьёт -> NO-GO
Полная стоимость (total_cost)
address: 32 B ближайшего фрагмента · metadata: инструкции применения дельты · residual: сама дельта · amortized: rolling-hash индекс по ВСЕЙ матрице — тяжёлая каталожная статья.
Измеренный результат
ещё не измерено — честный null
AH-16 PROBED W1 · 2026-07-13

Класс невозможности: уже-сжатое/шифрованное уникальное — анти-гипотеза

Если применить любую адресацию к уникальным уже-сжатым/зашифрованным потокам, то total_cost будет строго >= исходника, потому что потоки неотличимы от случайных, hit-rate ~0, а адреса+манифест — чистый оверхед.

Класс данных (Z)
личные .jpg/.mp4/.zst, TLS-дампы
Адресная цель
н/п
Предсказанный рычаг
подтверждение границы: 0 whole-chunk hits (predicted)
Категория потолка
структурно не может выиграть (граница)
Механизм
статистическая случайность + отсутствие глобальных повторов
Тест фальсификации
hit-rate на корпусе уникального медиа; систематический ненулевой hit опроверг бы (не ожидается)
Полная стоимость (total_cost)
address+манифест: чистый оверхед · residual: весь файл · amortized: не окупается ничем — hit-rate ~0 по построению класса.
Вердикт пробы
PROBED c уточнением класса: медиа-тип как прокси «уникальности» ОПРОВЕРГНУТ — published-ассеты (jpg/mp3/gz/pdf, задеплоены на сайты) реплицированы на 93-100% и принадлежат re-share классу (адресуемы почти целиком!), тогда как доминирующий непубликуемый png-срез (2.99 ГиБ скриншотов) даёт лишь 8.82%. Граница для истинно-уникального остаётся теоретически твёрдой, но чистая проверка требует корпуса достоверно личных файлов (личная камера); правило: класс определяется ИЗМЕРЕННОЙ дубликатностью, не типом файла.
Измеренный результат
{"date":"2026-07-14","probe":"W1-unique-media-v1","by_ext":{"gz":92.59,"jpg":93.54,"mp3":100,"pdf":100,"jpeg":93.51,"png_2.99GiB":8.82},"corpus":"3347 media files 3.1 GiB (exact file-dups excluded), union 3-host occurrence pool","verdict":"PROBED","verdict_note":"PROBED c уточнением класса: медиа-тип как прокси «уникальности» ОПРОВЕРГНУТ — published-ассеты (jpg\/mp3\/gz\/pdf, задеплоены на сайты) реплицированы на 93-100% и принадлежат re-share классу (адресуемы почти целиком!), тогда как доминирующий непубликуемый png-срез (2.99 ГиБ скриншотов) даёт лишь 8.82%. Граница для истинно-уникального остаётся теоретически твёрдой, но чистая проверка требует корпуса достоверно личных файлов (личная камера); правило: класс определяется ИЗМЕРЕННОЙ дубликатностью, не типом файла.","repeated_chunk_mass_pct":12.04}
AH-17 NO-GO W1 · 2026-07-13

Инверсия на мелких уникальных файлах

Если применить чанк-адресацию к мелким уникальным файлам (<4 KiB), то total_cost станет хуже локального сжатия, потому что фиксированные издержки (манифест, адрес, каталог, sync) превышают экономию.

Класс данных (Z)
small unique files (<4 KiB)
Адресная цель
н/п
Предсказанный рычаг
измеренная точка инверсии X — правило маршрутизации для AH-18
Категория потолка
структурно не может выиграть (граница)
Механизм
константные издержки не амортизируются малым размером
Тест фальсификации
net bytes vs zstd по бинам размера; отсутствие инверсии опровергло бы (не ожидается)
Полная стоимость (total_cost)
константные статьи (манифест + ≥1 адрес + запись каталога + sync) при size→0 дают cost/size→∞; экономия ограничена размером файла.
Вердикт пробы
NO-GO — предсказанная точка инверсии X ОТСУТСТВУЕТ на реальном миксе: заряженный адресатор выигрывает во ВСЕХ бинах размера, включая <=1 КиБ (0.5225 против 0.5937), потому что мелкие файлы в реальных данных дублируются сильнее всех. Для строго-уникального файла проигрыш адресатора — арифметика (те же сжатые байты + refs + манифест), порог не нужен; правило маршрутизации router'а (AH-18) — по измеренной дубликатности, а не по размеру.
Измеренный результат
{"bins":[{"bin":"1-1024","addr":0.5225,"files":76360,"local":0.5937,"addr_wins":true},{"bin":"1025-4096","addr":0.2764,"local":0.3986,"addr_wins":true},{"bin":"4097-16384","addr":0.2313,"local":0.3311,"addr_wins":true},{"bin":"16385-65536","addr":0.197,"local":0.2922,"addr_wins":true},{"bin":"65537-262144","addr":0.1955,"local":0.3037,"addr_wins":true},{"bin":"262145-1048576","addr":0.7053,"local":0.7621,"addr_wins":true},{"bin":"1M-4M","addr":0.6237,"local":0.705,"addr_wins":true},{"bin":">4M","addr":0.2538,"local":0.3942,"addr_wins":true}],"date":"2026-07-14","probe":"W1-inversion-v1","corpus":"real 3-tree mix, 8.5 GiB, per-file transmission model, charged refs+manifest","verdict":"NO-GO","verdict_note":"NO-GO — предсказанная точка инверсии X ОТСУТСТВУЕТ на реальном миксе: заряженный адресатор выигрывает во ВСЕХ бинах размера, включая <=1 КиБ (0.5225 против 0.5937), потому что мелкие файлы в реальных данных дублируются сильнее всех. Для строго-уникального файла проигрыш адресатора — арифметика (те же сжатые байты + refs + манифест), порог не нужен; правило маршрутизации router'а (AH-18) — по измеренной дубликатности, а не по размеру."}
AH-18 GO W1 · 2026-07-13

Router: адресатор + Cubrim-1 (competitive selection)

Если построить двухфазный кодек (фаза 1: whole-file/CDC exact-dedup по матрице; фаза 2: residual в локальный кодек Cubrim-1), то total_cost на реальных смесях будет <= min(каждого поодиночке)+ε и строго лучше на смесях с dup-массой >0, потому что рычаги ортогональны.

Класс данных (Z)
реальные смешанные user-миксы
Адресная цель
н/п
Предсказанный рычаг
строгое не-ухудшение + аддитивный выигрыш на dup-массе
Категория потолка
identity-дедупликация — ссылка ≪ payload при точном совпадении
Механизм
глобальная повторность и локальная статистика не конкурируют за одни байты; regression-proof по Gotcha #4 паттерну
Тест фальсификации
порог dup-массы, ниже которого интеграционный оверхед съедает выигрыш
Полная стоимость (total_cost)
сумма фаз: dedup-статьи (AH-02/05) на покрытой массе + полный Cubrim-1 total_cost на residual + scheme-байты и границы фаз (интеграционный оверхед).
Вердикт пробы
GO — двухфазный router ИЗМЕРЕН на реальном миксе 8.79 ГиБ: 0.4504 <= min(локальный 0.5535, чистый адресатор 0.4528), с полностью заряженным каталогом 0.4533 — всё равно на 10.0 пп лучше локального; ε scheme-байтов 0.0023% (regression-proof по паттерну Gotcha #4). Эмпирический порог включения фазы 1 — резкая ступень ~10% пофайловой dup-fraction (ниже — локальный кодек, выше — адресатор в 96.6-100% случаев). zstd-3 замещал локальный кодек с обеих сторон (уровень сокращается); подстановка реального бэкенда Cubrim-1 — инженерная деталь следующего шага.
Измеренный результат
{"date":"2026-07-14","probe":"W1-router-v1","ratios":{"router":0.4504,"local_only":0.5535,"addresser_only":0.4528,"router_with_catalog":0.4533},"routing":{"files_to_local":107567,"whole_file_hits":95557,"files_to_addresser":96278},"verdict":"GO","corpus_bytes":8788989359,"deciles_note":"0-9% покрытия -> addr выбран у 1.0% файлов; >=10% -> 96.6-100%","verdict_note":"GO — двухфазный router ИЗМЕРЕН на реальном миксе 8.79 ГиБ: 0.4504 <= min(локальный 0.5535, чистый адресатор 0.4528), с полностью заряженным каталогом 0.4533 — всё равно на 10.0 пп лучше локального; ε scheme-байтов 0.0023% (regression-proof по паттерну Gotcha #4). Эмпирический порог включения фазы 1 — резкая ступень ~10% пофайловой dup-fraction (ниже — локальный кодек, выше — адресатор в 96.6-100% случаев). zstd-3 замещал локальный кодек с обеих сторон (уровень сокращается); подстановка реального бэкенда Cubrim-1 — инженерная деталь следующего шага.","catalog_bytes":25204723,"router_beats_both":true,"epsilon_scheme_bytes_pct":0.0023,"dup_fraction_enable_threshold_pct":10}
AH-19 OPEN W1 · 2026-07-13

Первая передача и коэффициент повторного обращения r

Если учесть что каждый блок матрицы был передан впервые, то глобальный net-выигрыш положителен только при r>r*~1+overhead_share на классе с коэффициентом повторного обращения r, потому что первую доставку окупают только повторные обращения.

Класс данных (Z)
popular vs long-tail контент
Адресная цель
н/п
Предсказанный рычаг
матрицу курировать по популярности, не копить всё (predicted)
Категория потолка
учёт стоимости инфраструктуры
Механизм
полная цена первой доставки + хранение*время
Тест фальсификации
r-распределение по классам; медиана r по байтам ~1 при доминирующем хвосте -> некурируемая матрица убыточна
Полная стоимость (total_cost)
глобальный баланс системы: Σ(первые передачи полной ценой) + хранение×время − Σ(повторные обращения × экономия); положителен только при r>r*≈1+overhead_share.
Измеренный результат
ещё не измерено — честный null
AH-20 OPEN W1 · 2026-07-13

Секционная (частичная) доставка матрицы

Если разбить матрицу на тематические секции и устройство держит только релевантные, то amortized matrix cost упадёт ~пропорционально доле секций при потере hit-rate меньшей этой доли, потому что данные устройства тематически локальны.

Класс данных (Z)
тематически сконцентрированные устройства
Адресная цель
н/п
Предсказанный рычаг
амортизация достижима и для малых устройств (predicted)
Категория потолка
учёт стоимости инфраструктуры
Механизм
тематическая концентрация данных устройства
Тест фальсификации
кривая hit-rate(доля секций); >50% секций для 80% hit -> локальность слаба, NO-GO
Полная стоимость (total_cost)
amortized matrix cost × доля хранимых секций против потерянного hit-rate; выигрыш = субпропорциональность потери hit.
Измеренный результат
ещё не измерено — честный null
AH-21 OPEN W1 · 2026-07-13

Стоимость доверия (Merkle/verification)

Если матрица распределённая, то каждый hit несёт полный хэш блока + Merkle-путь до доверенного корня, добавляя измеримую надбавку к address_cost, потому что доверие в открытой сети не бесплатно, а отравленная матрица = порча данных на тысячах устройств.

Класс данных (Z)
распределённая матрица (IPFS-like)
Адресная цель
н/п
Предсказанный рычаг
надбавка <5% выигрыша на высокоповторных классах (предсказание)
Категория потолка
учёт стоимости инфраструктуры
Механизм
криптоверификация каждого hit; Non-Harm требует интегрити
Тест фальсификации
замер Merkle-оверхеда на реальном манифесте типового файла
Полная стоимость (total_cost)
надбавка на каждый hit: +32 B полный хэш блока + Merkle-путь O(log) в манифесте + вычисление верификации.
Измеренный результат
ещё не измерено — честный null
AH-22 GO W1 · 2026-07-13

Charged-стенд перед экспериментами (process)

Если до измерений построить honest-accounting стенд с отдельным cost-термом на каждую ветку декодера-восстановителя, то kill-rate гипотез на модельной стадии вырастет и доля falsely-optimistic GO упадёт, потому что Cubrim-1 дважды ловил фальшивый GO на незаряженных моделях (CUBR-0026/0032).

Класс данных (Z)
process (все гипотезы трека)
Адресная цель
н/п
Предсказанный рычаг
дешёвые kill'ы до Rust; достоверные GO
Категория потолка
учёт стоимости инфраструктуры
Механизм
обобщение Gotcha #6/#8 на address+metadata+residual+amortized статьи
Тест фальсификации
первая реализация вскрывает GO, пропущенный моделью -> стенд неполон, чинить
Полная стоимость (total_cost)
process-статья: инженерная стоимость стенда; возврат — дешёвые kill'ы гипотез до Rust и достоверные GO (прецеденты фальшивых GO: CUBR-0026/0032).
Вердикт пробы
GO: kill-power стенда ПРОДЕМОНСТРИРОВАН на живой пробе — наивный дизайн W1-fragments-v1 дал фальшивый выигрыш фрагментов (residual солидным потоком против пофайловых базлайнов); заряженный честный пересчёт v1b-fair перевернул AH-07 в NO-GO. Falsification-условие (пропущенный фальшивый GO) не сработало — стенд его поймал сам.
Измеренный результат
{"date":"2026-07-14","probe":"W1-dupmass-v0","stand":"charged v0: отдельный cost-терм на каждую ветку декодера (refs, manifests, catalog, residual); naive и charged репортятся парой","verdict":"GO","verdict_note":"GO: kill-power стенда ПРОДЕМОНСТРИРОВАН на живой пробе — наивный дизайн W1-fragments-v1 дал фальшивый выигрыш фрагментов (residual солидным потоком против пофайловых базлайнов); заряженный честный пересчёт v1b-fair перевернул AH-07 в NO-GO. Falsification-условие (пропущенный фальшивый GO) не сработало — стенд его поймал сам.","first_application":{"AH-05_kill_power_pp":0.23,"AH-02_kill_power_ratio":0.0076},"kill_demonstrated":{"date":"2026-07-14","probe":"W1-fragments-v1 -> v1b-fair","false_go_caught":"solid-vs-per-file confound: naive A-arm 0.2044 'beat' per-file baselines; fair aligned re-run flipped AH-07 to NO-GO"}}
AH-23 GO W1 · 2026-07-13

Реализм корпуса: кросс-девайсные смеси, не синтетика (process)

Если корпус собрать из реальных кросс-девайсных смесей с временными снапшотами, то оценки dup-mass/hit-rate будут ниже синтетических на измеримую величину, потому что синтетика наследует статистику собственного генератора (ρ=1-ловушка Gotcha #1 в новом обличье).

Класс данных (Z)
process (корпус трека)
Адресная цель
н/п
Предсказанный рычаг
защита всех замеров трека от оптимистического смещения
Категория потолка
учёт стоимости инфраструктуры
Механизм
self-similarity генератора завышает повторность
Тест фальсификации
параллельная оценка на синтетике и реале; расхождение <10% -> синтетика допустима, гипотеза опровергнута
Полная стоимость (total_cost)
process-статья: стоимость сбора реального кросс-девайсного корпуса со снапшотами; возврат — защита всех замеров трека от оптимистического смещения синтетики (ρ=1-ловушка).
Измеренный результат
ещё не измерено — честный null
AH-24 OPEN W1 · 2026-07-13

Приватность как жёсткое ограничение dedup

Если dedup кросс-пользовательский, то hit/miss утекает информацию о чужих данных, поэтому на приватных классах допустима только convergent encryption с per-domain солью, которая убивает кросс-пользовательский dedup, потому что одинаковые открытые тексты перестают совпадать между доменами.

Класс данных (Z)
приватные данные vs публичный контент
Адресная цель
н/п
Предсказанный рычаг
privacy-safe адресатор ограничен публичным контентом + dedup внутри доверенного домена (predicted)
Категория потолка
учёт стоимости инфраструктуры
Механизм
известный класс атак на облачную дедупликацию; соль разрывает конвергентность
Тест фальсификации
модель режимов; существование режима с >=80% исходного hit-rate опровергло бы жёсткость ограничения
Полная стоимость (total_cost)
цена приватности: потерянный кросс-доменный hit-rate под convergent encryption с per-domain солью; плюс риск side-channel (hit/miss утечка) без неё.
Измеренный результат
ещё не измерено — честный null

Где Адресатор не может выиграть у локального сжатия

Волна 1 фиксирует шесть границ — явными анти-гипотезами и no-win-зонами: уникальные высокоэнтропийные данные (личные медиа, шифрованные потоки — глобально ничего не повторяется); мелкие уникальные файлы ниже точки инверсии (постоянные издержки каталога превышают любую экономию); математически генерируемые матрицы (адрес в исчерпывающий или случайный пул стоит не меньше самого содержимого); байтовая гистограмма или хэш как носитель данных (порядок теряется, а его восстановление стоит энтропию файла); long-tail-контент, запрашиваемый примерно один раз (первая передача не окупается); и фрагментные схемы, чей выигрыш вырождается в то, что уже даёт общий словарь. Крошечная ссылка фиксированного размера (десятки байт) на объект честно достижима только при точном совпадении с каталогом, где объект уже хранится; во всех остальных случаях критерий выигрыша один — ссылка со всеми учтёнными издержками должна оставаться много меньше заменяемых данных: размер ссылки — метрика для минимизации, а не жёсткий порог.