История и замысел
Идея, опередившая своё железо
Cubrim вырос из идеи, которая долго ждала подходящих инструментов. Ниже — как она появилась, для чего нужна, как устроен архиватор сегодня и почему его развитием занимаются ИИ-агенты под присмотром человека.
С чего всё началось
Замысел «универсальных матриц данных» появился у основателя ещё в студенчестве. Часть идей выглядела простыми, часть — слишком крупными, чтобы развернуть их в голове и просто прикинуть, стоят ли они того.
Тогда не хватало ни вычислительной мощности, ни носителей, чтобы проверить замысел на деле. После экспериментов с несколькими десятками подходов проект был отложен — не как провал, а как идея, опередившая доступное железо.
С появлением ИИ-агентов проверка гипотез стала быстрой и дешёвой. Это и вернуло проект к жизни: то, что раньше требовало месяцев ручной работы, теперь укладывается в управляемый цикл экспериментов.
Для чего это нужно
Cubrim — это два проекта с общим основанием. Один уже работает, другой пока остаётся исследовательской гипотезой.
Cubrim-1 — локальный архиватор
Сжатие без потерь для произвольных данных — документы, логи, бинарные файлы, датасеты — через единый конвейер. Это осязаемый артефакт, который можно измерить, и именно его развивают ИИ-агенты.
Cubrim-2 — глобальный адресатор
Теоретическая основа Cubrim-2 предполагает, что многие данные можно не хранить целиком, а адресовать к заранее посчитанным «универсальным матрицам». Это пока теория, а не продукт: она требует практической проверки, и мы её ведём.
Сжатие как третий столп
Мы предлагаем смотреть на сжатие как на третью фундаментальную задачу работы с данными — рядом с сортировкой и поиском. Чем компактнее данные, тем дешевле их хранить и передавать; для каналов с большой задержкой это особенно важно.
Зачем такой масштаб
Один из сценариев, где адресация к предрасчитанным матрицам имела бы смысл, — межпланетные каналы связи (Луна, Марс), где задержки велики и каждый байт дорог. Это не ближайшая задача, но именно такой масштаб задаёт правильные вопросы.
Как устроен Cubrim-1
Архиватор превращает поток байтов в компактный архив через фиксированный конвейер. Каждый шаг обратим — декодирование проходит его в обратную сторону и восстанавливает исходные байты точь-в-точь.
Доменизация
Входные байты становятся последовательностью значений 0–255 — исходный материал, из которого строится куб.
N-мерный куб (φ-mapping)
Каждое значение попадает в координату внутри N-мерного куба: позиция отображается в координаты через смешанно-разрядную функцию φ. По умолчанию это сетка 256×256.
Карта расстояний
Хранятся только заполненные ячейки. Вдоль каждой оси записывается расстояние до следующей заполненной точки — промежутки вместо абсолютных координат.
Кодирование длин серий (RLE)
Потоки промежутков схлопываются: серия одинаковых значений превращается в пару (значение, количество). Регулярные раскладки сжимаются особенно сильно.
Соревновательное кодирование значений
Поток значений упаковывается несколькими схемами сразу — битпак, RLE-коды, контекстный Huffman, BWT-семейство с geomix — и в архив пишется наименьший результат. Cubrim выбирает лучшую схему под конкретный файл, а не единый «уровень».
Сборка и страховка
Спереди добавляется компактный заголовок, потоки склеиваются в архив. Если путь через куб не выигрывает у хранения входа как есть, Cubrim откатывается на raw-store — поэтому результат никогда не растёт.
Режима с потерями не существует: проверка распаковки байт-в-байт встроена в каждый замер.
Посмотреть алгоритм в действииИсследование, которое не останавливается
Развитием Cubrim занимается команда ИИ-агентов в постоянном цикле — но последнее слово остаётся за человеком.
Бесконечный цикл гипотез
Агенты непрерывно генерируют и проверяют идеи сжатия: что попробовать, почему это может ужать данные и как оно показало себя на замере.
Человек в контуре
ИИ не правит код бесконтрольно. Оператор ревьюит результаты и мёржит только те ветки, которые действительно сдвинули рекорд.
Радикальная прозрачность
Каждая гипотеза публикуется в ленте эволюции — включая тупики и проигрыши. Ничего не прячем: отрицательный результат тоже результат.
Честная рамка
Честно о месте в гонке: на едином мировом корпусе Cubrim теперь #1 из 10 overall по size-weighted совокупному коэффициенту. Это не значит, что решён каждый тип: ppmd всё ещё лидирует в text, 7z силён на exe и binary, а отдельные файловые проигрыши видны на странице бенчмарка.
Кто за проектом
Над теорией универсальных матриц данных работают двое.
Павел Валентов
Основатель, автор идеи
Придумал замысел универсальных матриц данных и ведёт разработку Cubrim. Отвечает за архитектуру алгоритма и направление исследований.
Екатерина Валентова
Соавтор, инженер аэрокосмической техники
Соавтор «Универсальных матриц данных Валентовых». Её область — анализ сценариев применения в каналах с ограниченной полосой и большой задержкой, включая межпланетную связь.
Cubrim — часть экосистемы Arcanada.
Следите за гонкой
Весь процесс улучшений открыт. Каждая идея, каждый замер и каждый вердикт публикуются по мере событий.