Files
SHiNE-server/TODO/DM_R2_SINGLE_OBJECT_FUTURE.md
T

7.5 KiB

TODO — DM-вложения: один объект Cloudflare R2 на один файл

Статус: отложено, не реализовано. 17.11.2026. Не вносить изменения в рабочий код без отдельного решения.

Что хотим

Перейти от хранения DM-вложения как набора отдельных зашифрованных объектов и отдельного манифеста к схеме «одно вложение пользователя = один зашифрованный объект R2» (корзина shine-dm). Это касается и голосовых вложений, если они используют тот же механизм.

Сейчас (после патча DM 64 МиБ): исходный файл до 500 МиБ шифруется клиентом по 64 МиБ с AES-256-GCM; каждый блок записывается отдельным объектом в R2, плюс зашифрованный манифест. Например, 500 МиБ = 8 блоков + 1 манифест = 9 объектов.

Предполагаемая будущая схема (обсудить до реализации)

  1. Оставить логическое шифрование частями, например по 64 МиБ, чтобы не держать исходный файл на 500 МиБ целиком в памяти. Каждый блок шифруется/аутентифицируется независимо, как и сейчас; соблюдать уникальность nonce/IV и корректную аутентификацию метаданных.
  2. Небольшой файл: обычный PutObject (один объект). Крупный файл: S3 Multipart Upload в R2 (CreateMultipartUpload → UploadPart → CompleteMultipartUpload; при сбое AbortMultipartUpload). При Multipart каждый зашифрованный блок может стать частью одного конечного объекта. Java-сервер только управляет разрешениями и завершением загрузки, байты файла по-прежнему идут из браузера напрямую в R2.
  3. Убрать отдельный объект-манифест для нового формата. Сведения для расшифровки и границ блоков положить в защищённые метаданные E2EE DM либо в аутентифицированный заголовок единого объекта. Определить строгую версию формата (условно DM-file v4), смещения блоков, размер последнего блока, формат nonce/тегов и правила проверки целостности. Старые форматы не менять.
  4. ID объекта: рассмотреть Base58(32 криптографически случайных байт), чтобы знать имя до начала загрузки, вместо Base58(SHA-256(ciphertext)). 32 байта, не 32 бита. Случайный ID не является проверкой целостности: AES-GCM и аутентифицированные метаданные обязаны обеспечивать целостность каждого блока и файла в целом. Не допускать перезаписи существующего ID.
  5. Получение: по возможности один GET с потоковой обработкой и расшифровкой по 64 МиБ; либо HTTP Range. Обязательно проверить Firefox, Safari, Android/iOS PWA, CORS и память при скачивании/сохранении большого файла. Несколько Range-запросов остаются несколькими платными операциями чтения, даже когда объект один.
  6. Сохранить: E2EE (ключи не поступают на сервер/R2), прямую загрузку, федерацию/access-server отправителя, лимит 500 МиБ на первом этапе, срок хранения 14 дней, работу старых DM v1/v2/v3 (включая v3 по 8 и по 64 МиБ), существующие пользовательские сценарии. Не менять бинарный контейнер обычного DM без отдельной необходимости.
  7. Сервер/API и устойчивость: нужны новые подписанные операции Multipart, привязка uploadId к пользователю/файлу/лимитам, валидация частей и ETag, запрет чужого Complete/Abort, ограничение числа операций, очистка незавершённых загрузок, повтор неудачной части, тесты ошибок и документация. Проверить, что штатное удаление через 14 дней распространяется на итоговый объект.

Экономика R2 — не обещать экономии заранее

Для Standard на 17.11.2026: Class A (записи) — $4,50/млн, Class B (чтения) — $0,36/млн, хранение — $0,015/ГБ-месяц; бесплатный месячный лимит — 1 млн A, 10 млн B, 10 ГБ-месяц. Стоимость определяется операциями и объёмом, а не непосредственно числом объектов.

Пример для 500 МиБ, без повторов/HEAD/дополнительных операций:

Вариант Class A при загрузке Class B при одном полном скачивании
Отдельные 8 блоков по 64 МиБ + манифест (текущее) 9 PUT 9 GET
Один объект через Multipart: 8 частей + start + complete 10 1 GET при едином запросе; до 8–9 при Range
Один обычный PUT целого объекта 1 1 GET; но потоковая загрузка прямо из PWA требует отдельной проверки совместимости

Multipart не гарантирует снижение платы за запись, хотя уменьшает число конечных объектов. Один потоковый PUT теоретически сокращает операции записи, но нельзя считать его надёжно работающим в браузерах без прототипа и тестов совместимости. Общий объём хранения почти тот же. Сначала собрать реальные метрики числа вложений/размеров/чтений и расходов, затем сравнить стоимость, сложность и устойчивость.

Документы для будущего изменения: docs/Personal_Messages/Файлы_DM_v3_R2.md, docs/Personal_Messages/README.md, docs/API/18_DM_File_Storage_API.md, клиент shine-UI/js/services/dm-file-service.js, серверный API и тесты. Этот TODO — план, не описание текущей реализации.