7.5 KiB
TODO — DM-вложения: один объект Cloudflare R2 на один файл
Статус: отложено, не реализовано. 17.11.2026. Не вносить изменения в рабочий код без отдельного решения.
Что хотим
Перейти от хранения DM-вложения как набора отдельных зашифрованных объектов и отдельного манифеста к схеме «одно вложение пользователя = один зашифрованный объект R2» (корзина shine-dm). Это касается и голосовых вложений, если они используют тот же механизм.
Сейчас (после патча DM 64 МиБ): исходный файл до 500 МиБ шифруется клиентом по 64 МиБ с AES-256-GCM; каждый блок записывается отдельным объектом в R2, плюс зашифрованный манифест. Например, 500 МиБ = 8 блоков + 1 манифест = 9 объектов.
Предполагаемая будущая схема (обсудить до реализации)
- Оставить логическое шифрование частями, например по 64 МиБ, чтобы не держать исходный файл на 500 МиБ целиком в памяти. Каждый блок шифруется/аутентифицируется независимо, как и сейчас; соблюдать уникальность nonce/IV и корректную аутентификацию метаданных.
- Небольшой файл: обычный
PutObject(один объект). Крупный файл: S3 Multipart Upload в R2 (CreateMultipartUpload→UploadPart→CompleteMultipartUpload; при сбоеAbortMultipartUpload). При Multipart каждый зашифрованный блок может стать частью одного конечного объекта. Java-сервер только управляет разрешениями и завершением загрузки, байты файла по-прежнему идут из браузера напрямую в R2. - Убрать отдельный объект-манифест для нового формата. Сведения для расшифровки и границ блоков положить в защищённые метаданные E2EE DM либо в аутентифицированный заголовок единого объекта. Определить строгую версию формата (условно DM-file v4), смещения блоков, размер последнего блока, формат nonce/тегов и правила проверки целостности. Старые форматы не менять.
- ID объекта: рассмотреть
Base58(32 криптографически случайных байт), чтобы знать имя до начала загрузки, вместоBase58(SHA-256(ciphertext)). 32 байта, не 32 бита. Случайный ID не является проверкой целостности: AES-GCM и аутентифицированные метаданные обязаны обеспечивать целостность каждого блока и файла в целом. Не допускать перезаписи существующего ID. - Получение: по возможности один GET с потоковой обработкой и расшифровкой по 64 МиБ; либо HTTP Range. Обязательно проверить Firefox, Safari, Android/iOS PWA, CORS и память при скачивании/сохранении большого файла. Несколько Range-запросов остаются несколькими платными операциями чтения, даже когда объект один.
- Сохранить: E2EE (ключи не поступают на сервер/R2), прямую загрузку, федерацию/access-server отправителя, лимит 500 МиБ на первом этапе, срок хранения 14 дней, работу старых DM v1/v2/v3 (включая v3 по 8 и по 64 МиБ), существующие пользовательские сценарии. Не менять бинарный контейнер обычного DM без отдельной необходимости.
- Сервер/API и устойчивость: нужны новые подписанные операции Multipart, привязка
uploadIdк пользователю/файлу/лимитам, валидация частей иETag, запрет чужогоComplete/Abort, ограничение числа операций, очистка незавершённых загрузок, повтор неудачной части, тесты ошибок и документация. Проверить, что штатное удаление через 14 дней распространяется на итоговый объект.
Экономика R2 — не обещать экономии заранее
Для Standard на 17.11.2026: Class A (записи) — $4,50/млн, Class B (чтения) — $0,36/млн, хранение — $0,015/ГБ-месяц; бесплатный месячный лимит — 1 млн A, 10 млн B, 10 ГБ-месяц. Стоимость определяется операциями и объёмом, а не непосредственно числом объектов.
Пример для 500 МиБ, без повторов/HEAD/дополнительных операций:
| Вариант | Class A при загрузке | Class B при одном полном скачивании |
|---|---|---|
| Отдельные 8 блоков по 64 МиБ + манифест (текущее) | 9 PUT | 9 GET |
| Один объект через Multipart: 8 частей + start + complete | 10 | 1 GET при едином запросе; до 8–9 при Range |
| Один обычный PUT целого объекта | 1 | 1 GET; но потоковая загрузка прямо из PWA требует отдельной проверки совместимости |
Multipart не гарантирует снижение платы за запись, хотя уменьшает число конечных объектов. Один потоковый PUT теоретически сокращает операции записи, но нельзя считать его надёжно работающим в браузерах без прототипа и тестов совместимости. Общий объём хранения почти тот же. Сначала собрать реальные метрики числа вложений/размеров/чтений и расходов, затем сравнить стоимость, сложность и устойчивость.
Документы для будущего изменения: docs/Personal_Messages/Файлы_DM_v3_R2.md, docs/Personal_Messages/README.md, docs/API/18_DM_File_Storage_API.md, клиент shine-UI/js/services/dm-file-service.js, серверный API и тесты. Этот TODO — план, не описание текущей реализации.