SHA256
36 lines
7.5 KiB
Markdown
36 lines
7.5 KiB
Markdown
# TODO — DM-вложения: один объект Cloudflare R2 на один файл
|
|
|
|
**Статус:** отложено, **не реализовано**. 17.11.2026. Не вносить изменения в рабочий код без отдельного решения.
|
|
|
|
## Что хотим
|
|
|
|
Перейти от хранения DM-вложения как набора отдельных зашифрованных объектов и отдельного манифеста к схеме **«одно вложение пользователя = один зашифрованный объект R2»** (корзина `shine-dm`). Это касается и голосовых вложений, если они используют тот же механизм.
|
|
|
|
Сейчас (после патча DM 64 МиБ): исходный файл до 500 МиБ шифруется клиентом по 64 МиБ с AES-256-GCM; каждый блок записывается отдельным объектом в R2, плюс зашифрованный манифест. Например, 500 МиБ = 8 блоков + 1 манифест = 9 объектов.
|
|
|
|
## Предполагаемая будущая схема (обсудить до реализации)
|
|
|
|
1. **Оставить логическое шифрование частями**, например по 64 МиБ, чтобы не держать исходный файл на 500 МиБ целиком в памяти. Каждый блок шифруется/аутентифицируется независимо, как и сейчас; соблюдать уникальность nonce/IV и корректную аутентификацию метаданных.
|
|
2. **Небольшой файл:** обычный `PutObject` (один объект). **Крупный файл:** S3 Multipart Upload в R2 (`CreateMultipartUpload` → `UploadPart` → `CompleteMultipartUpload`; при сбое `AbortMultipartUpload`). При Multipart каждый зашифрованный блок может стать частью *одного* конечного объекта. Java-сервер только управляет разрешениями и завершением загрузки, байты файла по-прежнему идут из браузера напрямую в R2.
|
|
3. **Убрать отдельный объект-манифест для нового формата.** Сведения для расшифровки и границ блоков положить в защищённые метаданные E2EE DM либо в аутентифицированный заголовок единого объекта. Определить строгую версию формата (условно DM-file v4), смещения блоков, размер последнего блока, формат nonce/тегов и правила проверки целостности. Старые форматы не менять.
|
|
4. **ID объекта:** рассмотреть `Base58(32 криптографически случайных байт)`, чтобы знать имя до начала загрузки, вместо `Base58(SHA-256(ciphertext))`. 32 *байта*, не 32 бита. Случайный ID не является проверкой целостности: AES-GCM и аутентифицированные метаданные обязаны обеспечивать целостность каждого блока и файла в целом. Не допускать перезаписи существующего ID.
|
|
5. **Получение:** по возможности один GET с потоковой обработкой и расшифровкой по 64 МиБ; либо HTTP Range. Обязательно проверить Firefox, Safari, Android/iOS PWA, CORS и память при скачивании/сохранении большого файла. Несколько Range-запросов остаются несколькими платными операциями чтения, даже когда объект один.
|
|
6. **Сохранить:** E2EE (ключи не поступают на сервер/R2), прямую загрузку, федерацию/access-server отправителя, лимит 500 МиБ на первом этапе, срок хранения 14 дней, работу старых DM v1/v2/v3 (включая v3 по 8 и по 64 МиБ), существующие пользовательские сценарии. Не менять бинарный контейнер обычного DM без отдельной необходимости.
|
|
7. **Сервер/API и устойчивость:** нужны новые подписанные операции Multipart, привязка `uploadId` к пользователю/файлу/лимитам, валидация частей и `ETag`, запрет чужого `Complete`/`Abort`, ограничение числа операций, очистка незавершённых загрузок, повтор неудачной части, тесты ошибок и документация. Проверить, что штатное удаление через 14 дней распространяется на итоговый объект.
|
|
|
|
## Экономика R2 — не обещать экономии заранее
|
|
|
|
Для **Standard** на 17.11.2026: Class A (записи) — $4,50/млн, Class B (чтения) — $0,36/млн, хранение — $0,015/ГБ-месяц; бесплатный месячный лимит — 1 млн A, 10 млн B, 10 ГБ-месяц. Стоимость определяется операциями и объёмом, а не непосредственно числом объектов.
|
|
|
|
Пример для **500 МиБ**, без повторов/HEAD/дополнительных операций:
|
|
|
|
| Вариант | Class A при загрузке | Class B при одном полном скачивании |
|
|
| --- | ---: | ---: |
|
|
| Отдельные 8 блоков по 64 МиБ + манифест (текущее) | 9 PUT | 9 GET |
|
|
| Один объект через Multipart: 8 частей + start + complete | 10 | 1 GET при едином запросе; до 8–9 при Range |
|
|
| Один обычный PUT целого объекта | 1 | 1 GET; но потоковая загрузка прямо из PWA требует отдельной проверки совместимости |
|
|
|
|
Multipart **не гарантирует снижение платы за запись**, хотя уменьшает число конечных объектов. Один потоковый PUT теоретически сокращает операции записи, но нельзя считать его надёжно работающим в браузерах без прототипа и тестов совместимости. Общий объём хранения почти тот же. Сначала собрать реальные метрики числа вложений/размеров/чтений и расходов, затем сравнить стоимость, сложность и устойчивость.
|
|
|
|
**Документы для будущего изменения:** `docs/Personal_Messages/Файлы_DM_v3_R2.md`, `docs/Personal_Messages/README.md`, `docs/API/18_DM_File_Storage_API.md`, клиент `shine-UI/js/services/dm-file-service.js`, серверный API и тесты. Этот TODO — план, **не описание текущей реализации**.
|