# DM file v3: Cloudflare R2, AES-GCM, SHA-256 / Base58 ## Назначение Все **новые** файлы и голосовые сообщения DM официального PWA загружаются непосредственно в R2 `shine-dm`. Содержимое файлов Java-сервером не проксируется, а сервер выдаёт временные S3 PUT URL после проверки Ed25519-сессии. Скачивание публичное по `https://dm-files.<домен access-сервера отправителя>/`: там хранится **только ciphertext**. Ключ AES, префикс IV, имя, MIME и размер помещаются внутрь уже E2EE-зашифрованного сообщения. В v3 **нет BitTorrent, Merkle/`pieces root` и infohash**. Они сохранились только для чтения ранее отправленных DM v2. ## Как создаётся файл - Клиент делит исходный файл на куски по **64 МиБ**; это границы шифрования, а не торрентные pieces. - На всё вложение генерируется новый случайный AES-256-GCM key и новый 4-байтный IV prefix. - Для каждой части используется отдельный 12-байтный IV: `prefix[4] || uint64_be(index)`; AAD содержит домен `chunk`, index и IV prefix. IV страниц манифеста и корня зарезервированы отдельно, как в v2. - Каждая часть шифруется независимо и получает идентификатор **`Base58(SHA-256(ciphertext))`**. - Клиент загружает части параллельно не более чем по одной (последовательно) через подписанные URL (без Multipart). - Список частей помещается **в один зашифрованный корневой манифест**, который также получает собственный SHA-256/Base58 ID и загружается в R2. - Итоговая ``-вставка с ключом и ссылкой на root manifest передаётся только внутри обычного E2EE DM. Максимальный размер оригинального файла в этом MVP — **500 МиБ**. Обычная загрузка одного ciphertext-объекта — до `64 МиБ + 16` байт (67 108 880 байт). Старые v3 с `chunkSize=8388608` по-прежнему читаются: получатель проверяет размер блока из зашифрованного манифеста, поддерживая строго 8 или 64 МиБ. Дополнительная проверка хеша исходного plaintext не требуется: каждый объект проверяется по SHA-256 ciphertext, а расшифрование AES-GCM аутентифицирует содержимое каждого куска и его порядковый номер. ## Манифест после расшифрования ```json { "v": 3, "scheme": "SHINE-DM-R2-AES-256-GCM", "chunkSize": 67108864, "fileSize": 73400320, "chunkCount": 2, "chunks": [ {"i": 0, "id": "", "ps": 67108864, "es": 67108880}, {"i": 1, "id": "", "ps": 6291456, "es": 6291472} ] } ``` `ps` — размер plaintext, `es = ps + 16` — размер ciphertext с GCM tag. Манифест и любой отдельный chunk в R2 имеют `Content-Type: application/octet-stream`; MIME исходного файла хранится **только в E2EE технической вставке**. ## Загрузка через R2 `POST /api/dm-files/prepare` с JSON `{ "fileId": "Base58_SHA256_CIPHERTEXT", "size": 67108880 }` (пример полного 64-МиБ блока ciphertext). Заголовки: - `X-Shine-Session-Id` - `X-Shine-Time-Ms` - `X-Shine-Signature` — Base64 Ed25519 подписи активным session key. Подписываемая UTF-8 строка: ``` DM_R2_PREPARE_V1:{sessionId}:{fileId}:{size}:{timeMs} ``` Сервер проверяет действующую сессию и размер, выполняет S3 `HeadObject` в `shine-dm`, затем возвращает: - `exists: true` — объект уже существует и совпадает по размеру; - либо `exists: false`, `uploadUrl` и `requiredHeaders` для одноразового по назначению (но действующего в течение срока) S3 PUT. PUT требует `If-None-Match: *` для исключения перезаписи. Срок действия ссылки: 30 минут. Сервер не проверяет SHA-256 загруженного ciphertext, поэтому клиент при чтении **обязан** проверить Base58(SHA-256(downloadedCiphertext)) перед расшифрованием. SHA-256 объекта не равен S3 ETag. ## Скачивание 1. Скачать ciphertext root manifest по адресу, записанному в E2EE-сообщении. 2. Проверить `Base58(SHA-256(ciphertext)) == id`. 3. Расшифровать AES-GCM и проверить структуру манифеста. 4. Получить каждую зашифрованную часть напрямую с `dm-files.<домен access-сервера отправителя>/`. 5. Проверить SHA-256 каждой части, расшифровать AES-GCM, проверить порядок и длину. 6. Последовательно записать исходные данные в браузерный поток сохранения или Blob fallback. ## Настройка Cloudflare - R2 Bucket: `shine-dm`, публичный custom domain `dm-files.<домен access-сервера>` (в R2 только шифротекст). - Object Lifecycle: удалить объекты через 14 дней (Cloudflare выполняет удаление асинхронно). - CDN-кэширование разрешено: файлы могут оставаться доступными из кэша после удаления из R2, гарантий точного срока недоступности нет. - CORS: с origin сайта SHiNE разрешить `GET`, `HEAD`, `PUT`; `AllowedHeaders: ["*"]`; `ExposeHeaders: ["Content-Length", "ETag"]`. - Секреты S3 (`R2_ENDPOINT`, `R2_ACCESS_KEY_ID`, `R2_SECRET_ACCESS_KEY`) задаются **на Java-сервере**, никак не в браузере. - `r2.dmBucket=shine-dm` в конфигурации Java. - Обеспечить reverse proxy **только нового** `POST /api/dm-files/prepare` к Java-серверу (до SPA fallback), помимо уже действующего `/dm-files/*` для старых DM. - Токен R2 должен иметь Object Read & Write для обоих buckets `shine-files` и `shine-dm`. ## Совместимость Новые DM v3 используют блоки по 64 МиБ, а ранее загруженные DM v3 с блоками по 8 МиБ остаются доступными на чтение. Размер блока в манифесте обязателен и проверяется (8 или 64 МиБ); версия `v=3`, формат AES-GCM/IV/AAD и HTTP API не меняются. Старые клиенты, в которых чтение v3 жёстко привязано к 8 МиБ, должны обновиться для получения новых вложений. DM v1 и DM v2 читаются прежними обработчиками (с локальных старых URL), но новые вложения генерируются **только v3**. В v2 используется BitTorrent v2, в v3 — нет. Старым клиентам v3 необходимо обновление: это новая версия технической вставки. Бинарный формат E2EE-контейнера DM и его криптопротокол не меняются. ## Границы MVP и ограничения - Нет Multipart Upload в S3, нет возобновления одного незавершённого PUT. - Java-сервер не доказывает соответствие присланных байтов объявленному SHA-256; повреждённые объекты обнаруживаются получателем. Подмена первого объекта до дедупликации требует отдельной доверенной проверки в будущем. - Заявленный размер и URL не защищают от всех злоупотреблений: для публичного запуска дополнительно нужны лимиты и мониторинг R2-расходов. - Удаление из R2 не удаляет уже скачанные копии, CDN-кэш и копии у получателей. ## Журнал выдачи R2 разрешений (PostgreSQL v42) Сервер записывает в `dm_file_uploads` одну строку **на каждый зашифрованный объект**, для которого был выдан URL, либо обнаружено существование объекта. Поля: `user_login`, `file_hash` (Base58 SHA-256 ciphertext), `file_size_bytes`, `requested_at`, `disposition`. Это *не* подтверждение успешной передачи в R2 и *не* одна строка на исходный файл: один DM может содержать много частей и манифест. Ни исходное имя, ни MIME, ни AES-ключ не попадают в журнал. Криптография и формат `S:file;v=3` не меняются. ## Обновление: отдельный R2 каждого access-сервера (16.11.2026) - Новое `` **не передаёт URL**: клиент восстанавливает `https://dm-files./` через общий REST-resolver и RAM-кэш. Старая форма v3 с `url` принимается на чтение. - `at` — время завершения загрузки манифеста (миллисекунды Unix); при его отсутствии применяется timestamp сообщения. По истечении 14 дней UI заменяет вложение пояснением, без обращения к R2 и resolver. - По требованию пользователя нет клиентского сохранения сервера в IndexedDB, повторных периодических проверок или миграции файлов. При загрузке ошибки resolver обновляется не чаще одного раза в час на отправителя; в рамках одновременных ошибок запросы объединяются. - Старые DM v1/v2 не подпадают под новое правило 14 дней, т.к. их историческое локальное хранение регулируется отдельным механизмом. - Для каждого access-сервера оператор настраивает DNS/R2 CORS/lifecycle. Java автоматически формирует URL по собственной server-PDA в PostgreSQL, отдельное `r2.dmPublicBaseUrl` не требуется. Изменений бинарного контейнера DM, AES-GCM и SHA-256 не происходит.