Files
SHiNE-server/docs/Personal_Messages/Файлы_DM_v3_R2.md
T

95 lines
8.2 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# DM file v3: Cloudflare R2, AES-GCM, SHA-256 / Base58
## Назначение
Все **новые** файлы и голосовые сообщения DM официального PWA загружаются непосредственно в R2 `shine-dm`.
Содержимое файлов Java-сервером не проксируется, а сервер выдаёт временные S3 PUT URL после проверки Ed25519-сессии.
Скачивание публичное по `https://dm-files.shineup.me/<id>`: там хранится **только ciphertext**.
Ключ AES, префикс IV, имя, MIME и размер помещаются внутрь уже E2EE-зашифрованного сообщения.
В v3 **нет BitTorrent, Merkle/`pieces root` и infohash**. Они сохранились только для чтения ранее отправленных DM v2.
## Как создаётся файл
- Клиент делит исходный файл на куски по **8 МиБ**; это границы шифрования, а не торрентные pieces.
- На всё вложение генерируется новый случайный AES-256-GCM key и новый 4-байтный IV prefix.
- Для каждой части используется отдельный 12-байтный IV: `prefix[4] || uint64_be(index)`; AAD содержит домен `chunk`, index и IV prefix. IV страниц манифеста и корня зарезервированы отдельно, как в v2.
- Каждая часть шифруется независимо и получает идентификатор **`Base58(SHA-256(ciphertext))`**.
- Клиент загружает части параллельно не более чем по одной (последовательно) через подписанные URL (без Multipart).
- Список частей помещается **в один зашифрованный корневой манифест**, который также получает собственный SHA-256/Base58 ID и загружается в R2.
- Итоговая `<S:file;v=3...>`-вставка с ключом и ссылкой на root manifest передаётся только внутри обычного E2EE DM.
Максимальный размер оригинального файла в этом MVP — **500 МиБ**. Обычная загрузка одного ciphertext-объекта — до `8 МиБ + 16` байт. Дополнительная проверка хеша исходного plaintext не требуется: каждый объект проверяется по SHA-256 ciphertext, а расшифрование AES-GCM аутентифицирует содержимое каждого куска и его порядковый номер.
## Манифест после расшифрования
```json
{
"v": 3,
"scheme": "SHINE-DM-R2-AES-256-GCM",
"chunkSize": 8388608,
"fileSize": 10485760,
"chunkCount": 2,
"chunks": [
{"i": 0, "id": "<Base58 SHA256 ciphertext>", "ps": 8388608, "es": 8388624},
{"i": 1, "id": "<Base58 SHA256 ciphertext>", "ps": 2097152, "es": 2097168}
]
}
```
`ps` — размер plaintext, `es = ps + 16` — размер ciphertext с GCM tag. Манифест и любой отдельный chunk в R2 имеют `Content-Type: application/octet-stream`; MIME исходного файла хранится **только в E2EE технической вставке**.
## Загрузка через R2
`POST /api/dm-files/prepare` с JSON `{ "fileId": "Base58_SHA256_CIPHERTEXT", "size": 8388624 }`.
Заголовки:
- `X-Shine-Session-Id`
- `X-Shine-Time-Ms`
- `X-Shine-Signature` — Base64 Ed25519 подписи активным session key.
Подписываемая UTF-8 строка:
```
DM_R2_PREPARE_V1:{sessionId}:{fileId}:{size}:{timeMs}
```
Сервер проверяет действующую сессию и размер, выполняет S3 `HeadObject` в `shine-dm`, затем возвращает:
- `exists: true` — объект уже существует и совпадает по размеру;
- либо `exists: false`, `uploadUrl` и `requiredHeaders` для одноразового по назначению (но действующего в течение срока) S3 PUT. PUT требует `If-None-Match: *` для исключения перезаписи.
Срок действия ссылки: 30 минут. Сервер не проверяет SHA-256 загруженного ciphertext, поэтому клиент при чтении **обязан** проверить Base58(SHA-256(downloadedCiphertext)) перед расшифрованием. SHA-256 объекта не равен S3 ETag.
## Скачивание
1. Скачать ciphertext root manifest по адресу, записанному в E2EE-сообщении.
2. Проверить `Base58(SHA-256(ciphertext)) == id`.
3. Расшифровать AES-GCM и проверить структуру манифеста.
4. Получить каждую зашифрованную часть напрямую с `dm-files.shineup.me/<id>`.
5. Проверить SHA-256 каждой части, расшифровать AES-GCM, проверить порядок и длину.
6. Последовательно записать исходные данные в браузерный поток сохранения или Blob fallback.
## Настройка Cloudflare
- R2 Bucket: `shine-dm`, публичный custom domain `dm-files.shineup.me` (в R2 только шифротекст).
- Object Lifecycle: удалить объекты через 14 дней (Cloudflare выполняет удаление асинхронно).
- CDN-кэширование разрешено: файлы могут оставаться доступными из кэша после удаления из R2, гарантий точного срока недоступности нет.
- CORS: с origin сайта SHiNE разрешить `GET`, `HEAD`, `PUT`; `AllowedHeaders: ["*"]`; `ExposeHeaders: ["Content-Length", "ETag"]`.
- Секреты S3 (`R2_ENDPOINT`, `R2_ACCESS_KEY_ID`, `R2_SECRET_ACCESS_KEY`) задаются **на Java-сервере**, никак не в браузере.
- `r2.dmBucket=shine-dm` в конфигурации Java.
- Обеспечить reverse proxy **только нового** `POST /api/dm-files/prepare` к Java-серверу (до SPA fallback), помимо уже действующего `/dm-files/*` для старых DM.
- Токен R2 должен иметь Object Read & Write для обоих buckets `shine-files` и `shine-dm`.
## Совместимость
DM v1 и DM v2 читаются прежними обработчиками (с локальных старых URL), но новые вложения генерируются **только v3**. В v2 используется BitTorrent v2, в v3 — нет. Старым клиентам v3 необходимо обновление: это новая версия технической вставки. Бинарный формат E2EE-контейнера DM и его криптопротокол не меняются.
## Границы MVP и ограничения
- Нет Multipart Upload в S3, нет возобновления одного незавершённого PUT.
- Java-сервер не доказывает соответствие присланных байтов объявленному SHA-256; повреждённые объекты обнаруживаются получателем. Подмена первого объекта до дедупликации требует отдельной доверенной проверки в будущем.
- Заявленный размер и URL не защищают от всех злоупотреблений: для публичного запуска дополнительно нужны лимиты и мониторинг R2-расходов.
- Удаление из R2 не удаляет уже скачанные копии, CDN-кэш и копии у получателей.