SHA256
Перевести вложения DM на R2 и обновить файловый API
This commit is contained in:
@@ -0,0 +1,94 @@
|
||||
# DM file v3: Cloudflare R2, AES-GCM, SHA-256 / Base58
|
||||
|
||||
## Назначение
|
||||
|
||||
Все **новые** файлы и голосовые сообщения DM официального PWA загружаются непосредственно в R2 `shine-dm`.
|
||||
Содержимое файлов Java-сервером не проксируется, а сервер выдаёт временные S3 PUT URL после проверки Ed25519-сессии.
|
||||
Скачивание публичное по `https://dm-files.shineup.me/<id>`: там хранится **только ciphertext**.
|
||||
Ключ AES, префикс IV, имя, MIME и размер помещаются внутрь уже E2EE-зашифрованного сообщения.
|
||||
|
||||
В v3 **нет BitTorrent, Merkle/`pieces root` и infohash**. Они сохранились только для чтения ранее отправленных DM v2.
|
||||
|
||||
## Как создаётся файл
|
||||
|
||||
- Клиент делит исходный файл на куски по **8 МиБ**; это границы шифрования, а не торрентные pieces.
|
||||
- На всё вложение генерируется новый случайный AES-256-GCM key и новый 4-байтный IV prefix.
|
||||
- Для каждой части используется отдельный 12-байтный IV: `prefix[4] || uint64_be(index)`; AAD содержит домен `chunk`, index и IV prefix. IV страниц манифеста и корня зарезервированы отдельно, как в v2.
|
||||
- Каждая часть шифруется независимо и получает идентификатор **`Base58(SHA-256(ciphertext))`**.
|
||||
- Клиент загружает части параллельно не более чем по одной (последовательно) через подписанные URL (без Multipart).
|
||||
- Список частей помещается **в один зашифрованный корневой манифест**, который также получает собственный SHA-256/Base58 ID и загружается в R2.
|
||||
- Итоговая `<S:file;v=3...>`-вставка с ключом и ссылкой на root manifest передаётся только внутри обычного E2EE DM.
|
||||
|
||||
Максимальный размер оригинального файла в этом MVP — **500 МиБ**. Обычная загрузка одного ciphertext-объекта — до `8 МиБ + 16` байт. Дополнительная проверка хеша исходного plaintext не требуется: каждый объект проверяется по SHA-256 ciphertext, а расшифрование AES-GCM аутентифицирует содержимое каждого куска и его порядковый номер.
|
||||
|
||||
## Манифест после расшифрования
|
||||
|
||||
```json
|
||||
{
|
||||
"v": 3,
|
||||
"scheme": "SHINE-DM-R2-AES-256-GCM",
|
||||
"chunkSize": 8388608,
|
||||
"fileSize": 10485760,
|
||||
"chunkCount": 2,
|
||||
"chunks": [
|
||||
{"i": 0, "id": "<Base58 SHA256 ciphertext>", "ps": 8388608, "es": 8388624},
|
||||
{"i": 1, "id": "<Base58 SHA256 ciphertext>", "ps": 2097152, "es": 2097168}
|
||||
]
|
||||
}
|
||||
```
|
||||
|
||||
`ps` — размер plaintext, `es = ps + 16` — размер ciphertext с GCM tag. Манифест и любой отдельный chunk в R2 имеют `Content-Type: application/octet-stream`; MIME исходного файла хранится **только в E2EE технической вставке**.
|
||||
|
||||
## Загрузка через R2
|
||||
|
||||
`POST /api/dm-files/prepare` с JSON `{ "fileId": "Base58_SHA256_CIPHERTEXT", "size": 8388624 }`.
|
||||
|
||||
Заголовки:
|
||||
|
||||
- `X-Shine-Session-Id`
|
||||
- `X-Shine-Time-Ms`
|
||||
- `X-Shine-Signature` — Base64 Ed25519 подписи активным session key.
|
||||
|
||||
Подписываемая UTF-8 строка:
|
||||
|
||||
```
|
||||
DM_R2_PREPARE_V1:{sessionId}:{fileId}:{size}:{timeMs}
|
||||
```
|
||||
|
||||
Сервер проверяет действующую сессию и размер, выполняет S3 `HeadObject` в `shine-dm`, затем возвращает:
|
||||
|
||||
- `exists: true` — объект уже существует и совпадает по размеру;
|
||||
- либо `exists: false`, `uploadUrl` и `requiredHeaders` для одноразового по назначению (но действующего в течение срока) S3 PUT. PUT требует `If-None-Match: *` для исключения перезаписи.
|
||||
|
||||
Срок действия ссылки: 30 минут. Сервер не проверяет SHA-256 загруженного ciphertext, поэтому клиент при чтении **обязан** проверить Base58(SHA-256(downloadedCiphertext)) перед расшифрованием. SHA-256 объекта не равен S3 ETag.
|
||||
|
||||
## Скачивание
|
||||
|
||||
1. Скачать ciphertext root manifest по адресу, записанному в E2EE-сообщении.
|
||||
2. Проверить `Base58(SHA-256(ciphertext)) == id`.
|
||||
3. Расшифровать AES-GCM и проверить структуру манифеста.
|
||||
4. Получить каждую зашифрованную часть напрямую с `dm-files.shineup.me/<id>`.
|
||||
5. Проверить SHA-256 каждой части, расшифровать AES-GCM, проверить порядок и длину.
|
||||
6. Последовательно записать исходные данные в браузерный поток сохранения или Blob fallback.
|
||||
|
||||
## Настройка Cloudflare
|
||||
|
||||
- R2 Bucket: `shine-dm`, публичный custom domain `dm-files.shineup.me` (в R2 только шифротекст).
|
||||
- Object Lifecycle: удалить объекты через 14 дней (Cloudflare выполняет удаление асинхронно).
|
||||
- CDN-кэширование разрешено: файлы могут оставаться доступными из кэша после удаления из R2, гарантий точного срока недоступности нет.
|
||||
- CORS: с origin сайта SHiNE разрешить `GET`, `HEAD`, `PUT`; `AllowedHeaders: ["*"]`; `ExposeHeaders: ["Content-Length", "ETag"]`.
|
||||
- Секреты S3 (`R2_ENDPOINT`, `R2_ACCESS_KEY_ID`, `R2_SECRET_ACCESS_KEY`) задаются **на Java-сервере**, никак не в браузере.
|
||||
- `r2.dmBucket=shine-dm` в конфигурации Java.
|
||||
- Обеспечить reverse proxy **только нового** `POST /api/dm-files/prepare` к Java-серверу (до SPA fallback), помимо уже действующего `/dm-files/*` для старых DM.
|
||||
- Токен R2 должен иметь Object Read & Write для обоих buckets `shine-files` и `shine-dm`.
|
||||
|
||||
## Совместимость
|
||||
|
||||
DM v1 и DM v2 читаются прежними обработчиками (с локальных старых URL), но новые вложения генерируются **только v3**. В v2 используется BitTorrent v2, в v3 — нет. Старым клиентам v3 необходимо обновление: это новая версия технической вставки. Бинарный формат E2EE-контейнера DM и его криптопротокол не меняются.
|
||||
|
||||
## Границы MVP и ограничения
|
||||
|
||||
- Нет Multipart Upload в S3, нет возобновления одного незавершённого PUT.
|
||||
- Java-сервер не доказывает соответствие присланных байтов объявленному SHA-256; повреждённые объекты обнаруживаются получателем. Подмена первого объекта до дедупликации требует отдельной доверенной проверки в будущем.
|
||||
- Заявленный размер и URL не защищают от всех злоупотреблений: для публичного запуска дополнительно нужны лимиты и мониторинг R2-расходов.
|
||||
- Удаление из R2 не удаляет уже скачанные копии, CDN-кэш и копии у получателей.
|
||||
Reference in New Issue
Block a user