Files
SHiNE-server/docs/Personal_Messages/Файлы_DM_v3_R2.md
T

8.2 KiB
Raw Blame History

DM file v3: Cloudflare R2, AES-GCM, SHA-256 / Base58

Назначение

Все новые файлы и голосовые сообщения DM официального PWA загружаются непосредственно в R2 shine-dm. Содержимое файлов Java-сервером не проксируется, а сервер выдаёт временные S3 PUT URL после проверки Ed25519-сессии. Скачивание публичное по https://dm-files.shineup.me/<id>: там хранится только ciphertext. Ключ AES, префикс IV, имя, MIME и размер помещаются внутрь уже E2EE-зашифрованного сообщения.

В v3 нет BitTorrent, Merkle/pieces root и infohash. Они сохранились только для чтения ранее отправленных DM v2.

Как создаётся файл

  • Клиент делит исходный файл на куски по 8 МиБ; это границы шифрования, а не торрентные pieces.
  • На всё вложение генерируется новый случайный AES-256-GCM key и новый 4-байтный IV prefix.
  • Для каждой части используется отдельный 12-байтный IV: prefix[4] || uint64_be(index); AAD содержит домен chunk, index и IV prefix. IV страниц манифеста и корня зарезервированы отдельно, как в v2.
  • Каждая часть шифруется независимо и получает идентификатор Base58(SHA-256(ciphertext)).
  • Клиент загружает части параллельно не более чем по одной (последовательно) через подписанные URL (без Multipart).
  • Список частей помещается в один зашифрованный корневой манифест, который также получает собственный SHA-256/Base58 ID и загружается в R2.
  • Итоговая <S:file;v=3...>-вставка с ключом и ссылкой на root manifest передаётся только внутри обычного E2EE DM.

Максимальный размер оригинального файла в этом MVP — 500 МиБ. Обычная загрузка одного ciphertext-объекта — до 8 МиБ + 16 байт. Дополнительная проверка хеша исходного plaintext не требуется: каждый объект проверяется по SHA-256 ciphertext, а расшифрование AES-GCM аутентифицирует содержимое каждого куска и его порядковый номер.

Манифест после расшифрования

{
  "v": 3,
  "scheme": "SHINE-DM-R2-AES-256-GCM",
  "chunkSize": 8388608,
  "fileSize": 10485760,
  "chunkCount": 2,
  "chunks": [
    {"i": 0, "id": "<Base58 SHA256 ciphertext>", "ps": 8388608, "es": 8388624},
    {"i": 1, "id": "<Base58 SHA256 ciphertext>", "ps": 2097152, "es": 2097168}
  ]
}

ps — размер plaintext, es = ps + 16 — размер ciphertext с GCM tag. Манифест и любой отдельный chunk в R2 имеют Content-Type: application/octet-stream; MIME исходного файла хранится только в E2EE технической вставке.

Загрузка через R2

POST /api/dm-files/prepare с JSON { "fileId": "Base58_SHA256_CIPHERTEXT", "size": 8388624 }.

Заголовки:

  • X-Shine-Session-Id
  • X-Shine-Time-Ms
  • X-Shine-Signature — Base64 Ed25519 подписи активным session key.

Подписываемая UTF-8 строка:

DM_R2_PREPARE_V1:{sessionId}:{fileId}:{size}:{timeMs}

Сервер проверяет действующую сессию и размер, выполняет S3 HeadObject в shine-dm, затем возвращает:

  • exists: true — объект уже существует и совпадает по размеру;
  • либо exists: false, uploadUrl и requiredHeaders для одноразового по назначению (но действующего в течение срока) S3 PUT. PUT требует If-None-Match: * для исключения перезаписи.

Срок действия ссылки: 30 минут. Сервер не проверяет SHA-256 загруженного ciphertext, поэтому клиент при чтении обязан проверить Base58(SHA-256(downloadedCiphertext)) перед расшифрованием. SHA-256 объекта не равен S3 ETag.

Скачивание

  1. Скачать ciphertext root manifest по адресу, записанному в E2EE-сообщении.
  2. Проверить Base58(SHA-256(ciphertext)) == id.
  3. Расшифровать AES-GCM и проверить структуру манифеста.
  4. Получить каждую зашифрованную часть напрямую с dm-files.shineup.me/<id>.
  5. Проверить SHA-256 каждой части, расшифровать AES-GCM, проверить порядок и длину.
  6. Последовательно записать исходные данные в браузерный поток сохранения или Blob fallback.

Настройка Cloudflare

  • R2 Bucket: shine-dm, публичный custom domain dm-files.shineup.me (в R2 только шифротекст).
  • Object Lifecycle: удалить объекты через 14 дней (Cloudflare выполняет удаление асинхронно).
  • CDN-кэширование разрешено: файлы могут оставаться доступными из кэша после удаления из R2, гарантий точного срока недоступности нет.
  • CORS: с origin сайта SHiNE разрешить GET, HEAD, PUT; AllowedHeaders: ["*"]; ExposeHeaders: ["Content-Length", "ETag"].
  • Секреты S3 (R2_ENDPOINT, R2_ACCESS_KEY_ID, R2_SECRET_ACCESS_KEY) задаются на Java-сервере, никак не в браузере.
  • r2.dmBucket=shine-dm в конфигурации Java.
  • Обеспечить reverse proxy только нового POST /api/dm-files/prepare к Java-серверу (до SPA fallback), помимо уже действующего /dm-files/* для старых DM.
  • Токен R2 должен иметь Object Read & Write для обоих buckets shine-files и shine-dm.

Совместимость

DM v1 и DM v2 читаются прежними обработчиками (с локальных старых URL), но новые вложения генерируются только v3. В v2 используется BitTorrent v2, в v3 — нет. Старым клиентам v3 необходимо обновление: это новая версия технической вставки. Бинарный формат E2EE-контейнера DM и его криптопротокол не меняются.

Границы MVP и ограничения

  • Нет Multipart Upload в S3, нет возобновления одного незавершённого PUT.
  • Java-сервер не доказывает соответствие присланных байтов объявленному SHA-256; повреждённые объекты обнаруживаются получателем. Подмена первого объекта до дедупликации требует отдельной доверенной проверки в будущем.
  • Заявленный размер и URL не защищают от всех злоупотреблений: для публичного запуска дополнительно нужны лимиты и мониторинг R2-расходов.
  • Удаление из R2 не удаляет уже скачанные копии, CDN-кэш и копии у получателей.