9.0 KiB
DM file v3: Cloudflare R2, AES-GCM, SHA-256 / Base58
Назначение
Все новые файлы и голосовые сообщения DM официального PWA загружаются непосредственно в R2 shine-dm.
Содержимое файлов Java-сервером не проксируется, а сервер выдаёт временные S3 PUT URL после проверки Ed25519-сессии.
Скачивание публичное по https://dm-files.shineup.me/<id>: там хранится только ciphertext.
Ключ AES, префикс IV, имя, MIME и размер помещаются внутрь уже E2EE-зашифрованного сообщения.
В v3 нет BitTorrent, Merkle/pieces root и infohash. Они сохранились только для чтения ранее отправленных DM v2.
Как создаётся файл
- Клиент делит исходный файл на куски по 8 МиБ; это границы шифрования, а не торрентные pieces.
- На всё вложение генерируется новый случайный AES-256-GCM key и новый 4-байтный IV prefix.
- Для каждой части используется отдельный 12-байтный IV:
prefix[4] || uint64_be(index); AAD содержит доменchunk, index и IV prefix. IV страниц манифеста и корня зарезервированы отдельно, как в v2. - Каждая часть шифруется независимо и получает идентификатор
Base58(SHA-256(ciphertext)). - Клиент загружает части параллельно не более чем по одной (последовательно) через подписанные URL (без Multipart).
- Список частей помещается в один зашифрованный корневой манифест, который также получает собственный SHA-256/Base58 ID и загружается в R2.
- Итоговая
<S:file;v=3...>-вставка с ключом и ссылкой на root manifest передаётся только внутри обычного E2EE DM.
Максимальный размер оригинального файла в этом MVP — 500 МиБ. Обычная загрузка одного ciphertext-объекта — до 8 МиБ + 16 байт. Дополнительная проверка хеша исходного plaintext не требуется: каждый объект проверяется по SHA-256 ciphertext, а расшифрование AES-GCM аутентифицирует содержимое каждого куска и его порядковый номер.
Манифест после расшифрования
{
"v": 3,
"scheme": "SHINE-DM-R2-AES-256-GCM",
"chunkSize": 8388608,
"fileSize": 10485760,
"chunkCount": 2,
"chunks": [
{"i": 0, "id": "<Base58 SHA256 ciphertext>", "ps": 8388608, "es": 8388624},
{"i": 1, "id": "<Base58 SHA256 ciphertext>", "ps": 2097152, "es": 2097168}
]
}
ps — размер plaintext, es = ps + 16 — размер ciphertext с GCM tag. Манифест и любой отдельный chunk в R2 имеют Content-Type: application/octet-stream; MIME исходного файла хранится только в E2EE технической вставке.
Загрузка через R2
POST /api/dm-files/prepare с JSON { "fileId": "Base58_SHA256_CIPHERTEXT", "size": 8388624 }.
Заголовки:
X-Shine-Session-IdX-Shine-Time-MsX-Shine-Signature— Base64 Ed25519 подписи активным session key.
Подписываемая UTF-8 строка:
DM_R2_PREPARE_V1:{sessionId}:{fileId}:{size}:{timeMs}
Сервер проверяет действующую сессию и размер, выполняет S3 HeadObject в shine-dm, затем возвращает:
exists: true— объект уже существует и совпадает по размеру;- либо
exists: false,uploadUrlиrequiredHeadersдля одноразового по назначению (но действующего в течение срока) S3 PUT. PUT требуетIf-None-Match: *для исключения перезаписи.
Срок действия ссылки: 30 минут. Сервер не проверяет SHA-256 загруженного ciphertext, поэтому клиент при чтении обязан проверить Base58(SHA-256(downloadedCiphertext)) перед расшифрованием. SHA-256 объекта не равен S3 ETag.
Скачивание
- Скачать ciphertext root manifest по адресу, записанному в E2EE-сообщении.
- Проверить
Base58(SHA-256(ciphertext)) == id. - Расшифровать AES-GCM и проверить структуру манифеста.
- Получить каждую зашифрованную часть напрямую с
dm-files.shineup.me/<id>. - Проверить SHA-256 каждой части, расшифровать AES-GCM, проверить порядок и длину.
- Последовательно записать исходные данные в браузерный поток сохранения или Blob fallback.
Настройка Cloudflare
- R2 Bucket:
shine-dm, публичный custom domaindm-files.shineup.me(в R2 только шифротекст). - Object Lifecycle: удалить объекты через 14 дней (Cloudflare выполняет удаление асинхронно).
- CDN-кэширование разрешено: файлы могут оставаться доступными из кэша после удаления из R2, гарантий точного срока недоступности нет.
- CORS: с origin сайта SHiNE разрешить
GET,HEAD,PUT;AllowedHeaders: ["*"];ExposeHeaders: ["Content-Length", "ETag"]. - Секреты S3 (
R2_ENDPOINT,R2_ACCESS_KEY_ID,R2_SECRET_ACCESS_KEY) задаются на Java-сервере, никак не в браузере. r2.dmBucket=shine-dmв конфигурации Java.- Обеспечить reverse proxy только нового
POST /api/dm-files/prepareк Java-серверу (до SPA fallback), помимо уже действующего/dm-files/*для старых DM. - Токен R2 должен иметь Object Read & Write для обоих buckets
shine-filesиshine-dm.
Совместимость
DM v1 и DM v2 читаются прежними обработчиками (с локальных старых URL), но новые вложения генерируются только v3. В v2 используется BitTorrent v2, в v3 — нет. Старым клиентам v3 необходимо обновление: это новая версия технической вставки. Бинарный формат E2EE-контейнера DM и его криптопротокол не меняются.
Границы MVP и ограничения
- Нет Multipart Upload в S3, нет возобновления одного незавершённого PUT.
- Java-сервер не доказывает соответствие присланных байтов объявленному SHA-256; повреждённые объекты обнаруживаются получателем. Подмена первого объекта до дедупликации требует отдельной доверенной проверки в будущем.
- Заявленный размер и URL не защищают от всех злоупотреблений: для публичного запуска дополнительно нужны лимиты и мониторинг R2-расходов.
- Удаление из R2 не удаляет уже скачанные копии, CDN-кэш и копии у получателей.
Журнал выдачи R2 разрешений (PostgreSQL v42)
Сервер записывает в dm_file_uploads одну строку на каждый зашифрованный объект, для которого был выдан URL, либо обнаружено существование объекта. Поля: user_login, file_hash (Base58 SHA-256 ciphertext), file_size_bytes, requested_at, disposition. Это не подтверждение успешной передачи в R2 и не одна строка на исходный файл: один DM может содержать много частей и манифест. Ни исходное имя, ни MIME, ни AES-ключ не попадают в журнал. Криптография и формат S:file;v=3 не меняются.