From 1f066298381c6e7d5a741a34922788a456aa4ba32b41d4f766a6f36769137156 Mon Sep 17 00:00:00 2001 From: AidarKC Date: Tue, 17 Nov 2026 01:09:16 +0300 Subject: [PATCH] =?UTF-8?q?=D0=A3=D0=B2=D0=B5=D0=BB=D0=B8=D1=87=D0=B8?= =?UTF-8?q?=D1=82=D1=8C=20=D1=80=D0=B0=D0=B7=D0=BC=D0=B5=D1=80=20=D1=87?= =?UTF-8?q?=D0=B0=D1=81=D1=82=D0=B5=D0=B9=20DM=20=D0=B4=D0=BE=2064=20?= =?UTF-8?q?=D0=9C=D0=B8=D0=91?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../java/server/files/R2DmPrepareServlet.java | 2 +- VERSION.properties | 4 +- docs/API/18_DM_File_Storage_API.md | 4 +- .../Технические_вставки_DM_v1.md | 2 +- docs/Personal_Messages/Файлы_DM_v3_R2.md | 16 ++-- scripts/tests/test-dm-r2-v3.mjs | 82 +++++++++++++++---- shine-UI/js/services/dm-file-service.js | 18 ++-- 7 files changed, 95 insertions(+), 33 deletions(-) diff --git a/SHiNE-server/src/main/java/server/files/R2DmPrepareServlet.java b/SHiNE-server/src/main/java/server/files/R2DmPrepareServlet.java index 61f77fe4..29decac8 100644 --- a/SHiNE-server/src/main/java/server/files/R2DmPrepareServlet.java +++ b/SHiNE-server/src/main/java/server/files/R2DmPrepareServlet.java @@ -30,7 +30,7 @@ import java.util.regex.Pattern; public final class R2DmPrepareServlet extends HttpServlet { private static final ObjectMapper JSON = new ObjectMapper(); private static final Pattern FILE_ID = Pattern.compile("^[1-9A-HJ-NP-Za-km-z]{32,44}$"); - private static final long MAX_OBJECT_BYTES = 8L * 1024L * 1024L + 16L; + private static final long MAX_OBJECT_BYTES = 64L * 1024L * 1024L + 16L; private static final String CONTENT_TYPE = "application/octet-stream"; @Override protected void doOptions(HttpServletRequest req, HttpServletResponse resp) { diff --git a/VERSION.properties b/VERSION.properties index 6b4c2c6a..8d52311d 100644 --- a/VERSION.properties +++ b/VERSION.properties @@ -1,2 +1,2 @@ -client.version=1.20.55 -server.version=1.16.28 +client.version=1.20.56 +server.version=1.16.29 diff --git a/docs/API/18_DM_File_Storage_API.md b/docs/API/18_DM_File_Storage_API.md index 94b5deb5..79ef1daf 100644 --- a/docs/API/18_DM_File_Storage_API.md +++ b/docs/API/18_DM_File_Storage_API.md @@ -1,6 +1,6 @@ # HTTP API зашифрованных файлов личных сообщений -> **Текущий протокол DM v3 (2026-11):** новые вложения отправляются напрямую в R2 `shine-dm` после `POST /api/dm-files/prepare`; скачиваются по `https://dm-files.<домен access-сервера отправителя>/`. Большие файлы шифруются по 8 МиБ AES-256-GCM, список объектов находится в зашифрованном манифесте; BitTorrent v2 используется только в старых DM v2. Ниже разделы `PUT /dm-files/{fileId}` и `GET /dm-files/{fileId}` описывают **legacy** локальный сервер для v1/v2, а не новый R2. Полный текущий контракт см. `docs/Personal_Messages/Файлы_DM_v3_R2.md`. +> **Текущий протокол DM v3 (2026-11):** новые вложения отправляются напрямую в R2 `shine-dm` после `POST /api/dm-files/prepare`; скачиваются по `https://dm-files.<домен access-сервера отправителя>/`. Новые файлы шифруются по 64 МиБ AES-256-GCM (старые v3 по 8 МиБ читаются), список объектов находится в зашифрованном манифесте; BitTorrent v2 используется только в старых DM v2. Ниже разделы `PUT /dm-files/{fileId}` и `GET /dm-files/{fileId}` описывают **legacy** локальный сервер для v1/v2, а не новый R2. Полный текущий контракт см. `docs/Personal_Messages/Файлы_DM_v3_R2.md`. > **Статистика v42:** сервер при успешной выдаче presigned URL или обнаружении уже существующего шифротекста добавляет запись в `dm_file_uploads` (`user_login`, `file_hash`, `file_size_bytes`, `requested_at`, `disposition`). Каждая зашифрованная часть/манифест — отдельный объект, имена и MIME исходного файла не сохраняются. **Запись не доказывает успешный PUT.** Шифрование, DM-протокол и клиент не изменяются. @@ -121,7 +121,7 @@ Caddy/Nginx должен проксировать `/dm-files/*` в тот же J Новые зашифрованные вложения загружаются браузером прямо в R2. Клиент посылает JSON `{ "fileId": "Base58_SHA256(ciphertext)", "size": 12345 }` и подписанные заголовки `X-Shine-Session-Id`, `X-Shine-Time-Ms`, `X-Shine-Signature`. Строка Ed25519-подписи: `DM_R2_PREPARE_V1:{sessionId}:{fileId}:{size}:{timeMs}`. Сервер подтверждает существование объекта или выдаёт `uploadUrl` и `requiredHeaders` с условием `If-None-Match: *`. -Максимальный размер одного ciphertext-объекта — 8 МиБ + 16 байт. Подписанный PUT действителен 30 минут. Загрузка не идёт через Java. Новый URL скачивания: `https://dm-files.<домен access-сервера отправителя>/`; GET публичный, но объект содержит только AES-GCM ciphertext. R2 объект содержит `Content-Type: application/octet-stream`; исходный MIME хранится внутри зашифрованного ``. +Максимальный размер одного ciphertext-объекта для R2 DM v3 — **64 МиБ + 16 байт** (67 108 880 байт). Новые вложения используют куски по 64 МиБ, а старые v3 с 8 МиБ продолжают читаться по `chunkSize` из зашифрованного манифеста. Максимальный размер исходного вложения остаётся 500 МиБ. Legacy `dm.files.maxBytes` не меняется. Подписанный PUT действителен 30 минут. Загрузка не идёт через Java. Новый URL скачивания: `https://dm-files.<домен access-сервера отправителя>/`; GET публичный, но объект содержит только AES-GCM ciphertext. R2 объект содержит `Content-Type: application/octet-stream`; исходный MIME хранится внутри зашифрованного ``. Доступ к R2 требует настроек `r2.dmBucket=shine-dm` и серверных `R2_ENDPOINT`, `R2_ACCESS_KEY_ID`, `R2_SECRET_ACCESS_KEY`. Рекомендуется lifecycle rule **14 дней**. Кэш CDN допускается и может продлить доступность ciphertext после удаления из R2. Сервер не гарантирует соответствие загруженных байтов hash: читающий клиент проверяет `Base58(SHA-256(ciphertext))`. Полный формат DM v3 описан в `docs/Personal_Messages/Файлы_DM_v3_R2.md`. diff --git a/docs/Personal_Messages/Технические_вставки_DM_v1.md b/docs/Personal_Messages/Технические_вставки_DM_v1.md index 6a23f468..69371883 100644 --- a/docs/Personal_Messages/Технические_вставки_DM_v1.md +++ b/docs/Personal_Messages/Технические_вставки_DM_v1.md @@ -202,7 +202,7 @@ fromLogin|toLogin|timeMs|nonce Новые вложения и голосовые сообщения отправляются только в `v=3`, при этом продолжается чтение v1 и v2: ```text - + ``` Здесь **нет** `th` или `pr`; `id` обозначает SHA-256 **зашифрованного корневого манифеста** в Base58. Все части и манифест шифруются AES-256-GCM, хранятся по `Base58(SHA-256(ciphertext))`. Встроенный MIME по-прежнему называется `mime` в DM-протоколе (сокращение `mm` касается публичного `S:att`). Бинарный E2EE-контейнер не меняется. Подробности: `Файлы_DM_v3_R2.md`. diff --git a/docs/Personal_Messages/Файлы_DM_v3_R2.md b/docs/Personal_Messages/Файлы_DM_v3_R2.md index 8477237b..fbe9cfe6 100644 --- a/docs/Personal_Messages/Файлы_DM_v3_R2.md +++ b/docs/Personal_Messages/Файлы_DM_v3_R2.md @@ -11,7 +11,7 @@ ## Как создаётся файл -- Клиент делит исходный файл на куски по **8 МиБ**; это границы шифрования, а не торрентные pieces. +- Клиент делит исходный файл на куски по **64 МиБ**; это границы шифрования, а не торрентные pieces. - На всё вложение генерируется новый случайный AES-256-GCM key и новый 4-байтный IV prefix. - Для каждой части используется отдельный 12-байтный IV: `prefix[4] || uint64_be(index)`; AAD содержит домен `chunk`, index и IV prefix. IV страниц манифеста и корня зарезервированы отдельно, как в v2. - Каждая часть шифруется независимо и получает идентификатор **`Base58(SHA-256(ciphertext))`**. @@ -19,7 +19,7 @@ - Список частей помещается **в один зашифрованный корневой манифест**, который также получает собственный SHA-256/Base58 ID и загружается в R2. - Итоговая ``-вставка с ключом и ссылкой на root manifest передаётся только внутри обычного E2EE DM. -Максимальный размер оригинального файла в этом MVP — **500 МиБ**. Обычная загрузка одного ciphertext-объекта — до `8 МиБ + 16` байт. Дополнительная проверка хеша исходного plaintext не требуется: каждый объект проверяется по SHA-256 ciphertext, а расшифрование AES-GCM аутентифицирует содержимое каждого куска и его порядковый номер. +Максимальный размер оригинального файла в этом MVP — **500 МиБ**. Обычная загрузка одного ciphertext-объекта — до `64 МиБ + 16` байт (67 108 880 байт). Старые v3 с `chunkSize=8388608` по-прежнему читаются: получатель проверяет размер блока из зашифрованного манифеста, поддерживая строго 8 или 64 МиБ. Дополнительная проверка хеша исходного plaintext не требуется: каждый объект проверяется по SHA-256 ciphertext, а расшифрование AES-GCM аутентифицирует содержимое каждого куска и его порядковый номер. ## Манифест после расшифрования @@ -27,12 +27,12 @@ { "v": 3, "scheme": "SHINE-DM-R2-AES-256-GCM", - "chunkSize": 8388608, - "fileSize": 10485760, + "chunkSize": 67108864, + "fileSize": 73400320, "chunkCount": 2, "chunks": [ - {"i": 0, "id": "", "ps": 8388608, "es": 8388624}, - {"i": 1, "id": "", "ps": 2097152, "es": 2097168} + {"i": 0, "id": "", "ps": 67108864, "es": 67108880}, + {"i": 1, "id": "", "ps": 6291456, "es": 6291472} ] } ``` @@ -41,7 +41,7 @@ ## Загрузка через R2 -`POST /api/dm-files/prepare` с JSON `{ "fileId": "Base58_SHA256_CIPHERTEXT", "size": 8388624 }`. +`POST /api/dm-files/prepare` с JSON `{ "fileId": "Base58_SHA256_CIPHERTEXT", "size": 67108880 }` (пример полного 64-МиБ блока ciphertext). Заголовки: @@ -84,6 +84,8 @@ DM_R2_PREPARE_V1:{sessionId}:{fileId}:{size}:{timeMs} ## Совместимость +Новые DM v3 используют блоки по 64 МиБ, а ранее загруженные DM v3 с блоками по 8 МиБ остаются доступными на чтение. Размер блока в манифесте обязателен и проверяется (8 или 64 МиБ); версия `v=3`, формат AES-GCM/IV/AAD и HTTP API не меняются. Старые клиенты, в которых чтение v3 жёстко привязано к 8 МиБ, должны обновиться для получения новых вложений. + DM v1 и DM v2 читаются прежними обработчиками (с локальных старых URL), но новые вложения генерируются **только v3**. В v2 используется BitTorrent v2, в v3 — нет. Старым клиентам v3 необходимо обновление: это новая версия технической вставки. Бинарный формат E2EE-контейнера DM и его криптопротокол не меняются. ## Границы MVP и ограничения diff --git a/scripts/tests/test-dm-r2-v3.mjs b/scripts/tests/test-dm-r2-v3.mjs index 0f0c09a3..b15165c0 100644 --- a/scripts/tests/test-dm-r2-v3.mjs +++ b/scripts/tests/test-dm-r2-v3.mjs @@ -1,10 +1,13 @@ import assert from 'node:assert/strict'; import { createHash, webcrypto } from 'node:crypto'; -import { encryptAndUploadDmFile, decryptDmFileToBlob } from '../../shine-UI/js/services/dm-file-service.js'; +import { DM_FILE_CHUNK_BYTES, encryptAndUploadDmFile, decryptDmFileToBlob } from '../../shine-UI/js/services/dm-file-service.js'; import { buildDmFileTechBlock, parseDmTechBlocks } from '../../shine-UI/js/services/dm-tech-blocks.js'; -import { exportPkcs8B64 } from '../../shine-UI/js/services/crypto-utils.js'; +import { + bytesToBase58, bytesToBase64Url, encryptBytesAesGcm, exportPkcs8B64, + randomBytes, sha256Bytes, +} from '../../shine-UI/js/services/crypto-utils.js'; -// Fake IndexedDB only for session-key lookup (no external R2 or Java server required). +// Offline R2/Java simulation: fake IndexedDB provides the session key. globalThis.crypto ??= webcrypto; globalThis.window = { location: { href: 'https://shineup.me/' } }; const keyPair = await crypto.subtle.generateKey({ name: 'Ed25519' }, true, ['sign', 'verify']); @@ -38,15 +41,18 @@ globalThis.fetch = async (url, opts = {}) => { if (target.endsWith('/api/dm-files/prepare')) { assert.equal(method, 'POST'); const { fileId, size } = JSON.parse(opts.body); + assert.ok(size >= 16 && size <= DM_FILE_CHUNK_BYTES + 16); const sigBytes = Buffer.from(opts.headers['X-Shine-Signature'], 'base64'); const timeMs = opts.headers['X-Shine-Time-Ms']; const preimage = `DM_R2_PREPARE_V1:test-session:${fileId}:${size}:${timeMs}`; assert.equal(await crypto.subtle.verify('Ed25519', keyPair.publicKey, sigBytes, new TextEncoder().encode(preimage)), true); signedRequests++; - return Response.json(stored.has(fileId) ? { exists: true } : { - exists: false, - uploadUrl: `https://r2.invalid/${fileId}`, - requiredHeaders: { 'content-type': 'application/octet-stream', 'if-none-match': '*' }, + return Response.json({ + fileUrl: `https://dm-files.shineup.me/${fileId}`, + ...(stored.has(fileId) ? { exists: true } : { + exists: false, uploadUrl: `https://r2.invalid/${fileId}`, + requiredHeaders: { 'content-type': 'application/octet-stream', 'if-none-match': '*' }, + }), }); } const id = target.split('/').at(-1); @@ -54,7 +60,6 @@ globalThis.fetch = async (url, opts = {}) => { assert.equal(method, 'PUT'); assert.equal(opts.headers['if-none-match'], '*'); const bytes = await bytesFromBody(opts.body); - assert.equal(id.length >= 32, true); if (stored.has(id)) return new Response('', { status: 412 }); stored.set(id, bytes); putRequests++; @@ -70,7 +75,9 @@ globalThis.fetch = async (url, opts = {}) => { throw new Error(`Unexpected fetch: ${method} ${target}`); }; -const data = new Uint8Array(9 * 1024 * 1024 + 137); +const MB = 1024 * 1024; +assert.equal(DM_FILE_CHUNK_BYTES, 64 * MB); +const data = new Uint8Array(DM_FILE_CHUNK_BYTES + 137); for (let i = 0; i < data.length; i++) data[i] = i % 251; const file = new File([data], 'movie.bin', { type: 'application/octet-stream' }); const upload = await encryptAndUploadDmFile({ @@ -78,22 +85,67 @@ const upload = await encryptAndUploadDmFile({ }); assert.equal(upload.version, 3); assert.equal(upload.chunkCount, 2); -assert.equal(upload.chunkSize, 8 * 1024 * 1024); -assert.equal(stored.size, 3); // ciphertext chunk 0, chunk 1, encrypted manifest +assert.equal(upload.chunkSize, 64 * MB); +assert.equal(stored.size, 3); // ciphertext block 0, block 1, encrypted manifest assert.equal(putRequests, 3); assert.equal(signedRequests, 3); assert.match(upload.url, /^https:\/\/dm-files\.shineup\.me\/[1-9A-HJ-NP-Za-km-z]+$/); +const dataObjects = [...stored.entries()].filter(([id]) => id !== upload.id); +assert.deepEqual(dataObjects.map(([, bytes]) => bytes.byteLength), [64 * MB + 16, 137 + 16]); const raw = buildDmFileTechBlock(upload); assert.match(raw, / id !== upload.id); -const damaged = stored.get(ids[0]).slice(); +const damaged = dataObjects[0][1].slice(); damaged[0] ^= 1; -stored.set(ids[0], damaged); +stored.set(dataObjects[0][0], damaged); await assert.rejects(() => decryptDmFileToBlob(parsed), /SHA-256/); -console.log('DM R2 v3 end-to-end simulation OK (encrypt → signed PUT → manifest → decrypt; corruption rejected)'); +stored.set(dataObjects[0][0], dataObjects[0][1]); + +// Legacy DM v3 (8 MiB) must remain readable after changing the upload size. +function makeIv(prefix, token) { + const iv = new Uint8Array(12); + iv.set(prefix); + new DataView(iv.buffer).setBigUint64(4, BigInt(token), false); + return iv; +} +function makeAad(prefix, domain, index) { + return new TextEncoder().encode(`SHINE-DM-FILE-V2:${bytesToBase64Url(prefix)}:${domain}:${index}`); +} +async function saveCipher(plain, key, prefix, token, domain, index) { + const ciphertext = await encryptBytesAesGcm(plain, key, makeIv(prefix, token), makeAad(prefix, domain, index)); + const id = bytesToBase58(await sha256Bytes(ciphertext)); + stored.set(id, ciphertext); + return { id, es: ciphertext.length, ps: plain.length }; +} +const oldSize = 8 * MB; +const legacyData = new Uint8Array(oldSize + 137); +for (let i = 0; i < legacyData.length; i++) legacyData[i] = i % 193; +const legacyKey = randomBytes(32); +const legacyPrefix = randomBytes(4); +const chunks = []; +for (let i = 0; i < 2; i++) { + const start = i * oldSize; + chunks.push({ i, ...await saveCipher(legacyData.slice(start, start + oldSize), legacyKey, legacyPrefix, i, 'chunk', i) }); +} +const manifest = { + v: 3, scheme: 'SHINE-DM-R2-AES-256-GCM', chunkSize: oldSize, + fileSize: legacyData.length, chunkCount: 2, chunks, +}; +const root = await saveCipher(new TextEncoder().encode(JSON.stringify(manifest)), legacyKey, legacyPrefix, 0xffffffffffffffffn, 'root', 0); +const legacyAttachment = { + version: 3, id: root.id, url: `https://dm-files.shineup.me/${root.id}`, + keyB64Url: bytesToBase64Url(legacyKey), ivPrefixB64Url: bytesToBase64Url(legacyPrefix), + name: 'legacy.bin', size: legacyData.length, chunkSize: oldSize, chunkCount: 2, +}; +const legacyRecovered = new Uint8Array(await (await decryptDmFileToBlob(legacyAttachment)).arrayBuffer()); +assert.equal(createHash('sha256').update(legacyRecovered).digest('hex'), createHash('sha256').update(legacyData).digest('hex')); +await assert.rejects(() => decryptDmFileToBlob({ ...legacyAttachment, chunkSize: 64 * MB }), /Некорректный манифест/); +console.log('DM R2 v3 OK: 64 MiB upload, AES-GCM/SHA-256, corruption rejected, old 8 MiB readable'); diff --git a/shine-UI/js/services/dm-file-service.js b/shine-UI/js/services/dm-file-service.js index 1975e0c4..a1f4bc32 100644 --- a/shine-UI/js/services/dm-file-service.js +++ b/shine-UI/js/services/dm-file-service.js @@ -21,7 +21,9 @@ import { } from './torrent-v2-service.js'; import { resolveUserFileUrl, updatedUserFileUrlAfterError } from './user-file-server-service.js'; -export const DM_FILE_CHUNK_BYTES = 8 * 1024 * 1024; +export const DM_FILE_CHUNK_BYTES = 64 * 1024 * 1024; +// Старые DM v3 используют блоки по 8 МиБ: размер фиксируется в манифесте. +const PREVIOUS_R2_DM_FILE_CHUNK_BYTES = 8 * 1024 * 1024; const LEGACY_DM_FILE_CHUNK_BYTES = TORRENT_V2_PIECE_BYTES; export const DM_FILE_MANIFEST_PAGE_CHUNKS = 256; export const DM_MAX_ATTACHMENTS_PER_MESSAGE = 10; @@ -243,7 +245,7 @@ export function formatDmFileSize(bytes = 0) { } /** - * Новые DM v3: AES-GCM по 8 МиБ, SHA-256(ciphertext) для каждого объекта. + * Новые DM v3: AES-GCM по 64 МиБ, SHA-256(ciphertext) для каждого объекта. * BitTorrent/Merkle не вычисляются. Старые v1/v2 остаются доступны на чтение. */ export async function encryptAndUploadDmFile({ @@ -380,17 +382,23 @@ async function loadV3RootManifest(attachment) { const manifest = decodeJson(plain); const size = Number(manifest?.fileSize); const count = Number(manifest?.chunkCount); + const chunkSize = manifest?.chunkSize; + // Размер блока определяется зашифрованным манифестом, а не текущим размером для отправки. + // Это сохраняет чтение DM v3, созданных до перехода с 8 МиБ на 64 МиБ. + const supportedChunkSize = chunkSize === PREVIOUS_R2_DM_FILE_CHUNK_BYTES || chunkSize === DM_FILE_CHUNK_BYTES; if (manifest?.v !== R2_MANIFEST_VERSION || manifest.scheme !== R2_MANIFEST_SCHEME - || manifest.chunkSize !== DM_FILE_CHUNK_BYTES + || !supportedChunkSize || !Number.isSafeInteger(size) || size < 0 || size > DM_R2_FILE_MAX_BYTES || size !== Number(attachment.size) - || count !== Math.ceil(size / DM_FILE_CHUNK_BYTES) + || (Number(attachment.chunkSize || 0) > 0 && Number(attachment.chunkSize) !== chunkSize) + || count !== Math.ceil(size / chunkSize) + || (Number(attachment.chunkCount || 0) > 0 && Number(attachment.chunkCount) !== count) || !Array.isArray(manifest.chunks) || manifest.chunks.length !== count) { throw new Error('Некорректный манифест личного файла R2'); } for (let i = 0; i < count; i += 1) { const item = manifest.chunks[i]; - const expectedSize = Math.min(DM_FILE_CHUNK_BYTES, size - i * DM_FILE_CHUNK_BYTES); + const expectedSize = Math.min(chunkSize, size - i * chunkSize); if (item?.i !== i || !/^[1-9A-HJ-NP-Za-km-z]{32,44}$/.test(String(item.id || '')) || item.ps !== expectedSize || item.es !== expectedSize + 16) { throw new Error('Повреждены ссылки на части файла');