Увеличить размер частей DM до 64 МиБ

This commit is contained in:
AidarKC
2026-11-17 01:09:16 +03:00
parent c477560632
commit 1f06629838
7 changed files with 95 additions and 33 deletions
@@ -30,7 +30,7 @@ import java.util.regex.Pattern;
public final class R2DmPrepareServlet extends HttpServlet {
private static final ObjectMapper JSON = new ObjectMapper();
private static final Pattern FILE_ID = Pattern.compile("^[1-9A-HJ-NP-Za-km-z]{32,44}$");
private static final long MAX_OBJECT_BYTES = 8L * 1024L * 1024L + 16L;
private static final long MAX_OBJECT_BYTES = 64L * 1024L * 1024L + 16L;
private static final String CONTENT_TYPE = "application/octet-stream";
@Override protected void doOptions(HttpServletRequest req, HttpServletResponse resp) {
+2 -2
View File
@@ -1,2 +1,2 @@
client.version=1.20.55
server.version=1.16.28
client.version=1.20.56
server.version=1.16.29
+2 -2
View File
@@ -1,6 +1,6 @@
# HTTP API зашифрованных файлов личных сообщений
> **Текущий протокол DM v3 (2026-11):** новые вложения отправляются напрямую в R2 `shine-dm` после `POST /api/dm-files/prepare`; скачиваются по `https://dm-files.<домен access-сервера отправителя>/<Base58(SHA-256(ciphertext))>`. Большие файлы шифруются по 8 МиБ AES-256-GCM, список объектов находится в зашифрованном манифесте; BitTorrent v2 используется только в старых DM v2. Ниже разделы `PUT /dm-files/{fileId}` и `GET /dm-files/{fileId}` описывают **legacy** локальный сервер для v1/v2, а не новый R2. Полный текущий контракт см. `docs/Personal_Messages/Файлы_DM_v3_R2.md`.
> **Текущий протокол DM v3 (2026-11):** новые вложения отправляются напрямую в R2 `shine-dm` после `POST /api/dm-files/prepare`; скачиваются по `https://dm-files.<домен access-сервера отправителя>/<Base58(SHA-256(ciphertext))>`. Новые файлы шифруются по 64 МиБ AES-256-GCM (старые v3 по 8 МиБ читаются), список объектов находится в зашифрованном манифесте; BitTorrent v2 используется только в старых DM v2. Ниже разделы `PUT /dm-files/{fileId}` и `GET /dm-files/{fileId}` описывают **legacy** локальный сервер для v1/v2, а не новый R2. Полный текущий контракт см. `docs/Personal_Messages/Файлы_DM_v3_R2.md`.
> **Статистика v42:** сервер при успешной выдаче presigned URL или обнаружении уже существующего шифротекста добавляет запись в `dm_file_uploads` (`user_login`, `file_hash`, `file_size_bytes`, `requested_at`, `disposition`). Каждая зашифрованная часть/манифест — отдельный объект, имена и MIME исходного файла не сохраняются. **Запись не доказывает успешный PUT.** Шифрование, DM-протокол и клиент не изменяются.
@@ -121,7 +121,7 @@ Caddy/Nginx должен проксировать `/dm-files/*` в тот же J
Новые зашифрованные вложения загружаются браузером прямо в R2. Клиент посылает JSON `{ "fileId": "Base58_SHA256(ciphertext)", "size": 12345 }` и подписанные заголовки `X-Shine-Session-Id`, `X-Shine-Time-Ms`, `X-Shine-Signature`. Строка Ed25519-подписи: `DM_R2_PREPARE_V1:{sessionId}:{fileId}:{size}:{timeMs}`. Сервер подтверждает существование объекта или выдаёт `uploadUrl` и `requiredHeaders` с условием `If-None-Match: *`.
Максимальный размер одного ciphertext-объекта — 8 МиБ + 16 байт. Подписанный PUT действителен 30 минут. Загрузка не идёт через Java. Новый URL скачивания: `https://dm-files.<домен access-сервера отправителя>/<fileId>`; GET публичный, но объект содержит только AES-GCM ciphertext. R2 объект содержит `Content-Type: application/octet-stream`; исходный MIME хранится внутри зашифрованного `<S:file;v=3...>`.
Максимальный размер одного ciphertext-объекта для R2 DM v3 — **64 МиБ + 16 байт** (67 108 880 байт). Новые вложения используют куски по 64 МиБ, а старые v3 с 8 МиБ продолжают читаться по `chunkSize` из зашифрованного манифеста. Максимальный размер исходного вложения остаётся 500 МиБ. Legacy `dm.files.maxBytes` не меняется. Подписанный PUT действителен 30 минут. Загрузка не идёт через Java. Новый URL скачивания: `https://dm-files.<домен access-сервера отправителя>/<fileId>`; GET публичный, но объект содержит только AES-GCM ciphertext. R2 объект содержит `Content-Type: application/octet-stream`; исходный MIME хранится внутри зашифрованного `<S:file;v=3...>`.
Доступ к R2 требует настроек `r2.dmBucket=shine-dm` и серверных `R2_ENDPOINT`, `R2_ACCESS_KEY_ID`, `R2_SECRET_ACCESS_KEY`. Рекомендуется lifecycle rule **14 дней**. Кэш CDN допускается и может продлить доступность ciphertext после удаления из R2. Сервер не гарантирует соответствие загруженных байтов hash: читающий клиент проверяет `Base58(SHA-256(ciphertext))`. Полный формат DM v3 описан в `docs/Personal_Messages/Файлы_DM_v3_R2.md`.
@@ -202,7 +202,7 @@ fromLogin|toLogin|timeMs|nonce
Новые вложения и голосовые сообщения отправляются только в `v=3`, при этом продолжается чтение v1 и v2:
```text
<S:file;v=3;id=BASE58_SHA256_ROOT_CIPHERTEXT;url=ENCODED_HTTPS_DM_FILES_URL;key=BASE64URL_AES_KEY;ivp=BASE64URL_4BYTE_PREFIX;name=ENCODED_NAME;mime=ENCODED_MIME;size=10485760;encsize=104859XX;chunk=8388608;chunks=2;kind=file;dur=0>
<S:file;v=3;id=BASE58_SHA256_ROOT_CIPHERTEXT;url=ENCODED_HTTPS_DM_FILES_URL;key=BASE64URL_AES_KEY;ivp=BASE64URL_4BYTE_PREFIX;name=ENCODED_NAME;mime=ENCODED_MIME;size=10485760;encsize=104859XX;chunk=67108864;chunks=1;kind=file;dur=0>
```
Здесь **нет** `th` или `pr`; `id` обозначает SHA-256 **зашифрованного корневого манифеста** в Base58. Все части и манифест шифруются AES-256-GCM, хранятся по `Base58(SHA-256(ciphertext))`. Встроенный MIME по-прежнему называется `mime` в DM-протоколе (сокращение `mm` касается публичного `S:att`). Бинарный E2EE-контейнер не меняется. Подробности: `Файлы_DM_v3_R2.md`.
@@ -11,7 +11,7 @@
## Как создаётся файл
- Клиент делит исходный файл на куски по **8 МиБ**; это границы шифрования, а не торрентные pieces.
- Клиент делит исходный файл на куски по **64 МиБ**; это границы шифрования, а не торрентные pieces.
- На всё вложение генерируется новый случайный AES-256-GCM key и новый 4-байтный IV prefix.
- Для каждой части используется отдельный 12-байтный IV: `prefix[4] || uint64_be(index)`; AAD содержит домен `chunk`, index и IV prefix. IV страниц манифеста и корня зарезервированы отдельно, как в v2.
- Каждая часть шифруется независимо и получает идентификатор **`Base58(SHA-256(ciphertext))`**.
@@ -19,7 +19,7 @@
- Список частей помещается **в один зашифрованный корневой манифест**, который также получает собственный SHA-256/Base58 ID и загружается в R2.
- Итоговая `<S:file;v=3...>`-вставка с ключом и ссылкой на root manifest передаётся только внутри обычного E2EE DM.
Максимальный размер оригинального файла в этом MVP — **500 МиБ**. Обычная загрузка одного ciphertext-объекта — до `8 МиБ + 16` байт. Дополнительная проверка хеша исходного plaintext не требуется: каждый объект проверяется по SHA-256 ciphertext, а расшифрование AES-GCM аутентифицирует содержимое каждого куска и его порядковый номер.
Максимальный размер оригинального файла в этом MVP — **500 МиБ**. Обычная загрузка одного ciphertext-объекта — до `64 МиБ + 16` байт (67 108 880 байт). Старые v3 с `chunkSize=8388608` по-прежнему читаются: получатель проверяет размер блока из зашифрованного манифеста, поддерживая строго 8 или 64 МиБ. Дополнительная проверка хеша исходного plaintext не требуется: каждый объект проверяется по SHA-256 ciphertext, а расшифрование AES-GCM аутентифицирует содержимое каждого куска и его порядковый номер.
## Манифест после расшифрования
@@ -27,12 +27,12 @@
{
"v": 3,
"scheme": "SHINE-DM-R2-AES-256-GCM",
"chunkSize": 8388608,
"fileSize": 10485760,
"chunkSize": 67108864,
"fileSize": 73400320,
"chunkCount": 2,
"chunks": [
{"i": 0, "id": "<Base58 SHA256 ciphertext>", "ps": 8388608, "es": 8388624},
{"i": 1, "id": "<Base58 SHA256 ciphertext>", "ps": 2097152, "es": 2097168}
{"i": 0, "id": "<Base58 SHA256 ciphertext>", "ps": 67108864, "es": 67108880},
{"i": 1, "id": "<Base58 SHA256 ciphertext>", "ps": 6291456, "es": 6291472}
]
}
```
@@ -41,7 +41,7 @@
## Загрузка через R2
`POST /api/dm-files/prepare` с JSON `{ "fileId": "Base58_SHA256_CIPHERTEXT", "size": 8388624 }`.
`POST /api/dm-files/prepare` с JSON `{ "fileId": "Base58_SHA256_CIPHERTEXT", "size": 67108880 }` (пример полного 64-МиБ блока ciphertext).
Заголовки:
@@ -84,6 +84,8 @@ DM_R2_PREPARE_V1:{sessionId}:{fileId}:{size}:{timeMs}
## Совместимость
Новые DM v3 используют блоки по 64 МиБ, а ранее загруженные DM v3 с блоками по 8 МиБ остаются доступными на чтение. Размер блока в манифесте обязателен и проверяется (8 или 64 МиБ); версия `v=3`, формат AES-GCM/IV/AAD и HTTP API не меняются. Старые клиенты, в которых чтение v3 жёстко привязано к 8 МиБ, должны обновиться для получения новых вложений.
DM v1 и DM v2 читаются прежними обработчиками (с локальных старых URL), но новые вложения генерируются **только v3**. В v2 используется BitTorrent v2, в v3 — нет. Старым клиентам v3 необходимо обновление: это новая версия технической вставки. Бинарный формат E2EE-контейнера DM и его криптопротокол не меняются.
## Границы MVP и ограничения
+67 -15
View File
@@ -1,10 +1,13 @@
import assert from 'node:assert/strict';
import { createHash, webcrypto } from 'node:crypto';
import { encryptAndUploadDmFile, decryptDmFileToBlob } from '../../shine-UI/js/services/dm-file-service.js';
import { DM_FILE_CHUNK_BYTES, encryptAndUploadDmFile, decryptDmFileToBlob } from '../../shine-UI/js/services/dm-file-service.js';
import { buildDmFileTechBlock, parseDmTechBlocks } from '../../shine-UI/js/services/dm-tech-blocks.js';
import { exportPkcs8B64 } from '../../shine-UI/js/services/crypto-utils.js';
import {
bytesToBase58, bytesToBase64Url, encryptBytesAesGcm, exportPkcs8B64,
randomBytes, sha256Bytes,
} from '../../shine-UI/js/services/crypto-utils.js';
// Fake IndexedDB only for session-key lookup (no external R2 or Java server required).
// Offline R2/Java simulation: fake IndexedDB provides the session key.
globalThis.crypto ??= webcrypto;
globalThis.window = { location: { href: 'https://shineup.me/' } };
const keyPair = await crypto.subtle.generateKey({ name: 'Ed25519' }, true, ['sign', 'verify']);
@@ -38,15 +41,18 @@ globalThis.fetch = async (url, opts = {}) => {
if (target.endsWith('/api/dm-files/prepare')) {
assert.equal(method, 'POST');
const { fileId, size } = JSON.parse(opts.body);
assert.ok(size >= 16 && size <= DM_FILE_CHUNK_BYTES + 16);
const sigBytes = Buffer.from(opts.headers['X-Shine-Signature'], 'base64');
const timeMs = opts.headers['X-Shine-Time-Ms'];
const preimage = `DM_R2_PREPARE_V1:test-session:${fileId}:${size}:${timeMs}`;
assert.equal(await crypto.subtle.verify('Ed25519', keyPair.publicKey, sigBytes, new TextEncoder().encode(preimage)), true);
signedRequests++;
return Response.json(stored.has(fileId) ? { exists: true } : {
exists: false,
uploadUrl: `https://r2.invalid/${fileId}`,
requiredHeaders: { 'content-type': 'application/octet-stream', 'if-none-match': '*' },
return Response.json({
fileUrl: `https://dm-files.shineup.me/${fileId}`,
...(stored.has(fileId) ? { exists: true } : {
exists: false, uploadUrl: `https://r2.invalid/${fileId}`,
requiredHeaders: { 'content-type': 'application/octet-stream', 'if-none-match': '*' },
}),
});
}
const id = target.split('/').at(-1);
@@ -54,7 +60,6 @@ globalThis.fetch = async (url, opts = {}) => {
assert.equal(method, 'PUT');
assert.equal(opts.headers['if-none-match'], '*');
const bytes = await bytesFromBody(opts.body);
assert.equal(id.length >= 32, true);
if (stored.has(id)) return new Response('', { status: 412 });
stored.set(id, bytes);
putRequests++;
@@ -70,7 +75,9 @@ globalThis.fetch = async (url, opts = {}) => {
throw new Error(`Unexpected fetch: ${method} ${target}`);
};
const data = new Uint8Array(9 * 1024 * 1024 + 137);
const MB = 1024 * 1024;
assert.equal(DM_FILE_CHUNK_BYTES, 64 * MB);
const data = new Uint8Array(DM_FILE_CHUNK_BYTES + 137);
for (let i = 0; i < data.length; i++) data[i] = i % 251;
const file = new File([data], 'movie.bin', { type: 'application/octet-stream' });
const upload = await encryptAndUploadDmFile({
@@ -78,22 +85,67 @@ const upload = await encryptAndUploadDmFile({
});
assert.equal(upload.version, 3);
assert.equal(upload.chunkCount, 2);
assert.equal(upload.chunkSize, 8 * 1024 * 1024);
assert.equal(stored.size, 3); // ciphertext chunk 0, chunk 1, encrypted manifest
assert.equal(upload.chunkSize, 64 * MB);
assert.equal(stored.size, 3); // ciphertext block 0, block 1, encrypted manifest
assert.equal(putRequests, 3);
assert.equal(signedRequests, 3);
assert.match(upload.url, /^https:\/\/dm-files\.shineup\.me\/[1-9A-HJ-NP-Za-km-z]+$/);
const dataObjects = [...stored.entries()].filter(([id]) => id !== upload.id);
assert.deepEqual(dataObjects.map(([, bytes]) => bytes.byteLength), [64 * MB + 16, 137 + 16]);
const raw = buildDmFileTechBlock(upload);
assert.match(raw, /<S:file;v=3;/);
assert.doesNotMatch(raw, /;th=|;pr=/);
const parsed = parseDmTechBlocks(`${raw}test`).fileAttachment;
assert.equal(parsed.version, 3);
assert.equal(parsed.torrentV2PiecesRootB64Url, undefined);
// В реальном приложении URL вычисляется по senderLogin через federated resolver.
// В offline-тесте используем допустимую историческую форму v3 с URL.
parsed.url = upload.url;
const recovered = new Uint8Array(await (await decryptDmFileToBlob(parsed)).arrayBuffer());
assert.equal(createHash('sha256').update(recovered).digest('hex'), createHash('sha256').update(data).digest('hex'));
const ids = [...stored.keys()].filter(id => id !== upload.id);
const damaged = stored.get(ids[0]).slice();
const damaged = dataObjects[0][1].slice();
damaged[0] ^= 1;
stored.set(ids[0], damaged);
stored.set(dataObjects[0][0], damaged);
await assert.rejects(() => decryptDmFileToBlob(parsed), /SHA-256/);
console.log('DM R2 v3 end-to-end simulation OK (encrypt → signed PUT → manifest → decrypt; corruption rejected)');
stored.set(dataObjects[0][0], dataObjects[0][1]);
// Legacy DM v3 (8 MiB) must remain readable after changing the upload size.
function makeIv(prefix, token) {
const iv = new Uint8Array(12);
iv.set(prefix);
new DataView(iv.buffer).setBigUint64(4, BigInt(token), false);
return iv;
}
function makeAad(prefix, domain, index) {
return new TextEncoder().encode(`SHINE-DM-FILE-V2:${bytesToBase64Url(prefix)}:${domain}:${index}`);
}
async function saveCipher(plain, key, prefix, token, domain, index) {
const ciphertext = await encryptBytesAesGcm(plain, key, makeIv(prefix, token), makeAad(prefix, domain, index));
const id = bytesToBase58(await sha256Bytes(ciphertext));
stored.set(id, ciphertext);
return { id, es: ciphertext.length, ps: plain.length };
}
const oldSize = 8 * MB;
const legacyData = new Uint8Array(oldSize + 137);
for (let i = 0; i < legacyData.length; i++) legacyData[i] = i % 193;
const legacyKey = randomBytes(32);
const legacyPrefix = randomBytes(4);
const chunks = [];
for (let i = 0; i < 2; i++) {
const start = i * oldSize;
chunks.push({ i, ...await saveCipher(legacyData.slice(start, start + oldSize), legacyKey, legacyPrefix, i, 'chunk', i) });
}
const manifest = {
v: 3, scheme: 'SHINE-DM-R2-AES-256-GCM', chunkSize: oldSize,
fileSize: legacyData.length, chunkCount: 2, chunks,
};
const root = await saveCipher(new TextEncoder().encode(JSON.stringify(manifest)), legacyKey, legacyPrefix, 0xffffffffffffffffn, 'root', 0);
const legacyAttachment = {
version: 3, id: root.id, url: `https://dm-files.shineup.me/${root.id}`,
keyB64Url: bytesToBase64Url(legacyKey), ivPrefixB64Url: bytesToBase64Url(legacyPrefix),
name: 'legacy.bin', size: legacyData.length, chunkSize: oldSize, chunkCount: 2,
};
const legacyRecovered = new Uint8Array(await (await decryptDmFileToBlob(legacyAttachment)).arrayBuffer());
assert.equal(createHash('sha256').update(legacyRecovered).digest('hex'), createHash('sha256').update(legacyData).digest('hex'));
await assert.rejects(() => decryptDmFileToBlob({ ...legacyAttachment, chunkSize: 64 * MB }), /Некорректный манифест/);
console.log('DM R2 v3 OK: 64 MiB upload, AES-GCM/SHA-256, corruption rejected, old 8 MiB readable');
+13 -5
View File
@@ -21,7 +21,9 @@ import {
} from './torrent-v2-service.js';
import { resolveUserFileUrl, updatedUserFileUrlAfterError } from './user-file-server-service.js';
export const DM_FILE_CHUNK_BYTES = 8 * 1024 * 1024;
export const DM_FILE_CHUNK_BYTES = 64 * 1024 * 1024;
// Старые DM v3 используют блоки по 8 МиБ: размер фиксируется в манифесте.
const PREVIOUS_R2_DM_FILE_CHUNK_BYTES = 8 * 1024 * 1024;
const LEGACY_DM_FILE_CHUNK_BYTES = TORRENT_V2_PIECE_BYTES;
export const DM_FILE_MANIFEST_PAGE_CHUNKS = 256;
export const DM_MAX_ATTACHMENTS_PER_MESSAGE = 10;
@@ -243,7 +245,7 @@ export function formatDmFileSize(bytes = 0) {
}
/**
* Новые DM v3: AES-GCM по 8 МиБ, SHA-256(ciphertext) для каждого объекта.
* Новые DM v3: AES-GCM по 64 МиБ, SHA-256(ciphertext) для каждого объекта.
* BitTorrent/Merkle не вычисляются. Старые v1/v2 остаются доступны на чтение.
*/
export async function encryptAndUploadDmFile({
@@ -380,17 +382,23 @@ async function loadV3RootManifest(attachment) {
const manifest = decodeJson(plain);
const size = Number(manifest?.fileSize);
const count = Number(manifest?.chunkCount);
const chunkSize = manifest?.chunkSize;
// Размер блока определяется зашифрованным манифестом, а не текущим размером для отправки.
// Это сохраняет чтение DM v3, созданных до перехода с 8 МиБ на 64 МиБ.
const supportedChunkSize = chunkSize === PREVIOUS_R2_DM_FILE_CHUNK_BYTES || chunkSize === DM_FILE_CHUNK_BYTES;
if (manifest?.v !== R2_MANIFEST_VERSION || manifest.scheme !== R2_MANIFEST_SCHEME
|| manifest.chunkSize !== DM_FILE_CHUNK_BYTES
|| !supportedChunkSize
|| !Number.isSafeInteger(size) || size < 0 || size > DM_R2_FILE_MAX_BYTES
|| size !== Number(attachment.size)
|| count !== Math.ceil(size / DM_FILE_CHUNK_BYTES)
|| (Number(attachment.chunkSize || 0) > 0 && Number(attachment.chunkSize) !== chunkSize)
|| count !== Math.ceil(size / chunkSize)
|| (Number(attachment.chunkCount || 0) > 0 && Number(attachment.chunkCount) !== count)
|| !Array.isArray(manifest.chunks) || manifest.chunks.length !== count) {
throw new Error('Некорректный манифест личного файла R2');
}
for (let i = 0; i < count; i += 1) {
const item = manifest.chunks[i];
const expectedSize = Math.min(DM_FILE_CHUNK_BYTES, size - i * DM_FILE_CHUNK_BYTES);
const expectedSize = Math.min(chunkSize, size - i * chunkSize);
if (item?.i !== i || !/^[1-9A-HJ-NP-Za-km-z]{32,44}$/.test(String(item.id || ''))
|| item.ps !== expectedSize || item.es !== expectedSize + 16) {
throw new Error('Повреждены ссылки на части файла');