Увеличить размер частей DM до 64 МиБ

This commit is contained in:
AidarKC
2026-11-17 01:09:16 +03:00
parent c477560632
commit 1f06629838
7 changed files with 95 additions and 33 deletions
@@ -202,7 +202,7 @@ fromLogin|toLogin|timeMs|nonce
Новые вложения и голосовые сообщения отправляются только в `v=3`, при этом продолжается чтение v1 и v2:
```text
<S:file;v=3;id=BASE58_SHA256_ROOT_CIPHERTEXT;url=ENCODED_HTTPS_DM_FILES_URL;key=BASE64URL_AES_KEY;ivp=BASE64URL_4BYTE_PREFIX;name=ENCODED_NAME;mime=ENCODED_MIME;size=10485760;encsize=104859XX;chunk=8388608;chunks=2;kind=file;dur=0>
<S:file;v=3;id=BASE58_SHA256_ROOT_CIPHERTEXT;url=ENCODED_HTTPS_DM_FILES_URL;key=BASE64URL_AES_KEY;ivp=BASE64URL_4BYTE_PREFIX;name=ENCODED_NAME;mime=ENCODED_MIME;size=10485760;encsize=104859XX;chunk=67108864;chunks=1;kind=file;dur=0>
```
Здесь **нет** `th` или `pr`; `id` обозначает SHA-256 **зашифрованного корневого манифеста** в Base58. Все части и манифест шифруются AES-256-GCM, хранятся по `Base58(SHA-256(ciphertext))`. Встроенный MIME по-прежнему называется `mime` в DM-протоколе (сокращение `mm` касается публичного `S:att`). Бинарный E2EE-контейнер не меняется. Подробности: `Файлы_DM_v3_R2.md`.
@@ -11,7 +11,7 @@
## Как создаётся файл
- Клиент делит исходный файл на куски по **8 МиБ**; это границы шифрования, а не торрентные pieces.
- Клиент делит исходный файл на куски по **64 МиБ**; это границы шифрования, а не торрентные pieces.
- На всё вложение генерируется новый случайный AES-256-GCM key и новый 4-байтный IV prefix.
- Для каждой части используется отдельный 12-байтный IV: `prefix[4] || uint64_be(index)`; AAD содержит домен `chunk`, index и IV prefix. IV страниц манифеста и корня зарезервированы отдельно, как в v2.
- Каждая часть шифруется независимо и получает идентификатор **`Base58(SHA-256(ciphertext))`**.
@@ -19,7 +19,7 @@
- Список частей помещается **в один зашифрованный корневой манифест**, который также получает собственный SHA-256/Base58 ID и загружается в R2.
- Итоговая `<S:file;v=3...>`-вставка с ключом и ссылкой на root manifest передаётся только внутри обычного E2EE DM.
Максимальный размер оригинального файла в этом MVP — **500 МиБ**. Обычная загрузка одного ciphertext-объекта — до `8 МиБ + 16` байт. Дополнительная проверка хеша исходного plaintext не требуется: каждый объект проверяется по SHA-256 ciphertext, а расшифрование AES-GCM аутентифицирует содержимое каждого куска и его порядковый номер.
Максимальный размер оригинального файла в этом MVP — **500 МиБ**. Обычная загрузка одного ciphertext-объекта — до `64 МиБ + 16` байт (67 108 880 байт). Старые v3 с `chunkSize=8388608` по-прежнему читаются: получатель проверяет размер блока из зашифрованного манифеста, поддерживая строго 8 или 64 МиБ. Дополнительная проверка хеша исходного plaintext не требуется: каждый объект проверяется по SHA-256 ciphertext, а расшифрование AES-GCM аутентифицирует содержимое каждого куска и его порядковый номер.
## Манифест после расшифрования
@@ -27,12 +27,12 @@
{
"v": 3,
"scheme": "SHINE-DM-R2-AES-256-GCM",
"chunkSize": 8388608,
"fileSize": 10485760,
"chunkSize": 67108864,
"fileSize": 73400320,
"chunkCount": 2,
"chunks": [
{"i": 0, "id": "<Base58 SHA256 ciphertext>", "ps": 8388608, "es": 8388624},
{"i": 1, "id": "<Base58 SHA256 ciphertext>", "ps": 2097152, "es": 2097168}
{"i": 0, "id": "<Base58 SHA256 ciphertext>", "ps": 67108864, "es": 67108880},
{"i": 1, "id": "<Base58 SHA256 ciphertext>", "ps": 6291456, "es": 6291472}
]
}
```
@@ -41,7 +41,7 @@
## Загрузка через R2
`POST /api/dm-files/prepare` с JSON `{ "fileId": "Base58_SHA256_CIPHERTEXT", "size": 8388624 }`.
`POST /api/dm-files/prepare` с JSON `{ "fileId": "Base58_SHA256_CIPHERTEXT", "size": 67108880 }` (пример полного 64-МиБ блока ciphertext).
Заголовки:
@@ -84,6 +84,8 @@ DM_R2_PREPARE_V1:{sessionId}:{fileId}:{size}:{timeMs}
## Совместимость
Новые DM v3 используют блоки по 64 МиБ, а ранее загруженные DM v3 с блоками по 8 МиБ остаются доступными на чтение. Размер блока в манифесте обязателен и проверяется (8 или 64 МиБ); версия `v=3`, формат AES-GCM/IV/AAD и HTTP API не меняются. Старые клиенты, в которых чтение v3 жёстко привязано к 8 МиБ, должны обновиться для получения новых вложений.
DM v1 и DM v2 читаются прежними обработчиками (с локальных старых URL), но новые вложения генерируются **только v3**. В v2 используется BitTorrent v2, в v3 — нет. Старым клиентам v3 необходимо обновление: это новая версия технической вставки. Бинарный формат E2EE-контейнера DM и его криптопротокол не меняются.
## Границы MVP и ограничения