SHA256
Перевести вложения DM на R2 и обновить файловый API
This commit is contained in:
@@ -0,0 +1,65 @@
|
||||
# SHiNE — патч DM R2 v3 (15.11.2026)
|
||||
|
||||
## Основа патча
|
||||
|
||||
Накладывать **поверх версии проекта с применённым патчем** `SHiNE-R2-public-MVP-patch-2026.11.14.zip` на архив `SHiNE-bundle-2026.11.14-13.22.24.zip` (либо поверх более новой версии, совместимой с этими серверными API).
|
||||
|
||||
Патч **не заменяет** изменённый после предыдущей работы `attachment-format.js` и не трогает новую публичную загрузку, Arweave и аватары.
|
||||
|
||||
## Что изменилось
|
||||
|
||||
- **Новые DM**: формат `S:file;v=3`, root manifest и AES-256-GCM-шифрование отдельных кусков до 8 МиБ, id = Base58(SHA-256(ciphertext)); **никаких новых BitTorrent/Merkle-хешей**.
|
||||
- Клиент отправляет JSON `fileId, size` на `POST /api/dm-files/prepare` со старым session key Ed25519 и отдельным доменом подписи `DM_R2_PREPARE_V1`.
|
||||
- Java подписывает PUT только в корзину `shine-dm`. Ciphertext загружается браузером **напрямую** в S3 endpoint R2. PUT использует `If-None-Match: *`; `Content-Type: application/octet-stream`.
|
||||
- Скачивание напрямую `https://dm-files.shineup.me/<fileId>` по публичной ссылке; получатель перед расшифровкой проверяет SHA-256/Base58 каждого объекта.
|
||||
- Никакой ключ AES и исходный MIME в R2 не передаются, они находятся только в E2EE DM.
|
||||
- **Чтение старых вложений v1 и v2** сохранено. В старых v2 BitTorrent ещё проверяется — исключительно ради совместимости. UI не показывает подпись BitTorrent для v3.
|
||||
- Передача голосовых вложений использует тот же v3.
|
||||
- Лимит одного исходного файла в MVP 500 МиБ, один ciphertext-объект ≤8 МиБ+16; нет S3 Multipart и нет строгой гарантии отсутствия повреждённого R2-объекта при первом недобросовестном PUT.
|
||||
|
||||
## Настройка Cloudflare
|
||||
|
||||
1. Проверьте, что корзина R2 **`shine-dm`** существует и пользовательский домен **`dm-files.shineup.me`** имеет статус **Active**.
|
||||
2. К `shine-dm` применено **Object Lifecycle → Delete after 14 days → All objects**. По согласованной политике это очистка R2, не гарантия исчезновения CDN-копий.
|
||||
3. У `shine-dm` установлен CORS для `https://shineup.me` (и реально используемых клиентских доменов). Methods `GET`, `HEAD`, `PUT`; Headers `*`; Expose `Content-Length`, `ETag`.
|
||||
4. R2 API credential server имеет права **Object Read & Write** для **`shine-files` и `shine-dm`**. Никакие ключи не передаются в UI.
|
||||
|
||||
## Настройка Java-сервера
|
||||
|
||||
В приватной конфигурации приложения:
|
||||
|
||||
```properties
|
||||
r2.dmBucket=shine-dm
|
||||
```
|
||||
|
||||
В переменных окружения сервиса Java (используются и публичным R2-модулем):
|
||||
|
||||
```text
|
||||
R2_ENDPOINT=https://<account-id>.r2.cloudflarestorage.com
|
||||
R2_ACCESS_KEY_ID=<серверный S3 Access Key ID>
|
||||
R2_SECRET_ACCESS_KEY=<серверный S3 Secret Access Key>
|
||||
```
|
||||
|
||||
В случае jurisdiction-specific endpoint использовать именно значение из Cloudflare. Не включать переменные в Git или клиентский JS. После применения патча обновить JAR и выполнить restart службы.
|
||||
|
||||
**Caddy / Nginx:** добавить точный маршрут `POST /api/dm-files/prepare` (и CORS OPTIONS на тот же URL) к той же Java/Jetty, которая обрабатывает `/ws` и публичный `/api/files/prepare`. Маршрут должен быть выше SPA fallback; `/dm-files/*` оставить для старых файлов v1/v2.
|
||||
|
||||
## Проверки
|
||||
|
||||
```bash
|
||||
node scripts/tests/test-dm-r2-v3.mjs
|
||||
node scripts/tests/test-r2-file-preparation.mjs
|
||||
python3 scripts/check_docs.py
|
||||
```
|
||||
|
||||
Нужно дополнительно сделать полноценную **Java-сборку и live R2 интеграционный тест на тестовом сервере**, поскольку в среде сборки этого патча Gradle не может скачать дистрибутив.
|
||||
|
||||
Рекомендуемый живой сценарий: отправить файл ~9 МиБ из личного чата; убедиться, что появились 2 ciphertext-части и 1 зашифрованный manifest в `shine-dm`, что ключи не попали в R2, а получатель скачал и открыл исходный файл. Затем проверить отправку голосового сообщения, файл 0 байт, файл около 500 МиБ, отсутствующую CORS-настройку и старую переписку v2.
|
||||
|
||||
### Ограничения перед production
|
||||
|
||||
- Нужны rate limits на выдачу подписанных URL и мониторинг расходов R2; сервер не проверяет байты против объявленного SHA-256 (это проверяет скачивающий клиент).
|
||||
- `If-None-Match: *` запрещает перезапись уже существующего ID, но не предотвращает первоначальную загрузку неправильных байтов под этим ID.
|
||||
- Старые клиенты **не умеют читать v3** — потребуется обновить клиентов обоих участников DM.
|
||||
- Пропуск зашифрованного файла через Java не происходит, но Java подписывает каждую новую часть; возможны десятки prepare-запросов на одно крупное вложение.
|
||||
- **Production deployment не выполнялся**.
|
||||
Reference in New Issue
Block a user