diff --git a/DM_R2_V3_PATCH_README.md b/DM_R2_V3_PATCH_README.md new file mode 100644 index 00000000..8184fa55 --- /dev/null +++ b/DM_R2_V3_PATCH_README.md @@ -0,0 +1,65 @@ +# SHiNE — патч DM R2 v3 (15.11.2026) + +## Основа патча + +Накладывать **поверх версии проекта с применённым патчем** `SHiNE-R2-public-MVP-patch-2026.11.14.zip` на архив `SHiNE-bundle-2026.11.14-13.22.24.zip` (либо поверх более новой версии, совместимой с этими серверными API). + +Патч **не заменяет** изменённый после предыдущей работы `attachment-format.js` и не трогает новую публичную загрузку, Arweave и аватары. + +## Что изменилось + +- **Новые DM**: формат `S:file;v=3`, root manifest и AES-256-GCM-шифрование отдельных кусков до 8 МиБ, id = Base58(SHA-256(ciphertext)); **никаких новых BitTorrent/Merkle-хешей**. +- Клиент отправляет JSON `fileId, size` на `POST /api/dm-files/prepare` со старым session key Ed25519 и отдельным доменом подписи `DM_R2_PREPARE_V1`. +- Java подписывает PUT только в корзину `shine-dm`. Ciphertext загружается браузером **напрямую** в S3 endpoint R2. PUT использует `If-None-Match: *`; `Content-Type: application/octet-stream`. +- Скачивание напрямую `https://dm-files.shineup.me/` по публичной ссылке; получатель перед расшифровкой проверяет SHA-256/Base58 каждого объекта. +- Никакой ключ AES и исходный MIME в R2 не передаются, они находятся только в E2EE DM. +- **Чтение старых вложений v1 и v2** сохранено. В старых v2 BitTorrent ещё проверяется — исключительно ради совместимости. UI не показывает подпись BitTorrent для v3. +- Передача голосовых вложений использует тот же v3. +- Лимит одного исходного файла в MVP 500 МиБ, один ciphertext-объект ≤8 МиБ+16; нет S3 Multipart и нет строгой гарантии отсутствия повреждённого R2-объекта при первом недобросовестном PUT. + +## Настройка Cloudflare + +1. Проверьте, что корзина R2 **`shine-dm`** существует и пользовательский домен **`dm-files.shineup.me`** имеет статус **Active**. +2. К `shine-dm` применено **Object Lifecycle → Delete after 14 days → All objects**. По согласованной политике это очистка R2, не гарантия исчезновения CDN-копий. +3. У `shine-dm` установлен CORS для `https://shineup.me` (и реально используемых клиентских доменов). Methods `GET`, `HEAD`, `PUT`; Headers `*`; Expose `Content-Length`, `ETag`. +4. R2 API credential server имеет права **Object Read & Write** для **`shine-files` и `shine-dm`**. Никакие ключи не передаются в UI. + +## Настройка Java-сервера + +В приватной конфигурации приложения: + +```properties +r2.dmBucket=shine-dm +``` + +В переменных окружения сервиса Java (используются и публичным R2-модулем): + +```text +R2_ENDPOINT=https://.r2.cloudflarestorage.com +R2_ACCESS_KEY_ID=<серверный S3 Access Key ID> +R2_SECRET_ACCESS_KEY=<серверный S3 Secret Access Key> +``` + +В случае jurisdiction-specific endpoint использовать именно значение из Cloudflare. Не включать переменные в Git или клиентский JS. После применения патча обновить JAR и выполнить restart службы. + +**Caddy / Nginx:** добавить точный маршрут `POST /api/dm-files/prepare` (и CORS OPTIONS на тот же URL) к той же Java/Jetty, которая обрабатывает `/ws` и публичный `/api/files/prepare`. Маршрут должен быть выше SPA fallback; `/dm-files/*` оставить для старых файлов v1/v2. + +## Проверки + +```bash +node scripts/tests/test-dm-r2-v3.mjs +node scripts/tests/test-r2-file-preparation.mjs +python3 scripts/check_docs.py +``` + +Нужно дополнительно сделать полноценную **Java-сборку и live R2 интеграционный тест на тестовом сервере**, поскольку в среде сборки этого патча Gradle не может скачать дистрибутив. + +Рекомендуемый живой сценарий: отправить файл ~9 МиБ из личного чата; убедиться, что появились 2 ciphertext-части и 1 зашифрованный manifest в `shine-dm`, что ключи не попали в R2, а получатель скачал и открыл исходный файл. Затем проверить отправку голосового сообщения, файл 0 байт, файл около 500 МиБ, отсутствующую CORS-настройку и старую переписку v2. + +### Ограничения перед production + +- Нужны rate limits на выдачу подписанных URL и мониторинг расходов R2; сервер не проверяет байты против объявленного SHA-256 (это проверяет скачивающий клиент). +- `If-None-Match: *` запрещает перезапись уже существующего ID, но не предотвращает первоначальную загрузку неправильных байтов под этим ID. +- Старые клиенты **не умеют читать v3** — потребуется обновить клиентов обоих участников DM. +- Пропуск зашифрованного файла через Java не происходит, но Java подписывает каждую новую часть; возможны десятки prepare-запросов на одно крупное вложение. +- **Production deployment не выполнялся**. diff --git a/SHiNE-server/src/main/java/server/files/DmFileApiConfigurator.java b/SHiNE-server/src/main/java/server/files/DmFileApiConfigurator.java index 7b2f1ec3..b79f2927 100644 --- a/SHiNE-server/src/main/java/server/files/DmFileApiConfigurator.java +++ b/SHiNE-server/src/main/java/server/files/DmFileApiConfigurator.java @@ -10,5 +10,6 @@ public final class DmFileApiConfigurator { public static void register(ServletContextHandler context) { context.addServlet(new ServletHolder(new DmFileServlet()), "/dm-files/*"); + context.addServlet(new ServletHolder(new R2DmPrepareServlet()), "/api/dm-files/prepare"); } } diff --git a/SHiNE-server/src/main/java/server/files/DmFileServlet.java b/SHiNE-server/src/main/java/server/files/DmFileServlet.java index f6758a23..3a494ef2 100644 --- a/SHiNE-server/src/main/java/server/files/DmFileServlet.java +++ b/SHiNE-server/src/main/java/server/files/DmFileServlet.java @@ -247,6 +247,36 @@ public final class DmFileServlet extends HttpServlet { private record StoredObjectCheck(boolean valid, long size) {} + /** Проверка отдельной Ed25519-подписи запроса временной ссылки R2, без передачи ciphertext. */ + static void verifyR2Prepare(HttpServletRequest req, String fileId, long encryptedSize) throws IOException { + String sessionId = req.getHeader(HEADER_SESSION_ID); + String timestamp = req.getHeader(HEADER_TIME_MS); + String signatureText = req.getHeader(HEADER_SIGNATURE); + if (sessionId == null || timestamp == null || signatureText == null) { + throw new SecurityException("Missing signed session headers"); + } + try { + long timeMs = Long.parseLong(timestamp); + if (Math.abs(System.currentTimeMillis() - timeMs) > MAX_AUTH_SKEW_MS) { + throw new SecurityException("Expired signed request"); + } + ActiveSessionEntry session = ActiveSessionsDAO.getInstance().getBySessionId(sessionId); + if (session == null || session.getSessionKey() == null || session.getSessionKey().isBlank()) { + throw new SecurityException("Session not found"); + } + byte[] sig = Base64Ws.decodeLen(signatureText, Ed25519Util.SIGNATURE_LEN, "signature"); + byte[] pub = AuthKeyUtils.parseEd25519PublicKey(session.getSessionKey(), "sessionKey"); + String message = "DM_R2_PREPARE_V1:" + sessionId + ':' + fileId + ':' + encryptedSize + ':' + timeMs; + if (!Ed25519Util.verify(message.getBytes(StandardCharsets.UTF_8), sig, pub)) { + throw new SecurityException("Invalid signature"); + } + } catch (SQLException e) { + throw new IOException("Session lookup failed", e); + } catch (RuntimeException e) { + throw new SecurityException("Invalid DM R2 authorization", e); + } + } + private UploadAuth readAndVerifyUploadAuth(HttpServletRequest req, String fileId) throws AuthFailure { String sessionId = requiredHeader(req, HEADER_SESSION_ID); String timeRaw = requiredHeader(req, HEADER_TIME_MS); diff --git a/SHiNE-server/src/main/java/server/files/R2DmPrepareServlet.java b/SHiNE-server/src/main/java/server/files/R2DmPrepareServlet.java new file mode 100644 index 00000000..a3bd429a --- /dev/null +++ b/SHiNE-server/src/main/java/server/files/R2DmPrepareServlet.java @@ -0,0 +1,129 @@ +package server.files; + +import com.fasterxml.jackson.databind.JsonNode; +import com.fasterxml.jackson.databind.ObjectMapper; +import com.fasterxml.jackson.databind.node.ObjectNode; +import jakarta.servlet.http.HttpServlet; +import jakarta.servlet.http.HttpServletRequest; +import jakarta.servlet.http.HttpServletResponse; +import software.amazon.awssdk.auth.credentials.AwsBasicCredentials; +import software.amazon.awssdk.auth.credentials.StaticCredentialsProvider; +import software.amazon.awssdk.regions.Region; +import software.amazon.awssdk.services.s3.S3Client; +import software.amazon.awssdk.services.s3.model.HeadObjectRequest; +import software.amazon.awssdk.services.s3.model.PutObjectRequest; +import software.amazon.awssdk.services.s3.presigner.S3Presigner; +import software.amazon.awssdk.services.s3.presigner.model.PutObjectPresignRequest; +import utils.config.AppConfig; + +import java.io.IOException; +import java.net.URI; +import java.time.Duration; +import java.util.List; +import java.util.Map; +import java.util.regex.Pattern; + +/** + * Выдача временных PUT в shine-dm. Сервер не получает ciphertext, AES-key и MIME исходного файла. + * Идентификатор объекта: Base58(SHA-256(ciphertext)); доступ к GET — по публичному домену R2. + */ +public final class R2DmPrepareServlet extends HttpServlet { + private static final ObjectMapper JSON = new ObjectMapper(); + private static final Pattern FILE_ID = Pattern.compile("^[1-9A-HJ-NP-Za-km-z]{32,44}$"); + private static final long MAX_OBJECT_BYTES = 8L * 1024L * 1024L + 16L; + private static final String CONTENT_TYPE = "application/octet-stream"; + private static final String PUBLIC_BASE = "https://dm-files.shineup.me/"; + + @Override protected void doOptions(HttpServletRequest req, HttpServletResponse resp) { + cors(req, resp); + resp.setStatus(HttpServletResponse.SC_NO_CONTENT); + } + + @Override protected void doPost(HttpServletRequest req, HttpServletResponse resp) throws IOException { + cors(req, resp); + try { + if (req.getContentLengthLong() > 2048) { fail(resp, 413, "Request too large"); return; } + JsonNode input = JSON.readTree(req.getInputStream()); + if (input == null) { fail(resp, 400, "Missing JSON body"); return; } + String fileId = input.path("fileId").asText("").trim(); + long size = input.path("size").asLong(-1L); + if (!FILE_ID.matcher(fileId).matches() || size < 16 || size > MAX_OBJECT_BYTES) { + fail(resp, 400, "Invalid ciphertext ID or size"); return; + } + try { DmFileServlet.verifyR2Prepare(req, fileId, size); } + catch (SecurityException denied) { fail(resp, 401, "Unauthorized"); return; } + String endpoint = setting("R2_ENDPOINT", "r2.endpoint"); + String accessKey = setting("R2_ACCESS_KEY_ID", "r2.accessKeyId"); + String secret = setting("R2_SECRET_ACCESS_KEY", "r2.secretAccessKey"); + String bucket = AppConfig.getInstance().getParam("r2.dmBucket"); + if (bucket == null || bucket.isBlank()) bucket = "shine-dm"; + if (endpoint == null || accessKey == null || secret == null) { + fail(resp, 503, "R2 is not configured"); return; + } + var credentials = StaticCredentialsProvider.create(AwsBasicCredentials.create(accessKey, secret)); + var apiEndpoint = URI.create(endpoint); + ObjectNode result = JSON.createObjectNode(); + result.put("fileUrl", PUBLIC_BASE + fileId); + try (S3Client s3 = S3Client.builder().region(Region.of("auto")) + .endpointOverride(apiEndpoint).credentialsProvider(credentials).forcePathStyle(true).build()) { + try { + var head = s3.headObject(HeadObjectRequest.builder().bucket(bucket).key(fileId).build()); + if (head.contentLength() != size) { fail(resp, 409, "Existing object size mismatch"); return; } + result.put("exists", true); + } catch (software.amazon.awssdk.services.s3.model.S3Exception notFound) { + if (notFound.statusCode() != 404) throw notFound; + result.put("exists", false); + var put = PutObjectRequest.builder().bucket(bucket).key(fileId) + .contentType(CONTENT_TYPE).contentLength(size).ifNoneMatch("*").build(); + try (S3Presigner signer = S3Presigner.builder().region(Region.of("auto")) + .endpointOverride(apiEndpoint).credentialsProvider(credentials) + .serviceConfiguration(software.amazon.awssdk.services.s3.S3Configuration.builder() + .pathStyleAccessEnabled(true).build()).build()) { + var signed = signer.presignPutObject(PutObjectPresignRequest.builder() + .signatureDuration(Duration.ofMinutes(30)).putObjectRequest(put).build()); + result.put("uploadUrl", signed.url().toString()); + ObjectNode headers = result.putObject("requiredHeaders"); + for (Map.Entry> entry : signed.signedHeaders().entrySet()) { + // Content-Length браузер выставляет автоматически из Uint8Array. + if (!entry.getKey().equalsIgnoreCase("host") + && !entry.getKey().equalsIgnoreCase("content-length")) { + headers.put(entry.getKey(), String.join(",", entry.getValue())); + } + } + } + } + } + respond(resp, 200, result); + } catch (Exception error) { + getServletContext().log("R2 DM prepare failed", error); + fail(resp, 503, "R2 DM upload preparation failed"); + } + } + + private static String setting(String environment, String property) { + String value = System.getenv(environment); + if (value == null || value.isBlank()) value = AppConfig.getInstance().getParam(property); + return value == null || value.isBlank() ? null : value.trim(); + } + + private static void cors(HttpServletRequest req, HttpServletResponse resp) { + String origin = req.getHeader("Origin"); + if ("https://shineup.me".equals(origin) || "https://www.shineup.me".equals(origin) + || "https://test.shineup.me".equals(origin) + || "https://t2.shineup.me".equals(origin)) { + resp.setHeader("Access-Control-Allow-Origin", origin); + resp.setHeader("Vary", "Origin"); + } + resp.setHeader("Access-Control-Allow-Methods", "POST, OPTIONS"); + resp.setHeader("Access-Control-Allow-Headers", "Content-Type, X-Shine-Session-Id, X-Shine-Time-Ms, X-Shine-Signature"); + } + + private static void fail(HttpServletResponse resp, int status, String message) throws IOException { + ObjectNode obj = JSON.createObjectNode(); obj.put("error", message); respond(resp, status, obj); + } + private static void respond(HttpServletResponse resp, int status, ObjectNode json) throws IOException { + resp.setStatus(status); + resp.setContentType("application/json;charset=UTF-8"); + JSON.writeValue(resp.getOutputStream(), json); + } +} diff --git a/SHiNE-server/src/main/java/server/files/R2PrepareServlet.java b/SHiNE-server/src/main/java/server/files/R2PrepareServlet.java index 106eb62a..e29ea714 100644 --- a/SHiNE-server/src/main/java/server/files/R2PrepareServlet.java +++ b/SHiNE-server/src/main/java/server/files/R2PrepareServlet.java @@ -18,6 +18,7 @@ import utils.config.AppConfig; import java.io.IOException; import java.net.URI; +import java.math.BigInteger; import java.time.Duration; import java.util.Map; import java.util.regex.Pattern; @@ -25,7 +26,8 @@ import java.util.regex.Pattern; /** Only signs single-object uploads. File contents never pass through SHiNE. */ public final class R2PrepareServlet extends HttpServlet { private static final ObjectMapper JSON = new ObjectMapper(); - private static final Pattern ROOT = Pattern.compile("^[A-Za-z0-9_-]{43}$"); + private static final String BASE58_ALPHABET = "123456789ABCDEFGHJKLMNPQRSTUVWXYZabcdefghijkmnopqrstuvwxyz"; + private static final Pattern ROOT = Pattern.compile("^[1-9A-HJ-NP-Za-km-z]{32,44}$"); private static final Pattern MIME = Pattern.compile("^[a-zA-Z0-9!#$&^_.+-]+/[a-zA-Z0-9!#$&^_.+-]+$"); private static final long MAX_BYTES = 500L * 1024L * 1024L; @@ -42,7 +44,7 @@ public final class R2PrepareServlet extends HttpServlet { String root = input.path("pr").asText(""); String mime = input.path("mm").asText("application/octet-stream").trim(); long size = input.path("size").asLong(-1); - if (!ROOT.matcher(root).matches() || size < 1 || size > MAX_BYTES || !MIME.matcher(mime).matches() || mime.length() > 127) { + if (!validPiecesRoot(root) || size < 1 || size > MAX_BYTES || !MIME.matcher(mime).matches() || mime.length() > 127) { fail(resp, 400, "Invalid root, size or MIME"); return; } // The same authenticated session signing pattern as /files, with a distinct domain separator. @@ -90,6 +92,22 @@ public final class R2PrepareServlet extends HttpServlet { } } + /** Только канонический Base58 от ровно 32 байт Merkle-корня (не Base64URL). */ + static boolean validPiecesRoot(String root) { + if (root == null || !ROOT.matcher(root).matches()) return false; + int leadingZeroBytes = 0; + while (leadingZeroBytes < root.length() && root.charAt(leadingZeroBytes) == '1') leadingZeroBytes++; + BigInteger value = BigInteger.ZERO; + for (int i = leadingZeroBytes; i < root.length(); i++) { + int digit = BASE58_ALPHABET.indexOf(root.charAt(i)); + if (digit < 0) return false; + value = value.multiply(BigInteger.valueOf(58)).add(BigInteger.valueOf(digit)); + } + // BigInteger не хранит ведущие нулевые байты; их кодируют символы '1'. + int dataBytes = value.signum() == 0 ? 0 : (value.bitLength() + 7) / 8; + return leadingZeroBytes + dataBytes == 32; + } + private static String setting(String env, String property) { String value = System.getenv(env); if (value == null || value.isBlank()) value = AppConfig.getInstance().getParam(property); diff --git a/SHiNE-server/src/test/java/server/files/R2PrepareServletTest.java b/SHiNE-server/src/test/java/server/files/R2PrepareServletTest.java new file mode 100644 index 00000000..8afc9fa5 --- /dev/null +++ b/SHiNE-server/src/test/java/server/files/R2PrepareServletTest.java @@ -0,0 +1,27 @@ +package server.files; + +import org.junit.jupiter.api.Test; + +import static org.junit.jupiter.api.Assertions.*; + +class R2PrepareServletTest { + + @Test + void acceptsCanonicalBase58PiecesRootsOf32Bytes() { + assertTrue(R2PrepareServlet.validPiecesRoot("11111111111111111111111111111111")); + assertTrue(R2PrepareServlet.validPiecesRoot("4vJ9JU1bJJE96FWSJKvHsmmFADCg4gpZQff4P3bkLKi")); + assertTrue(R2PrepareServlet.validPiecesRoot("JEKNVnkbo3jma5nREBBJCDoXFVeKkD56V3xKrvRmWxFG")); + } + + @Test + void rejectsNonBase58AndWrongSizeRoots() { + assertFalse(R2PrepareServlet.validPiecesRoot(null)); + assertFalse(R2PrepareServlet.validPiecesRoot("")); + assertFalse(R2PrepareServlet.validPiecesRoot("A".repeat(42) + "_")); + assertFalse(R2PrepareServlet.validPiecesRoot("A".repeat(42) + "-")); + assertFalse(R2PrepareServlet.validPiecesRoot("O".repeat(44))); + assertFalse(R2PrepareServlet.validPiecesRoot("1".repeat(31))); + assertFalse(R2PrepareServlet.validPiecesRoot("1".repeat(33))); + assertFalse(R2PrepareServlet.validPiecesRoot("A".repeat(45))); + } +} diff --git a/VERSION.properties b/VERSION.properties index 0df82adb..68a1b9e3 100644 --- a/VERSION.properties +++ b/VERSION.properties @@ -1,2 +1,2 @@ -client.version=1.20.41 -server.version=1.16.23 +client.version=1.20.42 +server.version=1.16.24 diff --git a/application.properties.example b/application.properties.example index 4899b2d7..8bf22d1f 100644 --- a/application.properties.example +++ b/application.properties.example @@ -33,13 +33,12 @@ call.ice.turn.sharedSecret= # The deployment script copies allowed-email-domains.txt alongside shine-server.jar. freeRegistration.email.allowedDomainsFile=allowed-email-domains.txt -# R2 public attachment direct uploads. -# These values belong only in the private server application.properties, -# never in Git or the browser bundle. +# R2 public attachment direct uploads (keep credentials in server environment) r2.publicBucket=shine-files -r2.endpoint= -r2.accessKeyId= -r2.secretAccessKey= +# R2_ENDPOINT=https://.r2.cloudflarestorage.com +# R2_ACCESS_KEY_ID=... +# R2_SECRET_ACCESS_KEY=... -# Environment variables R2_ENDPOINT, R2_ACCESS_KEY_ID and -# R2_SECRET_ACCESS_KEY override the three properties above. +# R2 DM encrypted attachments (publicly downloadable ciphertext, 14-day lifecycle) +r2.dmBucket=shine-dm +# Configure R2 credentials via R2_ENDPOINT, R2_ACCESS_KEY_ID, R2_SECRET_ACCESS_KEY diff --git a/docs/API/18_DM_File_Storage_API.md b/docs/API/18_DM_File_Storage_API.md index 0e4070ef..d1f41cc2 100644 --- a/docs/API/18_DM_File_Storage_API.md +++ b/docs/API/18_DM_File_Storage_API.md @@ -2,7 +2,7 @@ ## 1. Назначение -Файлы личных сообщений хранятся только на access-сервере отправителя и только в зашифрованном виде. +Ранее файлы DM хранились только на access-сервере отправителя. **Новые DM v3** хранятся в Cloudflare R2 `shine-dm`, а legacy `/dm-files` продолжает обслуживать старые файлы v1/v2. HTTP API не получает исходное имя файла, MIME-тип или ключ расшифрования. Клиент: @@ -111,3 +111,12 @@ Caddy/Nginx должен проксировать `/dm-files/*` в тот же J - encrypted root manifest — ссылки на страницы + BitTorrent v2 root metadata. Никаких новых доверенных серверных операций для v2 не требуется: сервер по-прежнему только проверяет подпись PUT, длину и `Base58(SHA-256(ciphertext))`. + + +## 9. Новый R2 API: `POST /api/dm-files/prepare` (DM v3) + +Новые зашифрованные вложения загружаются браузером прямо в R2. Клиент посылает JSON `{ "fileId": "Base58_SHA256(ciphertext)", "size": 12345 }` и подписанные заголовки `X-Shine-Session-Id`, `X-Shine-Time-Ms`, `X-Shine-Signature`. Строка Ed25519-подписи: `DM_R2_PREPARE_V1:{sessionId}:{fileId}:{size}:{timeMs}`. Сервер подтверждает существование объекта или выдаёт `uploadUrl` и `requiredHeaders` с условием `If-None-Match: *`. + +Максимальный размер одного ciphertext-объекта — 8 МиБ + 16 байт. Подписанный PUT действителен 30 минут. Загрузка не идёт через Java. Новый URL скачивания: `https://dm-files.shineup.me/`; GET публичный, но объект содержит только AES-GCM ciphertext. R2 объект содержит `Content-Type: application/octet-stream`; исходный MIME хранится внутри зашифрованного ``. + +Доступ к R2 требует настроек `r2.dmBucket=shine-dm` и серверных `R2_ENDPOINT`, `R2_ACCESS_KEY_ID`, `R2_SECRET_ACCESS_KEY`. Рекомендуется lifecycle rule **14 дней**. Кэш CDN допускается и может продлить доступность ciphertext после удаления из R2. Сервер не гарантирует соответствие загруженных байтов hash: читающий клиент проверяет `Base58(SHA-256(ciphertext))`. Полный формат DM v3 описан в `docs/Personal_Messages/Файлы_DM_v3_R2.md`. diff --git a/docs/API/21_Public_File_Storage_API.md b/docs/API/21_Public_File_Storage_API.md index f06255e1..51ecc770 100644 --- a/docs/API/21_Public_File_Storage_API.md +++ b/docs/API/21_Public_File_Storage_API.md @@ -144,6 +144,6 @@ https:///files/ ## R2 direct upload (MVP, 2026-11) -New public attachments use BitTorrent v2 `pr` (base64url 43 characters), `mm` (optional MIME) and `v=1`. Avatars retain the original SHA-256 `/files/` API. The client signs `PUBLIC_R2_PREPARE_V1:{sessionId}:{pr}:{size}:{mm}:{timeMs}` with its Ed25519 session key, submits JSON `{pr,size,mm}` to `POST /api/files/prepare` and provides `X-Shine-Session-Id`, `X-Shine-Time-Ms` and `X-Shine-Signature`. The endpoint returns `exists`, `fileUrl`, and for missing objects `uploadUrl` and `requiredHeaders`. The browser uploads the original Blob directly to the S3 endpoint, not the Java server. A signature does not certify the hash of uploaded content. The public GET URL is `https://files.shineup.me/`. +New public attachments use BitTorrent v2 `pr` (canonical Base58 encoding of the 32-byte Pieces Root, normally 43–44 characters, variable length 32–44), `mm` (optional MIME) and `v=1`. Avatars retain the original SHA-256 `/files/` API. The client signs `PUBLIC_R2_PREPARE_V1:{sessionId}:{pr}:{size}:{mm}:{timeMs}` with its Ed25519 session key, submits JSON `{pr,size,mm}` to `POST /api/files/prepare` and provides `X-Shine-Session-Id`, `X-Shine-Time-Ms` and `X-Shine-Signature`. The endpoint returns `exists`, `fileUrl`, and for missing objects `uploadUrl` and `requiredHeaders`. The browser uploads the original Blob directly to the S3 endpoint, not the Java server. A signature does not certify the hash of uploaded content. The public GET URL is `https://files.shineup.me/`; the R2 object key is exactly the same Base58 `pr` (no extension). Old Base64URL PR identifiers are not read or migrated. Arweave TX IDs and DM file identifiers keep their existing encodings. Client and Java server must be updated together. Configuration: `R2_ENDPOINT`, `R2_ACCESS_KEY_ID`, `R2_SECRET_ACCESS_KEY`, `r2.publicBucket=shine-files` (or `r2.endpoint`, `r2.accessKeyId`, `r2.secretAccessKey` in trusted server config). Never publish keys. Configure browser CORS to permit signed PUT headers including `If-None-Match`. Max size: 500 MiB. Single PUT only, no multipart in this MVP. diff --git a/docs/Personal_Messages/README.md b/docs/Personal_Messages/README.md index b7c62e65..cbd0a2c5 100644 --- a/docs/Personal_Messages/README.md +++ b/docs/Personal_Messages/README.md @@ -9,10 +9,11 @@ - `docs/Personal_Messages/Доставка_и_синхронизация_DM.md` — доставка на единственный access-сервер, retry-воркер и UI-статусы - `docs/Personal_Messages/Технические_вставки_DM_v1.md` — формат специальных `` вставок внутри plaintext DM после расшифровки -- `docs/Personal_Messages/Файлы_DM_v2.md` — большие chunked-вложения, голосовые и BitTorrent v2 SHA-256/Merkle metadata +- `docs/Personal_Messages/Файлы_DM_v2.md` — старый формат chunked-вложений с BitTorrent v2 (только чтение); +- `docs/Personal_Messages/Файлы_DM_v3_R2.md` — **новые** chunked-вложения и голосовые в Cloudflare R2, AES-GCM, SHA-256/Base58 - `docs/API/18_DM_File_Storage_API.md` — HTTP-хранилище зашифрованных файлов DM на access-сервере отправителя -Документы с версиями `v1` и `v2` описывают разные уровни: `v1` — контейнер и доставка сообщения, `v2` — формат больших файлов внутри зашифрованного содержимого DM. Реализация `v2` находится в `shine-UI/js/services/dm-file-service.js` и `dm-tech-blocks.js`. +Документы с версиями `v1`, `v2` и `v3` описывают разные уровни: `v1` — контейнер и доставка сообщения, `v2` — старый формат больших файлов, `v3` — новые файлы в R2 без BitTorrent. Клиентская реализация находится в `shine-UI/js/services/dm-file-service.js` и `dm-tech-blocks.js`. Правило сопровождения: @@ -22,12 +23,12 @@ ## Зашифрованные файлы DM -Официальный UI v1 умеет отправлять файл как внешний зашифрованный объект: +Официальный UI v3 отправляет файл как зашифрованные объекты R2 (чтение старого v1/v2 поддерживается): - файл шифруется в браузере `AES-256-GCM`; -- ciphertext хранится только на access-сервере отправителя под именем `Base58(SHA-256(ciphertext))`; +- новый ciphertext хранится в корзине `shine-dm` по адресу `https://dm-files.shineup.me/`; - AES-key, IV, исходное имя, MIME, размер и URL находятся в `` внутри plaintext DM, а значит сами защищены существующим E2EE DM; -- получатель скачивает ciphertext с сервера отправителя, проверяет SHA-256, расшифровывает локально и только затем отдаёт Blob браузеру для сохранения под исходным именем; +- получатель скачивает новый ciphertext напрямую из R2, проверяет SHA-256, расшифровывает локально и только затем отдаёт Blob браузеру для сохранения под исходным именем; - сервер файлов ключ расшифрования не получает. Формат бинарного контейнера `SHiNE_DM` при этом не меняется. diff --git a/docs/Personal_Messages/Технические_вставки_DM_v1.md b/docs/Personal_Messages/Технические_вставки_DM_v1.md index 69739762..382d946c 100644 --- a/docs/Personal_Messages/Технические_вставки_DM_v1.md +++ b/docs/Personal_Messages/Технические_вставки_DM_v1.md @@ -195,3 +195,14 @@ fromLogin|toLogin|timeMs|nonce В одном plaintext DM разрешено несколько последовательных `` блоков. Официальный UI собирает их в один список вложений и скрывает fallback-текст. Подробный формат chunk encryption, manifest pages и BitTorrent v2 hashing: `Файлы_DM_v2.md`. + + +## 11. Новый `file` v3 — R2 без BitTorrent + +Новые вложения и голосовые сообщения отправляются только в `v=3`, при этом продолжается чтение v1 и v2: + +```text + +``` + +Здесь **нет** `th` или `pr`; `id` обозначает SHA-256 **зашифрованного корневого манифеста** в Base58. Все части и манифест шифруются AES-256-GCM, хранятся по `Base58(SHA-256(ciphertext))`. Встроенный MIME по-прежнему называется `mime` в DM-протоколе (сокращение `mm` касается публичного `S:att`). Бинарный E2EE-контейнер не меняется. Подробности: `Файлы_DM_v3_R2.md`. diff --git a/docs/Personal_Messages/Файлы_DM_v3_R2.md b/docs/Personal_Messages/Файлы_DM_v3_R2.md new file mode 100644 index 00000000..8512a435 --- /dev/null +++ b/docs/Personal_Messages/Файлы_DM_v3_R2.md @@ -0,0 +1,94 @@ +# DM file v3: Cloudflare R2, AES-GCM, SHA-256 / Base58 + +## Назначение + +Все **новые** файлы и голосовые сообщения DM официального PWA загружаются непосредственно в R2 `shine-dm`. +Содержимое файлов Java-сервером не проксируется, а сервер выдаёт временные S3 PUT URL после проверки Ed25519-сессии. +Скачивание публичное по `https://dm-files.shineup.me/`: там хранится **только ciphertext**. +Ключ AES, префикс IV, имя, MIME и размер помещаются внутрь уже E2EE-зашифрованного сообщения. + +В v3 **нет BitTorrent, Merkle/`pieces root` и infohash**. Они сохранились только для чтения ранее отправленных DM v2. + +## Как создаётся файл + +- Клиент делит исходный файл на куски по **8 МиБ**; это границы шифрования, а не торрентные pieces. +- На всё вложение генерируется новый случайный AES-256-GCM key и новый 4-байтный IV prefix. +- Для каждой части используется отдельный 12-байтный IV: `prefix[4] || uint64_be(index)`; AAD содержит домен `chunk`, index и IV prefix. IV страниц манифеста и корня зарезервированы отдельно, как в v2. +- Каждая часть шифруется независимо и получает идентификатор **`Base58(SHA-256(ciphertext))`**. +- Клиент загружает части параллельно не более чем по одной (последовательно) через подписанные URL (без Multipart). +- Список частей помещается **в один зашифрованный корневой манифест**, который также получает собственный SHA-256/Base58 ID и загружается в R2. +- Итоговая ``-вставка с ключом и ссылкой на root manifest передаётся только внутри обычного E2EE DM. + +Максимальный размер оригинального файла в этом MVP — **500 МиБ**. Обычная загрузка одного ciphertext-объекта — до `8 МиБ + 16` байт. Дополнительная проверка хеша исходного plaintext не требуется: каждый объект проверяется по SHA-256 ciphertext, а расшифрование AES-GCM аутентифицирует содержимое каждого куска и его порядковый номер. + +## Манифест после расшифрования + +```json +{ + "v": 3, + "scheme": "SHINE-DM-R2-AES-256-GCM", + "chunkSize": 8388608, + "fileSize": 10485760, + "chunkCount": 2, + "chunks": [ + {"i": 0, "id": "", "ps": 8388608, "es": 8388624}, + {"i": 1, "id": "", "ps": 2097152, "es": 2097168} + ] +} +``` + +`ps` — размер plaintext, `es = ps + 16` — размер ciphertext с GCM tag. Манифест и любой отдельный chunk в R2 имеют `Content-Type: application/octet-stream`; MIME исходного файла хранится **только в E2EE технической вставке**. + +## Загрузка через R2 + +`POST /api/dm-files/prepare` с JSON `{ "fileId": "Base58_SHA256_CIPHERTEXT", "size": 8388624 }`. + +Заголовки: + +- `X-Shine-Session-Id` +- `X-Shine-Time-Ms` +- `X-Shine-Signature` — Base64 Ed25519 подписи активным session key. + +Подписываемая UTF-8 строка: + +``` +DM_R2_PREPARE_V1:{sessionId}:{fileId}:{size}:{timeMs} +``` + +Сервер проверяет действующую сессию и размер, выполняет S3 `HeadObject` в `shine-dm`, затем возвращает: + +- `exists: true` — объект уже существует и совпадает по размеру; +- либо `exists: false`, `uploadUrl` и `requiredHeaders` для одноразового по назначению (но действующего в течение срока) S3 PUT. PUT требует `If-None-Match: *` для исключения перезаписи. + +Срок действия ссылки: 30 минут. Сервер не проверяет SHA-256 загруженного ciphertext, поэтому клиент при чтении **обязан** проверить Base58(SHA-256(downloadedCiphertext)) перед расшифрованием. SHA-256 объекта не равен S3 ETag. + +## Скачивание + +1. Скачать ciphertext root manifest по адресу, записанному в E2EE-сообщении. +2. Проверить `Base58(SHA-256(ciphertext)) == id`. +3. Расшифровать AES-GCM и проверить структуру манифеста. +4. Получить каждую зашифрованную часть напрямую с `dm-files.shineup.me/`. +5. Проверить SHA-256 каждой части, расшифровать AES-GCM, проверить порядок и длину. +6. Последовательно записать исходные данные в браузерный поток сохранения или Blob fallback. + +## Настройка Cloudflare + +- R2 Bucket: `shine-dm`, публичный custom domain `dm-files.shineup.me` (в R2 только шифротекст). +- Object Lifecycle: удалить объекты через 14 дней (Cloudflare выполняет удаление асинхронно). +- CDN-кэширование разрешено: файлы могут оставаться доступными из кэша после удаления из R2, гарантий точного срока недоступности нет. +- CORS: с origin сайта SHiNE разрешить `GET`, `HEAD`, `PUT`; `AllowedHeaders: ["*"]`; `ExposeHeaders: ["Content-Length", "ETag"]`. +- Секреты S3 (`R2_ENDPOINT`, `R2_ACCESS_KEY_ID`, `R2_SECRET_ACCESS_KEY`) задаются **на Java-сервере**, никак не в браузере. +- `r2.dmBucket=shine-dm` в конфигурации Java. +- Обеспечить reverse proxy **только нового** `POST /api/dm-files/prepare` к Java-серверу (до SPA fallback), помимо уже действующего `/dm-files/*` для старых DM. +- Токен R2 должен иметь Object Read & Write для обоих buckets `shine-files` и `shine-dm`. + +## Совместимость + +DM v1 и DM v2 читаются прежними обработчиками (с локальных старых URL), но новые вложения генерируются **только v3**. В v2 используется BitTorrent v2, в v3 — нет. Старым клиентам v3 необходимо обновление: это новая версия технической вставки. Бинарный формат E2EE-контейнера DM и его криптопротокол не меняются. + +## Границы MVP и ограничения + +- Нет Multipart Upload в S3, нет возобновления одного незавершённого PUT. +- Java-сервер не доказывает соответствие присланных байтов объявленному SHA-256; повреждённые объекты обнаруживаются получателем. Подмена первого объекта до дедупликации требует отдельной доверенной проверки в будущем. +- Заявленный размер и URL не защищают от всех злоупотреблений: для публичного запуска дополнительно нужны лимиты и мониторинг R2-расходов. +- Удаление из R2 не удаляет уже скачанные копии, CDN-кэш и копии у получателей. diff --git a/scripts/tests/test-dm-r2-v3.mjs b/scripts/tests/test-dm-r2-v3.mjs new file mode 100644 index 00000000..0f0c09a3 --- /dev/null +++ b/scripts/tests/test-dm-r2-v3.mjs @@ -0,0 +1,99 @@ +import assert from 'node:assert/strict'; +import { createHash, webcrypto } from 'node:crypto'; +import { encryptAndUploadDmFile, decryptDmFileToBlob } from '../../shine-UI/js/services/dm-file-service.js'; +import { buildDmFileTechBlock, parseDmTechBlocks } from '../../shine-UI/js/services/dm-tech-blocks.js'; +import { exportPkcs8B64 } from '../../shine-UI/js/services/crypto-utils.js'; + +// Fake IndexedDB only for session-key lookup (no external R2 or Java server required). +globalThis.crypto ??= webcrypto; +globalThis.window = { location: { href: 'https://shineup.me/' } }; +const keyPair = await crypto.subtle.generateKey({ name: 'Ed25519' }, true, ['sign', 'verify']); +const session = { sessionId: 'test-session', sessionPrivPkcs8: await exportPkcs8B64(keyPair.privateKey) }; +globalThis.indexedDB = { + open() { + const request = {}; + const db = { + objectStoreNames: { contains: () => true }, + transaction() { + return { objectStore() { return { get() { + const result = { result: session }; + queueMicrotask(() => result.onsuccess?.()); + return result; + } }; } }; + }, + close() {}, + }; + request.result = db; + queueMicrotask(() => request.onsuccess?.()); + return request; + }, +}; +const stored = new Map(); +let signedRequests = 0; +let putRequests = 0; +const bytesFromBody = async body => new Uint8Array(await new Response(body).arrayBuffer()); +globalThis.fetch = async (url, opts = {}) => { + const method = opts.method || 'GET'; + const target = String(url); + if (target.endsWith('/api/dm-files/prepare')) { + assert.equal(method, 'POST'); + const { fileId, size } = JSON.parse(opts.body); + const sigBytes = Buffer.from(opts.headers['X-Shine-Signature'], 'base64'); + const timeMs = opts.headers['X-Shine-Time-Ms']; + const preimage = `DM_R2_PREPARE_V1:test-session:${fileId}:${size}:${timeMs}`; + assert.equal(await crypto.subtle.verify('Ed25519', keyPair.publicKey, sigBytes, new TextEncoder().encode(preimage)), true); + signedRequests++; + return Response.json(stored.has(fileId) ? { exists: true } : { + exists: false, + uploadUrl: `https://r2.invalid/${fileId}`, + requiredHeaders: { 'content-type': 'application/octet-stream', 'if-none-match': '*' }, + }); + } + const id = target.split('/').at(-1); + if (target.startsWith('https://r2.invalid/')) { + assert.equal(method, 'PUT'); + assert.equal(opts.headers['if-none-match'], '*'); + const bytes = await bytesFromBody(opts.body); + assert.equal(id.length >= 32, true); + if (stored.has(id)) return new Response('', { status: 412 }); + stored.set(id, bytes); + putRequests++; + return new Response('', { status: 200 }); + } + if (target.startsWith('https://dm-files.shineup.me/')) { + const bytes = stored.get(id); + if (!bytes) return new Response('', { status: 404 }); + return new Response(method === 'HEAD' ? null : bytes, { status: 200, headers: { + 'Content-Length': String(bytes.byteLength), 'Content-Type': 'application/octet-stream', + } }); + } + throw new Error(`Unexpected fetch: ${method} ${target}`); +}; + +const data = new Uint8Array(9 * 1024 * 1024 + 137); +for (let i = 0; i < data.length; i++) data[i] = i % 251; +const file = new File([data], 'movie.bin', { type: 'application/octet-stream' }); +const upload = await encryptAndUploadDmFile({ + file, login: 'alice', sessionId: 'test-session', wsUrl: 'wss://shineup.me/ws', +}); +assert.equal(upload.version, 3); +assert.equal(upload.chunkCount, 2); +assert.equal(upload.chunkSize, 8 * 1024 * 1024); +assert.equal(stored.size, 3); // ciphertext chunk 0, chunk 1, encrypted manifest +assert.equal(putRequests, 3); +assert.equal(signedRequests, 3); +assert.match(upload.url, /^https:\/\/dm-files\.shineup\.me\/[1-9A-HJ-NP-Za-km-z]+$/); +const raw = buildDmFileTechBlock(upload); +assert.match(raw, / id !== upload.id); +const damaged = stored.get(ids[0]).slice(); +damaged[0] ^= 1; +stored.set(ids[0], damaged); +await assert.rejects(() => decryptDmFileToBlob(parsed), /SHA-256/); +console.log('DM R2 v3 end-to-end simulation OK (encrypt → signed PUT → manifest → decrypt; corruption rejected)'); diff --git a/shine-UI/js/components/dm-attachments.js b/shine-UI/js/components/dm-attachments.js index 84a92043..7c7ae590 100644 --- a/shine-UI/js/components/dm-attachments.js +++ b/shine-UI/js/components/dm-attachments.js @@ -57,7 +57,7 @@ export function createDmFileAttachmentCard(attachment) { const fileMeta = document.createElement('span'); fileMeta.className = 'dm-file-card__meta'; const metaParts = [formatBytes(attachment.size)]; - if (Number(attachment?.version || 1) >= 2) metaParts.push('BitTorrent v2'); + if (Number(attachment?.version || 1) === 2) metaParts.push('BitTorrent v2'); fileMeta.textContent = metaParts.join(' · '); fileCopy.append(fileName, fileMeta); diff --git a/shine-UI/js/services/attachment-format.js b/shine-UI/js/services/attachment-format.js index 3c0400ee..10b6b478 100644 --- a/shine-UI/js/services/attachment-format.js +++ b/shine-UI/js/services/attachment-format.js @@ -3,6 +3,7 @@ import { formatNumber } from '../i18n/format.js'; import { openMediaViewer } from '../components/media-viewer.js'; import { buildArweaveDataUrl, sha256HexFromArrayBuffer, validateArweaveTxId, validateSha256Hex } from './arweave-file-service.js'; import { resolvePublicFileUrl } from './public-file-service.js'; +import { validatePublicPiecesRoot } from './public-pieces-root.js'; const ATTACH_BLOCK_RE = /^<(?:SHiNE|S):(attach|att);([^>]*)>\n?/u; export const MAX_MESSAGE_ATTACHMENTS = 10; @@ -47,8 +48,8 @@ export function normalizeAttachment(input = {}) { const size = Number(input.sz || input.size || input.sizeBytes || 0); const name = normalizeName(input.nm || input.name || input.fileName || 'file'); if (txId && !validateArweaveTxId(txId)) throw new Error(t('remaining.attachment_errors.invalid_arweave_transaction_id')); - if (!/^[A-Za-z0-9_-]{43}$/.test(pr) && !validateSha256Hex(sha256Hex)) throw new Error('Некорректный идентификатор файла'); - if (pr && !/^[A-Za-z0-9_-]{43}$/.test(pr)) throw new Error('Некорректный Pieces Root'); + if (!validatePublicPiecesRoot(pr) && !validateSha256Hex(sha256Hex)) throw new Error('Некорректный идентификатор файла'); + if (pr && !validatePublicPiecesRoot(pr)) throw new Error('Некорректный Pieces Root'); if (mm && (!/^[a-z0-9!#$&^_.+-]+\/[a-z0-9!#$&^_.+-]+$/i.test(mm) || mm.length > 127)) throw new Error('Некорректный MIME'); if (!Number.isInteger(size) || size <= 0) throw new Error(t('remaining.attachment_errors.invalid_file_size')); return { v: 1, name, size, sha256: sha256Hex, pr, mm, ar: txId, uploadedAtMs: Number(input.uploadedAtMs || 0) || Date.now() }; diff --git a/shine-UI/js/services/dm-file-service.js b/shine-UI/js/services/dm-file-service.js index a0b47f51..52df2ee9 100644 --- a/shine-UI/js/services/dm-file-service.js +++ b/shine-UI/js/services/dm-file-service.js @@ -20,12 +20,18 @@ import { computeTorrentV2PieceRoot, } from './torrent-v2-service.js'; -export const DM_FILE_CHUNK_BYTES = TORRENT_V2_PIECE_BYTES; +export const DM_FILE_CHUNK_BYTES = 8 * 1024 * 1024; +const LEGACY_DM_FILE_CHUNK_BYTES = TORRENT_V2_PIECE_BYTES; export const DM_FILE_MANIFEST_PAGE_CHUNKS = 256; export const DM_MAX_ATTACHMENTS_PER_MESSAGE = 10; const MANIFEST_VERSION = 2; const MANIFEST_SCHEME = 'SHINE-DM-CHUNKED-AES-256-GCM'; +const R2_MANIFEST_VERSION = 3; +const R2_MANIFEST_SCHEME = 'SHINE-DM-R2-AES-256-GCM'; +const DM_R2_PUBLIC_BASE = 'https://dm-files.shineup.me'; +const DM_R2_OBJECT_MAX_BYTES = DM_FILE_CHUNK_BYTES + 16; +const DM_R2_FILE_MAX_BYTES = 500 * 1024 * 1024; const ROOT_IV_TOKEN = 0xffffffffffffffffn; const PAGE_IV_BASE = 0x8000000000000000n; const encoder = new TextEncoder(); @@ -52,7 +58,7 @@ function wsUrlToHttpBase(wsUrl = '') { } function uploadPreimage({ sessionId, fileId, encryptedSize, timeMs }) { - return `DM_FILE_UPLOAD_V1:${sessionId}:${fileId}:${Number(encryptedSize)}:${Number(timeMs)}`; + return `DM_R2_PREPARE_V1:${sessionId}:${fileId}:${Number(encryptedSize)}:${Number(timeMs)}`; } async function readErrorMessage(response) { @@ -71,7 +77,10 @@ async function readErrorMessage(response) { } function objectUrl(serverBase, id) { - return `${String(serverBase || '').replace(/\/$/, '')}/dm-files/${encodeURIComponent(String(id || ''))}`; + const base = String(serverBase || '').replace(/\/$/, ''); + // Старые вложения читаем с access-сервера, новые — с отдельного домена R2. + const path = new URL(base).hostname === 'dm-files.shineup.me' ? '' : '/dm-files'; + return `${base}${path}/${encodeURIComponent(String(id || ''))}`; } function objectBaseFromUrl(url = '') { @@ -143,66 +152,58 @@ async function createUploadContext({ login, sessionId, wsUrl }) { async function uploadEncryptedObject(bytes, context) { const payload = bytes instanceof Uint8Array ? bytes : new Uint8Array(bytes || 0); - const fileId = bytesToBase58(await sha256Bytes(payload)); - const url = objectUrl(context.serverBase, fileId); - - // Быстрая дедупликация: если сервер уже подтверждает content-addressed объект, - // не отправляем его байты повторно. HEAD на сервере сам перепроверяет SHA-256 файла. - try { - const existing = await fetch(url, { method: 'HEAD', cache: 'no-store' }); - if (existing.ok) { - const storedSize = Number(existing.headers.get('Content-Length') || -1); - const etag = String(existing.headers.get('ETag') || '').replace(/^"|"$/g, ''); - if (storedSize === payload.byteLength && (!etag || etag === fileId)) { - return { id: fileId, url, encryptedSize: payload.byteLength, alreadyExists: true }; - } - } - } catch { - // Старый сервер или временная ошибка HEAD не должны ломать загрузку: PUT остаётся источником истины. + if (payload.byteLength < 16 || payload.byteLength > DM_R2_OBJECT_MAX_BYTES) { + throw new Error('Зашифрованный объект DM превышает лимит R2'); } - + const fileId = bytesToBase58(await sha256Bytes(payload)); const timeMs = Date.now(); const signatureB64 = await signBase64(context.privateKey, uploadPreimage({ - sessionId: context.sessionId, - fileId, - encryptedSize: payload.byteLength, - timeMs, + sessionId: context.sessionId, fileId, encryptedSize: payload.byteLength, timeMs, })); - let response; - try { - response = await fetch(url, { - method: 'PUT', - headers: { - 'Content-Type': 'application/octet-stream', - 'X-Shine-Session-Id': context.sessionId, - 'X-Shine-Time-Ms': String(timeMs), - 'X-Shine-Content-Length': String(payload.byteLength), - 'X-Shine-Signature': signatureB64, - }, - body: payload, - cache: 'no-store', - }); - } catch (error) { - throw new Error(`Не удалось загрузить часть файла на сервер отправителя: ${error?.message || 'network error'}`); + const prepare = await fetch(`${context.serverBase}/api/dm-files/prepare`, { + method: 'POST', + headers: { + 'Content-Type': 'application/json', + 'X-Shine-Session-Id': context.sessionId, + 'X-Shine-Time-Ms': String(timeMs), + 'X-Shine-Signature': signatureB64, + }, + body: JSON.stringify({ fileId, size: payload.byteLength }), + }); + if (!prepare.ok) { + const detail = await readErrorMessage(prepare); + throw new Error(detail || `R2 DM prepare: HTTP ${prepare.status}`); } - if (!response.ok) { - const detail = await readErrorMessage(response); - throw new Error(detail || `Сервер отклонил часть файла (HTTP ${response.status})`); + const answer = await prepare.json(); + const url = `${DM_R2_PUBLIC_BASE}/${fileId}`; + if (!answer.exists) { + if (!answer.uploadUrl || !answer.requiredHeaders) throw new Error('Сервер не вернул параметры загрузки R2'); + let result; + try { + result = await fetch(answer.uploadUrl, { + method: 'PUT', headers: answer.requiredHeaders, body: payload, + }); + } catch (error) { + throw new Error(`Не удалось загрузить зашифрованные данные в R2: ${error?.message || 'network error'}`); + } + if (result.status === 412) { + // Другой клиент успел создать объект. Его реальные байты проверит получатель по SHA-256. + const check = await fetch(url, { method: 'HEAD' }); + if (!check.ok || Number(check.headers.get('Content-Length')) !== payload.byteLength) { + throw new Error('Конфликт загрузки зашифрованного объекта R2'); + } + } else if (!result.ok) { + const detail = await readErrorMessage(result); + throw new Error(detail || `Ошибка загрузки зашифрованных данных в R2 (HTTP ${result.status})`); + } } - let alreadyExists = false; - try { - const payloadJson = await response.clone().json(); - alreadyExists = Boolean(payloadJson?.alreadyExists); - } catch { - // Ответ старого сервера может не содержать JSON-флаг; успешного HTTP достаточно. - } - return { id: fileId, url, encryptedSize: payload.byteLength, alreadyExists }; + return { id: fileId, url, encryptedSize: payload.byteLength, alreadyExists: Boolean(answer.exists) }; } async function fetchVerifiedObject(url, expectedId) { let response; try { - response = await fetch(url, { method: 'GET', cache: 'no-store' }); + response = await fetch(url, { method: 'GET' }); } catch (error) { throw new Error(`Не удалось скачать зашифрованные данные: ${error?.message || 'network error'}`); } @@ -226,26 +227,6 @@ function decodeJson(bytes) { return JSON.parse(decoder.decode(bytes)); } -async function encryptAndUploadManifestPage({ descriptors, pageIndex, fileKey, ivPrefix, uploadContext }) { - const plain = encodeJson({ v: MANIFEST_VERSION, page: pageIndex, chunks: descriptors }); - const iv = pageIv(ivPrefix, pageIndex); - const aad = pageAad(ivPrefix, pageIndex); - let encrypted; - try { - encrypted = await encryptBytesAesGcm(plain, fileKey, iv, aad); - const stored = await uploadEncryptedObject(encrypted, uploadContext); - return { - id: stored.id, - count: descriptors.length, - encryptedSize: stored.encryptedSize, - }; - } finally { - plain.fill(0); - iv.fill(0); - aad.fill(0); - encrypted?.fill(0); - } -} export function formatDmFileSize(bytes = 0) { const value = Math.max(0, Number(bytes || 0)); @@ -256,148 +237,164 @@ export function formatDmFileSize(bytes = 0) { } /** - * V2 uploader: no whole-file size limit. Only one 1 MiB plaintext piece is held in - * memory at a time. Every piece is independently AES-256-GCM encrypted and stored - * as Base58(SHA-256(ciphertext)). + * Новые DM v3: AES-GCM по 8 МиБ, SHA-256(ciphertext) для каждого объекта. + * BitTorrent/Merkle не вычисляются. Старые v1/v2 остаются доступны на чтение. */ export async function encryptAndUploadDmFile({ - file, - login, - sessionId, - wsUrl, - kind = 'file', - durationMs = 0, - onProgress = null, + file, login, sessionId, wsUrl, kind = 'file', durationMs = 0, onProgress = null, } = {}) { if (!file || typeof file.slice !== 'function') throw new Error('Файл не выбран'); + const fileSize = Number(file.size); + if (!Number.isSafeInteger(fileSize) || fileSize < 0 || fileSize > DM_R2_FILE_MAX_BYTES) { + throw new Error('Максимальный размер личного файла — 500 МиБ'); + } const uploadContext = await createUploadContext({ login, sessionId, wsUrl }); const fileKey = randomBytes(32); const ivPrefix = randomBytes(4); - const fileSize = Math.max(0, Number(file.size || 0)); const chunkCount = Math.ceil(fileSize / DM_FILE_CHUNK_BYTES); - const pageRefs = []; - let pageDescriptors = []; - let pageIndex = 0; - const pieceAccumulator = new TorrentV2PieceAccumulator(); - let singlePieceRoot = null; - let completedBytes = 0; - + const descriptors = []; + let encryptedTotal = 0; try { for (let index = 0; index < chunkCount; index += 1) { const start = index * DM_FILE_CHUNK_BYTES; - const end = Math.min(fileSize, start + DM_FILE_CHUNK_BYTES); - const plain = new Uint8Array(await file.slice(start, end).arrayBuffer()); + const plain = new Uint8Array(await file.slice(start, Math.min(fileSize, start + DM_FILE_CHUNK_BYTES)).arrayBuffer()); const iv = chunkIv(ivPrefix, index); const aad = chunkAad(ivPrefix, index); let encrypted = null; try { - const pieceRoot = await computeTorrentV2PieceRoot(plain, { - padToPieceLength: fileSize > TORRENT_V2_PIECE_BYTES, - }); - if (!pieceRoot) throw new Error('Не удалось вычислить torrent-v2 hash части'); - if (chunkCount <= 1) singlePieceRoot = pieceRoot.slice(); - else await pieceAccumulator.addPieceRoot(pieceRoot); - encrypted = await encryptBytesAesGcm(plain, fileKey, iv, aad); const stored = await uploadEncryptedObject(encrypted, uploadContext); - pageDescriptors.push({ - i: index, - id: stored.id, - ps: plain.byteLength, - es: encrypted.byteLength, - ph: bytesToBase64Url(pieceRoot), - }); - completedBytes += plain.byteLength; - onProgress?.({ - phase: 'chunks', - chunkIndex: index, - chunkCount, - processedBytes: completedBytes, - totalBytes: fileSize, - }); + descriptors.push({ i: index, id: stored.id, ps: plain.byteLength, es: stored.encryptedSize }); + encryptedTotal += stored.encryptedSize; + onProgress?.({ phase: 'chunks', chunkIndex: index, chunkCount, + processedBytes: Math.min(fileSize, start + plain.byteLength), totalBytes: fileSize }); } finally { plain.fill(0); iv.fill(0); aad.fill(0); encrypted?.fill(0); } - - if (pageDescriptors.length >= DM_FILE_MANIFEST_PAGE_CHUNKS || index === chunkCount - 1) { - const pageRef = await encryptAndUploadManifestPage({ - descriptors: pageDescriptors, - pageIndex, - fileKey, - ivPrefix, - uploadContext, - }); - pageRefs.push(pageRef); - pageDescriptors = []; - pageIndex += 1; - } } - - const piecesRoot = fileSize <= 0 - ? null - : (chunkCount <= 1 ? singlePieceRoot : await pieceAccumulator.finalize()); - const torrentInfo = await computeTorrentV2InfoHash({ - name: normalizeFileName(file.name), - size: fileSize, - piecesRoot, + const manifestBytes = encodeJson({ + v: R2_MANIFEST_VERSION, scheme: R2_MANIFEST_SCHEME, + chunkSize: DM_FILE_CHUNK_BYTES, fileSize, chunkCount, chunks: descriptors, }); - - const rootManifest = { - v: MANIFEST_VERSION, - scheme: MANIFEST_SCHEME, - chunkSize: DM_FILE_CHUNK_BYTES, - fileSize, - chunkCount, - pages: pageRefs, - torrent: { - metaVersion: 2, - blockLength: TORRENT_V2_BLOCK_BYTES, - pieceLength: TORRENT_V2_PIECE_BYTES, - piecesRoot: piecesRoot ? bytesToBase64Url(piecesRoot) : '', - infoHash: torrentInfo.infoHashB64Url, - }, - }; - const rootPlain = encodeJson(rootManifest); const iv = rootIv(ivPrefix); const aad = rootAad(ivPrefix); - let rootEncrypted = null; + let encryptedManifest = null; try { - rootEncrypted = await encryptBytesAesGcm(rootPlain, fileKey, iv, aad); - const storedRoot = await uploadEncryptedObject(rootEncrypted, uploadContext); + encryptedManifest = await encryptBytesAesGcm(manifestBytes, fileKey, iv, aad); + const stored = await uploadEncryptedObject(encryptedManifest, uploadContext); onProgress?.({ phase: 'manifest', processedBytes: fileSize, totalBytes: fileSize, chunkCount }); return { - version: 2, - id: storedRoot.id, - url: storedRoot.url, + version: R2_MANIFEST_VERSION, + id: stored.id, url: stored.url, keyB64Url: bytesToBase64Url(fileKey), ivPrefixB64Url: bytesToBase64Url(ivPrefix), name: normalizeFileName(file.name), mime: String(file.type || 'application/octet-stream').trim().slice(0, 160) || 'application/octet-stream', - size: fileSize, - encryptedSize: pageRefs.reduce((sum, item) => sum + Number(item.encryptedSize || 0), 0) + storedRoot.encryptedSize, - chunkSize: DM_FILE_CHUNK_BYTES, - chunkCount, - torrentV2InfoHashB64Url: torrentInfo.infoHashB64Url, - torrentV2PiecesRootB64Url: piecesRoot ? bytesToBase64Url(piecesRoot) : '', + size: fileSize, encryptedSize: encryptedTotal + stored.encryptedSize, + chunkSize: DM_FILE_CHUNK_BYTES, chunkCount, kind: String(kind || 'file') === 'voice' ? 'voice' : 'file', durationMs: Math.max(0, Math.floor(Number(durationMs || 0))), }; } finally { - rootPlain.fill(0); + manifestBytes.fill(0); iv.fill(0); aad.fill(0); - rootEncrypted?.fill(0); + encryptedManifest?.fill(0); } } finally { fileKey.fill(0); ivPrefix.fill(0); - singlePieceRoot?.fill(0); } } +/** Получение зашифрованного манифеста v3 без BitTorrent-метаданных. */ +async function loadV3RootManifest(attachment) { + const id = String(attachment?.id || '').trim(); + const url = String(attachment?.url || '').trim(); + const key = base64UrlToBytes(String(attachment?.keyB64Url || '')); + const ivPrefix = base64UrlToBytes(String(attachment?.ivPrefixB64Url || '')); + if (!id || !url || key.byteLength !== 32 || ivPrefix.byteLength !== 4) { + key.fill(0); ivPrefix.fill(0); + throw new Error('Недостаточно данных для расшифровки личного файла'); + } + let encrypted = null; + let plain = null; + const iv = rootIv(ivPrefix); + const aad = rootAad(ivPrefix); + try { + encrypted = await fetchVerifiedObject(url, id); + plain = await decryptBytesAesGcm(encrypted, key, iv, aad); + const manifest = decodeJson(plain); + const size = Number(manifest?.fileSize); + const count = Number(manifest?.chunkCount); + if (manifest?.v !== R2_MANIFEST_VERSION || manifest.scheme !== R2_MANIFEST_SCHEME + || manifest.chunkSize !== DM_FILE_CHUNK_BYTES + || !Number.isSafeInteger(size) || size < 0 || size > DM_R2_FILE_MAX_BYTES + || size !== Number(attachment.size) + || count !== Math.ceil(size / DM_FILE_CHUNK_BYTES) + || !Array.isArray(manifest.chunks) || manifest.chunks.length !== count) { + throw new Error('Некорректный манифест личного файла R2'); + } + for (let i = 0; i < count; i += 1) { + const item = manifest.chunks[i]; + const expectedSize = Math.min(DM_FILE_CHUNK_BYTES, size - i * DM_FILE_CHUNK_BYTES); + if (item?.i !== i || !/^[1-9A-HJ-NP-Za-km-z]{32,44}$/.test(String(item.id || '')) + || item.ps !== expectedSize || item.es !== expectedSize + 16) { + throw new Error('Повреждены ссылки на части файла'); + } + } + return { manifest, key, ivPrefix, serverBase: objectBaseFromUrl(url) }; + } catch (error) { + key.fill(0); ivPrefix.fill(0); + throw error; + } finally { + encrypted?.fill(0); + plain?.fill(0); + iv.fill(0); + aad.fill(0); + } +} + +async function decryptV3ToSink(attachment, sink, { onProgress = null } = {}) { + const context = await loadV3RootManifest(attachment); + let processedBytes = 0; + try { + for (const item of context.manifest.chunks) { + const encrypted = await fetchVerifiedObject(objectUrl(context.serverBase, item.id), item.id); + const iv = chunkIv(context.ivPrefix, item.i); + const aad = chunkAad(context.ivPrefix, item.i); + let plain = null; + try { + if (encrypted.byteLength !== item.es) throw new Error('Неверный размер зашифрованной части'); + plain = await decryptBytesAesGcm(encrypted, context.key, iv, aad); + if (plain.byteLength !== item.ps) throw new Error('Неверный размер расшифрованной части'); + await sink(plain, item); + processedBytes += plain.byteLength; + onProgress?.({ processedBytes, totalBytes: context.manifest.fileSize, + chunkIndex: item.i, chunkCount: context.manifest.chunkCount }); + } finally { + encrypted.fill(0); + iv.fill(0); + aad.fill(0); + plain?.fill(0); + } + } + if (processedBytes !== context.manifest.fileSize) throw new Error('Неверный итоговый размер файла'); + return context.manifest; + } finally { + context.key.fill(0); + context.ivPrefix.fill(0); + } +} + +async function decryptChunkedToSink(attachment, sink, options) { + if (Number(attachment?.version) >= 3) return decryptV3ToSink(attachment, sink, options); + return decryptV2ToSink(attachment, sink, options); +} + async function loadV2RootManifest(attachment) { const id = String(attachment?.id || '').trim(); const url = String(attachment?.url || '').trim(); @@ -418,9 +415,9 @@ async function loadV2RootManifest(attachment) { if (Number(manifest?.v) !== MANIFEST_VERSION || manifest?.scheme !== MANIFEST_SCHEME) { throw new Error('Неизвестная версия манифеста файла'); } - if (Number(manifest.chunkSize) !== DM_FILE_CHUNK_BYTES) throw new Error('Неожиданный размер chunk в манифесте'); + if (Number(manifest.chunkSize) !== LEGACY_DM_FILE_CHUNK_BYTES) throw new Error('Неожиданный размер chunk в манифесте'); if (Number(manifest.fileSize) !== Number(attachment?.size || 0)) throw new Error('Размер файла не совпал с манифестом'); - if (Number(manifest.chunkCount) !== Math.ceil(Number(manifest.fileSize || 0) / DM_FILE_CHUNK_BYTES)) { + if (Number(manifest.chunkCount) !== Math.ceil(Number(manifest.fileSize || 0) / LEGACY_DM_FILE_CHUNK_BYTES)) { throw new Error('Некорректное число частей в манифесте'); } @@ -635,7 +632,7 @@ export async function decryptDmFileToBlob(attachment = {}, options = {}) { return blob; } const parts = []; - await decryptV2ToSink(attachment, async (plain) => { + await decryptChunkedToSink(attachment, async (plain) => { parts.push(plain.slice().buffer); }, options); return new Blob(parts, { type: String(attachment?.mime || 'application/octet-stream') || 'application/octet-stream' }); @@ -672,7 +669,7 @@ export async function downloadAndDecryptDmFile(attachment = {}, { onProgress = n if (writable) { try { - await decryptV2ToSink(attachment, async (plain) => { + await decryptChunkedToSink(attachment, async (plain) => { await writable.write(plain); }, { onProgress }); await writable.close(); @@ -692,7 +689,7 @@ export async function downloadAndDecryptDmFile(attachment = {}, { onProgress = n } export async function buildDmFileTorrentV2(attachment = {}) { - if (Number(attachment?.version || 1) < 2) throw new Error('Torrent-v2 metadata есть только у файлов Сияния v2'); + if (Number(attachment?.version || 1) !== 2) throw new Error('Torrent-v2 metadata есть только у старых файлов Сияния v2'); const context = await loadV2RootManifest(attachment); const pieceLayer = []; try { diff --git a/shine-UI/js/services/dm-tech-blocks.js b/shine-UI/js/services/dm-tech-blocks.js index fac1a0db..ab6bee8e 100644 --- a/shine-UI/js/services/dm-tech-blocks.js +++ b/shine-UI/js/services/dm-tech-blocks.js @@ -128,8 +128,10 @@ function normalizeFileAttachment(fields = {}) { encryptedSize: Number.isFinite(encryptedSize) && encryptedSize > 0 ? encryptedSize : 0, chunkSize: Number.isFinite(chunkSize) && chunkSize > 0 ? chunkSize : 0, chunkCount: Number.isFinite(chunkCount) && chunkCount >= 0 ? Math.floor(chunkCount) : 0, - torrentV2InfoHashB64Url: String(fields.th || '').trim(), - torrentV2PiecesRootB64Url: String(fields.pr || '').trim(), + ...(version === 2 ? { + torrentV2InfoHashB64Url: String(fields.th || '').trim(), + torrentV2PiecesRootB64Url: String(fields.pr || '').trim(), + } : {}), kind, durationMs, }; @@ -173,7 +175,8 @@ export function buildDmFileTechBlock(attachment = {}) { const piecesRoot = String(attachment?.torrentV2PiecesRootB64Url || '').trim(); const kind = String(attachment?.kind || 'file') === 'voice' ? 'voice' : 'file'; const durationMs = Math.max(0, Math.floor(Number(attachment?.durationMs || 0))); - return ``; + const torrentFields = version === 2 ? `;th=${torrentHash};pr=${piecesRoot}` : ''; + return ``; } const ivB64Url = String(attachment?.ivB64Url || '').trim(); diff --git a/shine-UI/js/services/file-preparation-service.js b/shine-UI/js/services/file-preparation-service.js index bc8341a0..cb33f77d 100644 --- a/shine-UI/js/services/file-preparation-service.js +++ b/shine-UI/js/services/file-preparation-service.js @@ -1,4 +1,4 @@ -import { bytesToBase64Url } from './crypto-utils.js'; +import { encodePublicPiecesRoot } from './public-pieces-root.js'; import { computeTorrentV2PieceRoot, TorrentV2PieceAccumulator, TORRENT_V2_PIECE_BYTES } from './torrent-v2-service.js'; export const R2_MAX_FILE_BYTES = 500 * 1024 * 1024; @@ -18,5 +18,5 @@ export async function preparePublicFile(file, { onProgress = null } = {}) { onProgress?.(Math.min(file.size, offset + bytes.byteLength), file.size); } const root = await accumulator.finalize(); - return { file, name: String(file.name || 'file'), size: file.size, mm: fileMime(file), pr: bytesToBase64Url(root) }; + return { file, name: String(file.name || 'file'), size: file.size, mm: fileMime(file), pr: encodePublicPiecesRoot(root) }; } diff --git a/shine-UI/js/services/public-file-service.js b/shine-UI/js/services/public-file-service.js index a23fdf99..a7387451 100644 --- a/shine-UI/js/services/public-file-service.js +++ b/shine-UI/js/services/public-file-service.js @@ -1,5 +1,6 @@ import { t } from '../i18n/index.js'; import { preparePublicFile, R2_MAX_FILE_BYTES } from './file-preparation-service.js'; +import { validatePublicPiecesRoot } from './public-pieces-root.js'; import { importPkcs8Ed25519, signBase64 } from './crypto-utils.js'; import { sha256HexFromArrayBuffer, validateSha256Hex } from './arweave-file-service.js'; import { loadSessionMaterial } from './key-vault.js'; @@ -232,7 +233,7 @@ async function uploadR2PublicFile({ file, login, sessionId, wsUrl, onStatus }) { } export function publicR2Url(pr) { - const root = String(pr || '').trim(); - if (!/^[A-Za-z0-9_-]{43}$/.test(root)) throw new Error('Некорректный Pieces Root'); + const root = String(pr || ''); + if (!validatePublicPiecesRoot(root)) throw new Error('Некорректный Pieces Root'); return `https://files.shineup.me/${root}`; } diff --git a/shine-UI/js/services/public-pieces-root.js b/shine-UI/js/services/public-pieces-root.js new file mode 100644 index 00000000..852c1bca --- /dev/null +++ b/shine-UI/js/services/public-pieces-root.js @@ -0,0 +1,22 @@ +import { base58ToBytes, bytesToBase58 } from './crypto-utils.js'; + +// Публичные вложения: PR — 32 байта корня BitTorrent v2 в каноническом Base58. +// Длина строки переменная (обычно 43–44 символа); DM v2 и Arweave TX ID не затрагиваются. +const PUBLIC_PR_BASE58 = /^[1-9A-HJ-NP-Za-km-z]{32,44}$/; + +export function encodePublicPiecesRoot(rootBytes) { + if (!(rootBytes instanceof Uint8Array) || rootBytes.byteLength !== 32) { + throw new Error('Некорректный 32-байтный Pieces Root'); + } + return bytesToBase58(rootBytes); +} + +export function validatePublicPiecesRoot(pr) { + if (typeof pr !== 'string' || !PUBLIC_PR_BASE58.test(pr)) return false; + try { + const bytes = base58ToBytes(pr); + return bytes.byteLength === 32 && bytesToBase58(bytes) === pr; + } catch { + return false; + } +} diff --git a/shine-UI/tests/public-attachment-inline-media.test.mjs b/shine-UI/tests/public-attachment-inline-media.test.mjs index 8af33cad..b88a5d6b 100644 --- a/shine-UI/tests/public-attachment-inline-media.test.mjs +++ b/shine-UI/tests/public-attachment-inline-media.test.mjs @@ -1,6 +1,7 @@ import test from 'node:test'; import assert from 'node:assert/strict'; import { readFile } from 'node:fs/promises'; +import { validatePublicPiecesRoot } from '../js/services/public-pieces-root.js'; const source = await readFile(new URL('../js/services/attachment-format.js', import.meta.url), 'utf8'); @@ -52,7 +53,7 @@ function loadRenderer() { .replace(/^import .*;\s*$/gm, '') .replace(/^export /gm, ''); const factory = new Function('t', 'th', 'formatNumber', 'openMediaViewer', 'buildArweaveDataUrl', - 'validateArweaveTxId', 'validateSha256Hex', 'resolvePublicFileUrl', 'document', 'window', 'fetch', + 'validateArweaveTxId', 'validateSha256Hex', 'resolvePublicFileUrl', 'validatePublicPiecesRoot', 'document', 'window', 'fetch', `${normalized}\nreturn { getAttachmentKind, createAttachmentCarouselElement, parseMessageAttachments };`); const api = factory( (key) => key, @@ -63,6 +64,7 @@ function loadRenderer() { (id) => /^[A-Za-z0-9_-]{43}$/.test(id), (id) => /^[a-f0-9]{64}$/.test(id), async ({ pr, sha256 }) => pr ? `https://files.shineup.me/${pr}` : `https://old.example/files/${sha256}`, + validatePublicPiecesRoot, { createElement: (tag) => new TestElement(tag) }, { location: { origin: 'https://shineup.me' }, open() {} }, async () => ({ ok: true }), diff --git a/shine-UI/tests/public-pieces-root-base58.test.mjs b/shine-UI/tests/public-pieces-root-base58.test.mjs new file mode 100644 index 00000000..710fbfdd --- /dev/null +++ b/shine-UI/tests/public-pieces-root-base58.test.mjs @@ -0,0 +1,59 @@ +import test from 'node:test'; +import assert from 'node:assert/strict'; +import { encodePublicPiecesRoot, validatePublicPiecesRoot } from '../js/services/public-pieces-root.js'; +import { preparePublicFile } from '../js/services/file-preparation-service.js'; +import { publicR2Url } from '../js/services/public-file-service.js'; +import { buildAttachmentBlock, parseMessageAttachments, normalizeAttachment } from '../js/services/attachment-format.js'; +import { computeTorrentV2PieceRoot } from '../js/services/torrent-v2-service.js'; + +test('Base58-кодирование публичного PR: 32 байта, в том числе ведущие нули', () => { + const vectors = [ + [0, '1'.repeat(32)], + [1, '4vJ9JU1bJJE96FWSJKvHsmmFADCg4gpZQff4P3bkLKi'], + [255, 'JEKNVnkbo3jma5nREBBJCDoXFVeKkD56V3xKrvRmWxFG'], + ]; + for (const [value, expected] of vectors) { + assert.equal(encodePublicPiecesRoot(new Uint8Array(32).fill(value)), expected); + assert.equal(validatePublicPiecesRoot(expected), true); + assert.equal(publicR2Url(expected), `https://files.shineup.me/${expected}`); + } + assert.throws(() => encodePublicPiecesRoot(new Uint8Array(31))); +}); + +test('не принимает старый Base64URL, некорректные символы, длину и ненормализованные значения', () => { + for (const invalid of [ + '', 'A'.repeat(42) + '_', 'A'.repeat(42) + '-', 'A'.repeat(43) + '=', + '0'.repeat(44), 'O'.repeat(44), 'I'.repeat(44), 'l'.repeat(44), + 'A'.repeat(31), 'A'.repeat(45), '1'.repeat(33), ` ${'1'.repeat(32)}`, + ]) { + assert.equal(validatePublicPiecesRoot(invalid), false, invalid); + assert.throws(() => publicR2Url(invalid), invalid); + } +}); + +test('подготовка публичного файла создаёт BitTorrent v2 PR именно в Base58', async () => { + const bytes = Uint8Array.from([10, 20, 30, 40, 50, 60, 70]); + const file = new File([bytes], 'photo.png', { type: 'image/png' }); + const prepared = await preparePublicFile(file); + const expectedMerkleRoot = await computeTorrentV2PieceRoot(bytes); + assert.equal(prepared.pr, encodePublicPiecesRoot(expectedMerkleRoot)); + assert.equal(validatePublicPiecesRoot(prepared.pr), true); + assert.equal(prepared.mm, 'image/png'); + assert.equal(prepared.size, bytes.length); +}); + +test('публичный S:att сохраняет PR в Base58 без перекодирования, включая Arweave', () => { + for (const value of [0, 1, 255]) { + const pr = encodePublicPiecesRoot(new Uint8Array(32).fill(value)); + const attachment = { name: 'photo.jpg', size: 100, pr, mm: 'image/jpeg', ar: '' }; + const encoded = buildAttachmentBlock(attachment); + assert.match(encoded, new RegExp(`;pr=${pr};mm=image/jpeg>`)); + const decoded = parseMessageAttachments(`${encoded}\nТекст`); + assert.equal(decoded.attachments.length, 1); + assert.equal(decoded.attachments[0].pr, pr); + assert.equal(decoded.text, 'Текст'); + assert.equal(normalizeAttachment({ ...attachment, ar: 'A'.repeat(43) }).ar, 'A'.repeat(43)); + } + const legacyEncoded = ``; + assert.equal(parseMessageAttachments(legacyEncoded).attachments.length, 0); +});