diff --git a/SHiNE-server/shine-server-blockchain/src/main/java/blockchain/BodyRecordParser.java b/SHiNE-server/shine-server-blockchain/src/main/java/blockchain/BodyRecordParser.java index 98fdb185..b4352929 100644 --- a/SHiNE-server/shine-server-blockchain/src/main/java/blockchain/BodyRecordParser.java +++ b/SHiNE-server/shine-server-blockchain/src/main/java/blockchain/BodyRecordParser.java @@ -18,7 +18,8 @@ public final class BodyRecordParser { // TECH supports Header v1 and CreateChannel current format (ver=1). if (t == (CreateChannelBody.TYPE & 0xFFFF)) { - if (st == (HeaderBody.SUBTYPE_COMPAT & 0xFFFF) && v == (HeaderBody.VER & 0xFFFF)) { + if (st == (HeaderBody.SUBTYPE_COMPAT & 0xFFFF) + && (v == (HeaderBody.VER & 0xFFFF) || v == (HeaderBody.VER_CC0 & 0xFFFF))) { return new HeaderBody(subType, version, bodyBytes).check(); } if (st == (CreateChannelBody.SUBTYPE & 0xFFFF) diff --git a/SHiNE-server/shine-server-blockchain/src/main/java/blockchain/body/HeaderBody.java b/SHiNE-server/shine-server-blockchain/src/main/java/blockchain/body/HeaderBody.java index 88cfda07..c51e2f44 100644 --- a/SHiNE-server/shine-server-blockchain/src/main/java/blockchain/body/HeaderBody.java +++ b/SHiNE-server/shine-server-blockchain/src/main/java/blockchain/body/HeaderBody.java @@ -9,12 +9,13 @@ import java.util.Arrays; import java.util.Objects; /** - * HeaderBody — type=0, subType=0, version=1. + * HeaderBody — TECH type=0, subType=0; version=1 legacy / version=2 CC0. * * bodyBytes (BigEndian): * [TAG_LEN] tag ASCII * [1] loginLength (uint8) * [N] login UTF-8 + * [15] ASCII "license:CC0-1.0" (version=2 only) * [32] initialBlockchainKey32 * * initialBlockchainKey32 is the public blockchain-signing key that created fork #1. @@ -23,7 +24,11 @@ import java.util.Objects; */ public final class HeaderBody implements BodyRecord { public static final short TYPE = 0; - public static final short VER = 1; + public static final short VER = 1; // Legacy, read-only for newly created chains + public static final short VER_CC0 = 2; + public static final String LICENSE_CC0 = "CC0-1.0"; + public static final String LICENSE_FIELD_CC0 = "license:" + LICENSE_CC0; + private static final byte[] LICENSE_BYTES = LICENSE_FIELD_CC0.getBytes(StandardCharsets.US_ASCII); public static final int KEY = ((TYPE & 0xFFFF) << 16) | (VER & 0xFFFF); public static final short SUBTYPE_COMPAT = 0; public static final String TAG = ShineSignatureConstants.BLOCKCHAIN_HEADER_TAG; @@ -36,14 +41,16 @@ public final class HeaderBody implements BodyRecord { public final String tag; public final String login; public final byte[] initialBlockchainKey32; + public final String license; // null for legacy HEADER v1 public HeaderBody(short subType, short version, byte[] bodyBytes) { Objects.requireNonNull(bodyBytes, "bodyBytes == null"); this.subType = subType; this.version = version; if ((subType & 0xFFFF) != 0) throw new IllegalArgumentException("HeaderBody subType must be 0"); - if ((version & 0xFFFF) != (VER & 0xFFFF)) throw new IllegalArgumentException("HeaderBody version must be 1"); - if (bodyBytes.length < TAG_LEN + 1 + 1 + 32) throw new IllegalArgumentException("HeaderBody too short"); + if (version != VER && version != VER_CC0) throw new IllegalArgumentException("HeaderBody version must be 1 or 2"); + if (bodyBytes.length < TAG_LEN + 1 + 1 + 32 + (version == VER_CC0 ? LICENSE_BYTES.length : 0)) + throw new IllegalArgumentException("HeaderBody too short"); ByteBuffer bb = ByteBuffer.wrap(bodyBytes).order(ByteOrder.BIG_ENDIAN); byte[] tagBytes = new byte[TAG_LEN]; @@ -53,30 +60,52 @@ public final class HeaderBody implements BodyRecord { this.tag = parsedTag; int loginLen = Byte.toUnsignedInt(bb.get()); - if (loginLen <= 0 || bb.remaining() != loginLen + 32) throw new IllegalArgumentException("Bad HeaderBody login/key length"); + if (loginLen <= 0 || bb.remaining() != loginLen + 32 + (version == VER_CC0 ? LICENSE_BYTES.length : 0)) + throw new IllegalArgumentException("Bad HeaderBody login/key/license length"); byte[] loginBytes = new byte[loginLen]; bb.get(loginBytes); this.login = BodyTargetSupport.decodeStrictUtf8(loginBytes, "HeaderBody login"); + if (version == VER_CC0) { + byte[] actual = new byte[LICENSE_BYTES.length]; + bb.get(actual); + if (!Arrays.equals(actual, LICENSE_BYTES)) throw new IllegalArgumentException("Unsupported HEADER license"); + this.license = LICENSE_CC0; + } else { + this.license = null; + } this.initialBlockchainKey32 = new byte[32]; bb.get(this.initialBlockchainKey32); requireNonZeroKey(this.initialBlockchainKey32); if (bb.hasRemaining()) throw new IllegalArgumentException("Unexpected HeaderBody tail"); } + // Legacy constructor is kept for historical fixtures and importing v1 blocks. public HeaderBody(String login, byte[] initialBlockchainKey32) { + this(login, initialBlockchainKey32, VER); + } + + public static HeaderBody licensedCc0(String login, byte[] initialBlockchainKey32) { + return new HeaderBody(login, initialBlockchainKey32, VER_CC0); + } + + private HeaderBody(String login, byte[] initialBlockchainKey32, short version) { Objects.requireNonNull(login, "login == null"); Objects.requireNonNull(initialBlockchainKey32, "initialBlockchainKey32 == null"); this.subType = SUBTYPE_COMPAT; - this.version = VER; + this.version = version; this.tag = TAG; this.login = login; this.initialBlockchainKey32 = Arrays.copyOf(initialBlockchainKey32, initialBlockchainKey32.length); + this.license = version == VER_CC0 ? LICENSE_CC0 : null; check(); } @Override public HeaderBody check() { if ((subType & 0xFFFF) != 0) throw new IllegalArgumentException("HeaderBody subType must be 0"); + if (version != VER && version != VER_CC0) throw new IllegalArgumentException("Bad HeaderBody version"); + if (version == VER_CC0 && !LICENSE_CC0.equals(license)) throw new IllegalArgumentException("Bad HEADER CC0 license"); + if (version == VER && license != null) throw new IllegalArgumentException("Legacy HEADER must not contain a license"); if (login == null || login.isBlank()) throw new IllegalArgumentException("Login is blank"); byte[] loginUtf8 = login.getBytes(StandardCharsets.UTF_8); // В HEADER хранится неизменяемое написание зарегистрированного login@namespace. @@ -95,10 +124,11 @@ public final class HeaderBody implements BodyRecord { public byte[] toBytes() { check(); byte[] loginUtf8 = login.getBytes(StandardCharsets.UTF_8); - ByteBuffer bb = ByteBuffer.allocate(TAG_LEN + 1 + loginUtf8.length + 32).order(ByteOrder.BIG_ENDIAN); + ByteBuffer bb = ByteBuffer.allocate(TAG_LEN + 1 + loginUtf8.length + 32 + (version == VER_CC0 ? LICENSE_BYTES.length : 0)).order(ByteOrder.BIG_ENDIAN); bb.put(TAG_ASCII); bb.put((byte) loginUtf8.length); bb.put(loginUtf8); + if (version == VER_CC0) bb.put(LICENSE_BYTES); bb.put(initialBlockchainKey32); return bb.array(); } @@ -112,6 +142,6 @@ public final class HeaderBody implements BodyRecord { @Override public String toString() { - return "HeaderBody{login='" + login + "', initialBlockchainKey32=<32 bytes>}"; + return "HeaderBody{version=" + version + ", login='" + login + "', license=" + license + ", initialBlockchainKey32=<32 bytes>}"; } } diff --git a/SHiNE-server/shine-server-blockchain/src/test/java/blockchain/TargetLoginFormatTest.java b/SHiNE-server/shine-server-blockchain/src/test/java/blockchain/TargetLoginFormatTest.java index b4e2fc0a..5b98ccca 100644 --- a/SHiNE-server/shine-server-blockchain/src/test/java/blockchain/TargetLoginFormatTest.java +++ b/SHiNE-server/shine-server-blockchain/src/test/java/blockchain/TargetLoginFormatTest.java @@ -108,6 +108,41 @@ final class TargetLoginFormatTest { } } + @Test + void licensedHeaderV2IncludesExactCc0ConstantAndParsesAlongsideV1() { + HeaderBody v2 = HeaderBody.licensedCc0("Alice@shine", INITIAL_KEY); + assertEquals(HeaderBody.VER_CC0, v2.version); + assertEquals("CC0-1.0", v2.license); + HeaderBody parsed = new HeaderBody(HeaderBody.SUBTYPE_COMPAT, HeaderBody.VER_CC0, v2.toBytes()).check(); + assertEquals("Alice@shine", parsed.login); + assertEquals("CC0-1.0", parsed.license); + assertArrayEquals(INITIAL_KEY, parsed.initialBlockchainKey32); + assertArrayEquals(v2.toBytes(), parsed.toBytes()); + + HeaderBody legacy = new HeaderBody("Alice@shine", INITIAL_KEY); + assertNull(new HeaderBody(HeaderBody.SUBTYPE_COMPAT, HeaderBody.VER, legacy.toBytes()).license); + assertEquals(legacy.toBytes().length + 15, v2.toBytes().length); + byte[] expectedLicenseMarker = "license:CC0-1.0".getBytes(java.nio.charset.StandardCharsets.US_ASCII); + int markerOffset = 5 + 1 + "Alice@shine".getBytes(java.nio.charset.StandardCharsets.UTF_8).length; + assertArrayEquals(expectedLicenseMarker, java.util.Arrays.copyOfRange(v2.toBytes(), markerOffset, markerOffset + 15)); + assertArrayEquals(INITIAL_KEY, java.util.Arrays.copyOfRange(v2.toBytes(), markerOffset + 15, v2.toBytes().length)); + + byte[] invalid = v2.toBytes(); + invalid[markerOffset + 8] = (byte)'X'; + assertThrows(IllegalArgumentException.class, + () -> new HeaderBody(HeaderBody.SUBTYPE_COMPAT, HeaderBody.VER_CC0, invalid)); + assertThrows(IllegalArgumentException.class, + () -> new HeaderBody(HeaderBody.SUBTYPE_COMPAT, HeaderBody.VER, v2.toBytes())); + assertThrows(IllegalArgumentException.class, + () -> new HeaderBody(HeaderBody.SUBTYPE_COMPAT, HeaderBody.VER_CC0, legacy.toBytes())); + + byte[] swapped = v2.toBytes(); + System.arraycopy(INITIAL_KEY, 0, swapped, markerOffset, 32); + System.arraycopy(expectedLicenseMarker, 0, swapped, markerOffset + 32, 15); + assertThrows(IllegalArgumentException.class, + () -> new HeaderBody(HeaderBody.SUBTYPE_COMPAT, HeaderBody.VER_CC0, swapped)); + } + @Test void namespacedHeaderRejectsMalformedOrOversizedLogin() { for (String login : new String[]{"alice@", "@shine", "alice@@free", "alice@FREE", "alice.free@shine", "abcdefghijklmnopqrstuvwxyz@free"}) { diff --git a/SHiNE-server/src/main/java/server/files/PublicFileApiConfigurator.java b/SHiNE-server/src/main/java/server/files/PublicFileApiConfigurator.java index af597940..e2330f4a 100644 --- a/SHiNE-server/src/main/java/server/files/PublicFileApiConfigurator.java +++ b/SHiNE-server/src/main/java/server/files/PublicFileApiConfigurator.java @@ -11,5 +11,6 @@ public final class PublicFileApiConfigurator { public static void register(ServletContextHandler context) { context.addServlet(new ServletHolder(new PublicFileServlet()), "/files/*"); context.addServlet(new ServletHolder(new R2PrepareServlet()), "/api/files/prepare"); + context.addServlet(new ServletHolder(new UserFileServerServlet()), "/api/files/user-server"); } } diff --git a/SHiNE-server/src/main/java/server/files/R2DmPrepareServlet.java b/SHiNE-server/src/main/java/server/files/R2DmPrepareServlet.java index ed0f0349..61f77fe4 100644 --- a/SHiNE-server/src/main/java/server/files/R2DmPrepareServlet.java +++ b/SHiNE-server/src/main/java/server/files/R2DmPrepareServlet.java @@ -32,7 +32,6 @@ public final class R2DmPrepareServlet extends HttpServlet { private static final Pattern FILE_ID = Pattern.compile("^[1-9A-HJ-NP-Za-km-z]{32,44}$"); private static final long MAX_OBJECT_BYTES = 8L * 1024L * 1024L + 16L; private static final String CONTENT_TYPE = "application/octet-stream"; - private static final String PUBLIC_BASE = "https://dm-files.shineup.me/"; @Override protected void doOptions(HttpServletRequest req, HttpServletResponse resp) { cors(req, resp); @@ -63,7 +62,7 @@ public final class R2DmPrepareServlet extends HttpServlet { var credentials = StaticCredentialsProvider.create(AwsBasicCredentials.create(accessKey, secret)); var apiEndpoint = URI.create(endpoint); ObjectNode result = JSON.createObjectNode(); - result.put("fileUrl", PUBLIC_BASE + fileId); + result.put("fileUrl", R2FederatedPublicUrl.forObject("dm-files", fileId)); try (S3Client s3 = S3Client.builder().region(Region.of("auto")) .endpointOverride(apiEndpoint).credentialsProvider(credentials).forcePathStyle(true).build()) { try { @@ -108,13 +107,8 @@ public final class R2DmPrepareServlet extends HttpServlet { } private static void cors(HttpServletRequest req, HttpServletResponse resp) { - String origin = req.getHeader("Origin"); - if ("https://shineup.me".equals(origin) || "https://www.shineup.me".equals(origin) - || "https://test.shineup.me".equals(origin) - || "https://t2.shineup.me".equals(origin)) { - resp.setHeader("Access-Control-Allow-Origin", origin); - resp.setHeader("Vary", "Origin"); - } + // Подписанные запросы не используют cookie; интерфейс может работать на любом сервере федерации. + resp.setHeader("Access-Control-Allow-Origin", "*"); resp.setHeader("Access-Control-Allow-Methods", "POST, OPTIONS"); resp.setHeader("Access-Control-Allow-Headers", "Content-Type, X-Shine-Session-Id, X-Shine-Time-Ms, X-Shine-Signature"); } diff --git a/SHiNE-server/src/main/java/server/files/R2FederatedPublicUrl.java b/SHiNE-server/src/main/java/server/files/R2FederatedPublicUrl.java new file mode 100644 index 00000000..5299813c --- /dev/null +++ b/SHiNE-server/src/main/java/server/files/R2FederatedPublicUrl.java @@ -0,0 +1,57 @@ +package server.files; + +import shine.db.DbController; +import utils.config.AppConfig; + +import java.net.URI; +import java.sql.Connection; +import java.sql.PreparedStatement; +import java.sql.ResultSet; +import java.util.Locale; +import java.util.regex.Pattern; + +/** + * File domains are derived from the current access server's own Solana-synced + * PDA address. No R2 public-domain setting and no request Host header are used. + */ +final class R2FederatedPublicUrl { + private static final Pattern DOMAIN = Pattern.compile("^[a-z0-9-]+(?:\\.[a-z0-9-]+)+$"); + + private R2FederatedPublicUrl() {} + + static String forObject(String kind, String fileId) throws Exception { + if (!"files".equals(kind) && !"dm-files".equals(kind)) { + throw new IllegalArgumentException("Unexpected file domain kind"); + } + String login = AppConfig.getInstance().getParam("server.SHiNE.login"); + if (login == null || login.isBlank()) { + throw new IllegalStateException("server.SHiNE.login is not configured"); + } + String sql = """ + SELECT server_address FROM solana_user_pda_current + WHERE normalized_login = LOWER(BTRIM(?)) AND is_server = TRUE + AND BTRIM(COALESCE(server_address, '')) <> '' + LIMIT 1 + """; + String raw; + try (Connection connection = DbController.getInstance().getConnection(); + PreparedStatement statement = connection.prepareStatement(sql)) { + statement.setString(1, login); + try (ResultSet rs = statement.executeQuery()) { + if (!rs.next()) throw new IllegalStateException("Local access-server address not synchronized yet"); + raw = rs.getString(1); + } + } + String address = raw == null ? "" : raw.trim(); + if (!address.matches("^[a-zA-Z][a-zA-Z0-9+.-]*://.*")) address = "https://" + address; + URI uri = URI.create(address); + String protocol = uri.getScheme() == null ? "" : uri.getScheme().toLowerCase(Locale.ROOT); + if (!("https".equals(protocol) || "wss".equals(protocol) || "http".equals(protocol) || "ws".equals(protocol)) + || uri.getUserInfo() != null || uri.getHost() == null) { + throw new IllegalStateException("Invalid server PDA address"); + } + String domain = uri.getHost().toLowerCase(Locale.ROOT); + if (!DOMAIN.matcher(domain).matches()) throw new IllegalStateException("Invalid access-server domain"); + return "https://" + kind + "." + domain + "/" + fileId; + } +} diff --git a/SHiNE-server/src/main/java/server/files/R2PrepareServlet.java b/SHiNE-server/src/main/java/server/files/R2PrepareServlet.java index 0b9397b1..84d65335 100644 --- a/SHiNE-server/src/main/java/server/files/R2PrepareServlet.java +++ b/SHiNE-server/src/main/java/server/files/R2PrepareServlet.java @@ -59,7 +59,7 @@ public final class R2PrepareServlet extends HttpServlet { var creds = StaticCredentialsProvider.create(AwsBasicCredentials.create(accessKey, secret)); var httpEndpoint = URI.create(endpoint); ObjectNode out = JSON.createObjectNode(); - out.put("fileUrl", "https://files.shineup.me/" + root); + out.put("fileUrl", R2FederatedPublicUrl.forObject("files", root)); try (S3Client s3 = S3Client.builder().region(Region.of("auto")).endpointOverride(httpEndpoint) .credentialsProvider(creds).forcePathStyle(true).build()) { try { @@ -115,11 +115,8 @@ public final class R2PrepareServlet extends HttpServlet { return value == null || value.isBlank() ? null : value.trim(); } private static void cors(HttpServletRequest req, HttpServletResponse resp) { - String origin = req.getHeader("Origin"); - if ("https://shineup.me".equals(origin) || "https://www.shineup.me".equals(origin) - || "https://test.shineup.me".equals(origin) || "https://t2.shineup.me".equals(origin)) { - resp.setHeader("Access-Control-Allow-Origin", origin); resp.setHeader("Vary", "Origin"); - } + // Подписанные запросы не используют cookie; интерфейс может работать на любом сервере федерации. + resp.setHeader("Access-Control-Allow-Origin", "*"); resp.setHeader("Access-Control-Allow-Methods", "POST, OPTIONS"); resp.setHeader("Access-Control-Allow-Headers", "Content-Type, X-Shine-Session-Id, X-Shine-Time-Ms, X-Shine-Signature"); } diff --git a/SHiNE-server/src/main/java/server/files/UserFileServerServlet.java b/SHiNE-server/src/main/java/server/files/UserFileServerServlet.java new file mode 100644 index 00000000..3dfbe78c --- /dev/null +++ b/SHiNE-server/src/main/java/server/files/UserFileServerServlet.java @@ -0,0 +1,50 @@ +package server.files; + +import com.fasterxml.jackson.databind.ObjectMapper; +import com.fasterxml.jackson.databind.node.ObjectNode; +import jakarta.servlet.http.HttpServlet; +import jakarta.servlet.http.HttpServletRequest; +import jakarta.servlet.http.HttpServletResponse; +import shine.db.dao.UserAccessServersCurrentDAO; +import shine.db.entities.UserAccessServerRouteEntry; + +import java.io.IOException; +import java.util.regex.Pattern; + +/** Публичный resolver файловых доменов на основе синхронизированной PostgreSQL-проекции Solana. */ +public final class UserFileServerServlet extends HttpServlet { + private static final ObjectMapper JSON = new ObjectMapper(); + private static final Pattern LOGIN = Pattern.compile("^[a-zA-Z0-9_.-]{1,64}@[a-zA-Z0-9_.-]{1,128}$"); + + @Override protected void doGet(HttpServletRequest request, HttpServletResponse response) throws IOException { + response.setHeader("Access-Control-Allow-Origin", "*"); + response.setHeader("Cache-Control", "no-store"); + String login = String.valueOf(request.getParameter("login")).trim(); + if (!LOGIN.matcher(login).matches()) { + reply(response, 400, "Invalid login", null); return; + } + try { + UserAccessServerRouteEntry route = UserAccessServersCurrentDAO.getInstance().findPrimaryByUserLogin(login); + if (route == null || route.getServerLogin() == null || route.getServerUrl() == null) { + reply(response, 404, "User access server not found in synchronized data", null); return; + } + reply(response, 200, null, route); + } catch (Exception error) { + getServletContext().log("User file server lookup failed", error); + reply(response, 503, "Server directory temporarily unavailable", null); + } + } + + private static void reply(HttpServletResponse response, int status, String error, + UserAccessServerRouteEntry route) throws IOException { + ObjectNode body = JSON.createObjectNode(); + if (error != null) body.put("error", error); + else { + body.put("serverLogin", route.getServerLogin()); + body.put("serverUrl", route.getServerUrl()); + } + response.setStatus(status); + response.setContentType("application/json;charset=UTF-8"); + JSON.writeValue(response.getOutputStream(), body); + } +} diff --git a/VERSION.properties b/VERSION.properties index ef3e1d98..6b4c2c6a 100644 --- a/VERSION.properties +++ b/VERSION.properties @@ -1,2 +1,2 @@ -client.version=1.20.54 -server.version=1.16.27 +client.version=1.20.55 +server.version=1.16.28 diff --git a/deploy/PUBLIC_FILES_CADDY_CLOUDFLARE.md b/deploy/PUBLIC_FILES_CADDY_CLOUDFLARE.md index 251dbca0..8b94b8b6 100644 --- a/deploy/PUBLIC_FILES_CADDY_CLOUDFLARE.md +++ b/deploy/PUBLIC_FILES_CADDY_CLOUDFLARE.md @@ -187,3 +187,25 @@ etag: ... - никакие имена пользователей или MIME не входят в path; - `/files/` публичен: это вложение публичного сообщения; - удаление сообщения не должно автоматически удалять объект из `public-files`, потому что тот же SHA-256 может использоваться другими сообщениями или пользователями. + +## Независимые R2 у access-серверов (16.11.2026) + +Для `https://node2.example.net` организуйте отдельные публичные DNS-домены: +`https://files.node2.example.net` и `https://dm-files.node2.example.net`. +Оба должны указывать на R2-корзины **этого** оператора (отдельные от +R2 основного SHiNE), а не на Java `/files` и `/dm-files` legacy. + +На Java-сервере владельца задайте: +```properties +# Публичные адреса файлов вычисляются автоматически из server-PDA: +# https://files.node2.example.net +# https://dm-files.node2.example.net +``` +Дополнительные переменные `R2_PUBLIC_BASE_URL` и `R2_DM_PUBLIC_BASE_URL` не нужны: домены всегда определяются по server-PDA текущего сервера. +Оставшиеся `R2_ENDPOINT`, `R2_ACCESS_KEY_ID`, `R2_SECRET_ACCESS_KEY`, +`r2.publicBucket`, `r2.dmBucket` также должны указывать на его собственные +корзины/ключи. Публичные R2 требуют GET/HEAD/Range и браузерного CORS, +DM R2 — также lifecycle на 14 дней. На access-сервере просмотрщика +маршрут `GET /api/files/user-server` должен проксироваться к Jetty до SPA +fallback. Это не меняет Solana PDA и не переносит старые объекты при миграции +пользователя. diff --git a/docs/API/05_Technical_Requests_API.md b/docs/API/05_Technical_Requests_API.md index b3f05e0f..9eaefe61 100644 --- a/docs/API/05_Technical_Requests_API.md +++ b/docs/API/05_Technical_Requests_API.md @@ -511,21 +511,19 @@ "op": "ClientErrorLog", "requestId": "err-001", "payload": { - "errorId": "ERR-A7F29C1201CD", - "clientVersion": "20261116-client-error-reporting-v1", "kind": "global_error", - "message": "TypeError: client exception", + "message": "TypeError: failed", "stack": "...", "sourceUrl": "https://shineup.me/app.js", "lineNumber": 10, "columnNumber": 20, - "route": "/channels", - "href": "https://shineup.me", + "route": "#/channel-view/own-0", + "href": "https://shineup.me/#/channel-view/own-0", "userAgent": "...", "clientTs": 1774700000123, "requestOp": "GetChannelMessages", "requestIdRef": "GetChannelMessages-123", - "contextJson": "{\"pageVisibility\":\"visible\",\"pageId\":\"channels\"}" + "contextJson": "{\"screen\":\"channels\"}" } } ``` @@ -547,19 +545,7 @@ ### Специфические коды ошибок `ClientErrorLog` -- `400 / BAD_FIELDS` — нет `message` или превышены ограничения размеров полей. -- `200` + `payload.accepted=false` — отчёт **не записан** из-за ограничений частоты; повторов и очереди нет. - -### Диагностика SHiNE UI v1 (16.11.2026) - -- Критические JS-ошибки и неожиданные ответы WS API (статус `500–599`, кроме `507`) отправляются **автоматически**, без переключателя в инструментах разработчика; обычные `4xx` не считаются багом. -- Транспорт: только текущий WebSocket `ClientErrorLog`, без отдельного HTTP и без локальной очереди. При отсутствии соединения отчёт не отправляется; клиент не утверждает обратное. -- Серверный журнал: `logs/client-errors.log` (Logback `client.frontend`, без дублирования в `app.log`); ежедневная/размерная ротация, история 14 дней, до 150 MB суммарно. Диагностика звонков `CallDeliveryReport` остаётся в своём журнале. -- Поля `errorId` и `clientVersion` необязательные для внешних клиентов; `errorId` связывает уведомление пользователя с записью в журнале. -- Для необработанных ошибок/сбоев UI клиент передаёт тип исключения и кадры стека, но **не произвольный текст исключения**, который может содержать данные переписки. Клиент отбрасывает произвольный `context`, оставляя только технические поля: `pageId`, `reasonType`, `pageProtocol`, `timeoutMs`, `code`, `status`, `pendingOps`. URL передаются без query/hash, приватные ключи, содержимое сообщений, пароли и токены не должны включаться. Сервер дополнительно очищает и ограничивает строки; **не следует отправлять конфиденциальные данные даже при ручном вызове API**. -- Сервер ограничивает частоту: до 60 отчётов с одного IP и 1200 всего за 60 секунд; длины полей ограничены, число источников ограничено. IP используется временно для ограничения частоты и не записывается в отдельный журнал. -- Уведомление «отчёт принят» показывается только при `status=200` и `accepted=true`. Это означает, что сервер принял отчёт на обработку, но не является долговременной гарантией записи на диск. -- Отправка диагностики не инициирует повтор исходной операции, в том числе блокчейн-платежа или доната. +- `400 / BAD_FIELDS` — обязательные поля ошибки не заполнены. --- @@ -644,3 +630,21 @@ - `SendSignal` нужен для доверенных межсессионных сигналов одного пользователя, включая `remote AddBlock via homeserver session`. - `GetCallIceConfig` нужен для WebRTC-звонков и требует авторизации. - `ClientErrorLog`, `ClientDebugLog`, `CallDeliveryReport` используются для диагностики клиента и звонков. + +## GET `/api/files/user-server?login=` (16.11.2026) + +Публичный, read-only resolver файлового сервера пользователя. Работает на +access-сервере просмотрщика, без сессии; читает локальную синхронизированную +PostgreSQL-проекцию Solana через `UserAccessServersCurrentDAO.findPrimaryByUserLogin()`. +Отдельный Solana RPC на каждый просмотр вложения не выполняется. + +Пример ответа 200: +```json +{"serverLogin":"node2@shine","serverUrl":"node2.example.net"} +``` +404 — пользователь/маршрут не найдены; 400 — некорректный логин; +503 — база/справочник недоступны. Все ответы `Cache-Control: no-store`, +`Access-Control-Allow-Origin: *`; клиент хранит маршрут только в RAM. +DNS-имя `serverUrl` используется для построения +`https://files./` и `https://dm-files./`. +Для нового типа R2 нет дополнительных полей в блокчейне. diff --git a/docs/API/18_DM_File_Storage_API.md b/docs/API/18_DM_File_Storage_API.md index e24fa86c..94b5deb5 100644 --- a/docs/API/18_DM_File_Storage_API.md +++ b/docs/API/18_DM_File_Storage_API.md @@ -1,6 +1,6 @@ # HTTP API зашифрованных файлов личных сообщений -> **Текущий протокол DM v3 (2026-11):** новые вложения отправляются напрямую в R2 `shine-dm` после `POST /api/dm-files/prepare`; скачиваются по `https://dm-files.shineup.me/`. Большие файлы шифруются по 8 МиБ AES-256-GCM, список объектов находится в зашифрованном манифесте; BitTorrent v2 используется только в старых DM v2. Ниже разделы `PUT /dm-files/{fileId}` и `GET /dm-files/{fileId}` описывают **legacy** локальный сервер для v1/v2, а не новый R2. Полный текущий контракт см. `docs/Personal_Messages/Файлы_DM_v3_R2.md`. +> **Текущий протокол DM v3 (2026-11):** новые вложения отправляются напрямую в R2 `shine-dm` после `POST /api/dm-files/prepare`; скачиваются по `https://dm-files.<домен access-сервера отправителя>/`. Большие файлы шифруются по 8 МиБ AES-256-GCM, список объектов находится в зашифрованном манифесте; BitTorrent v2 используется только в старых DM v2. Ниже разделы `PUT /dm-files/{fileId}` и `GET /dm-files/{fileId}` описывают **legacy** локальный сервер для v1/v2, а не новый R2. Полный текущий контракт см. `docs/Personal_Messages/Файлы_DM_v3_R2.md`. > **Статистика v42:** сервер при успешной выдаче presigned URL или обнаружении уже существующего шифротекста добавляет запись в `dm_file_uploads` (`user_login`, `file_hash`, `file_size_bytes`, `requested_at`, `disposition`). Каждая зашифрованная часть/манифест — отдельный объект, имена и MIME исходного файла не сохраняются. **Запись не доказывает успешный PUT.** Шифрование, DM-протокол и клиент не изменяются. @@ -16,7 +16,7 @@ HTTP API не получает исходное имя файла, MIME-тип 3. считает `SHA-256(ciphertext)`; 4. переводит 32-byte hash в Base58 — это `fileId` и имя файла на диске сервера; 5. для нового v3 загружает ciphertext напрямую в R2 (ниже описан legacy v1/v2); -6. помещает URL, key, IV, исходное имя/MIME/размер в `` внутри plaintext DM; +6. помещает ID ciphertext, key, IV, исходное имя/MIME/размер в `` (новый v3 без URL) внутри plaintext DM; 7. обычный механизм E2EE DM шифрует эту техническую вставку отдельно для отправителя и получателя. Следствие: сервер файлов не знает AES-key и не может расшифровать вложение. @@ -121,6 +121,31 @@ Caddy/Nginx должен проксировать `/dm-files/*` в тот же J Новые зашифрованные вложения загружаются браузером прямо в R2. Клиент посылает JSON `{ "fileId": "Base58_SHA256(ciphertext)", "size": 12345 }` и подписанные заголовки `X-Shine-Session-Id`, `X-Shine-Time-Ms`, `X-Shine-Signature`. Строка Ed25519-подписи: `DM_R2_PREPARE_V1:{sessionId}:{fileId}:{size}:{timeMs}`. Сервер подтверждает существование объекта или выдаёт `uploadUrl` и `requiredHeaders` с условием `If-None-Match: *`. -Максимальный размер одного ciphertext-объекта — 8 МиБ + 16 байт. Подписанный PUT действителен 30 минут. Загрузка не идёт через Java. Новый URL скачивания: `https://dm-files.shineup.me/`; GET публичный, но объект содержит только AES-GCM ciphertext. R2 объект содержит `Content-Type: application/octet-stream`; исходный MIME хранится внутри зашифрованного ``. +Максимальный размер одного ciphertext-объекта — 8 МиБ + 16 байт. Подписанный PUT действителен 30 минут. Загрузка не идёт через Java. Новый URL скачивания: `https://dm-files.<домен access-сервера отправителя>/`; GET публичный, но объект содержит только AES-GCM ciphertext. R2 объект содержит `Content-Type: application/octet-stream`; исходный MIME хранится внутри зашифрованного ``. Доступ к R2 требует настроек `r2.dmBucket=shine-dm` и серверных `R2_ENDPOINT`, `R2_ACCESS_KEY_ID`, `R2_SECRET_ACCESS_KEY`. Рекомендуется lifecycle rule **14 дней**. Кэш CDN допускается и может продлить доступность ciphertext после удаления из R2. Сервер не гарантирует соответствие загруженных байтов hash: читающий клиент проверяет `Base58(SHA-256(ciphertext))`. Полный формат DM v3 описан в `docs/Personal_Messages/Файлы_DM_v3_R2.md`. + +## 10. Федеративное R2-хранилище (16.11.2026) + +У каждого access-сервера свои две корзины R2. Новый DM v3 не сохраняет полный URL в +технической вставке ``: передаются `id` (Base58 SHA-256 ciphertext), +ключи/IV и необходимые метаданные, а также новое поле `at` — время завершения +загрузки в миллисекундах Unix. Имя файлового домена вычисляется по отправителю: +`dm-files.`. Клиент узнаёт адрес через общий `GET +/api/files/user-server?login=` на своём access-сервере (из +синхронизированной PostgreSQL-проекции Solana). В RAM кэшируется соответствие +логин → сервер; при ошибке файла допускается один повторный поиск в час на +пользователя. Для DM v3 с ранее сохранённым `url` этот URL по-прежнему читается. +Формат бинарного E2EE-контейнера не меняется. + +Сервер-владелец R2 получает DNS-адрес из собственной server-PDA в синхронизированной +PostgreSQL по `server.SHiNE.login`. `POST /api/dm-files/prepare` автоматически возвращает +`fileUrl` в формате `https://dm-files.<домен>/` для проверки конфликтов при PUT. +Отдельный R2 public URL в конфигурации не нужен. Публичный адрес файла +должен поддерживать CORS GET/HEAD, а корзина R2 — прямой браузерный доступ. + +Для **новых R2 DM v3** после 14 дней от `at` клиент не делает скачивание и +показывает сообщение об истечении срока. Для ранних v3 без `at` используется +время сообщения. Это UX-гарантия клиента, а не физическое удаление: Cloudflare +R2 lifecycle необходимо настроить отдельно. Старые локальные DM v1/v2 не +помечаются истёкшими, поскольку для них не настроен R2 lifecycle. diff --git a/docs/API/21_Public_File_Storage_API.md b/docs/API/21_Public_File_Storage_API.md index 006f3bde..39dd98a8 100644 --- a/docs/API/21_Public_File_Storage_API.md +++ b/docs/API/21_Public_File_Storage_API.md @@ -5,7 +5,7 @@ Новые публичные файлы и аватары используют **BitTorrent v2 Pieces Root**, закодированный **Base58** (32 байта; строка обычно 43–44 символа). Идентификатор не зависит от имени и MIME. Клиент вычисляет корень по подготовленным байтам. Содержимое файла **не проходит через Java**. - R2 bucket: `shine-files`. -- Публичный GET: `https://files.shineup.me/` (ключ объекта = `PR`, без расширения). +- Публичный GET: `https://files.<домен access-сервера автора>/` (ключ объекта = `PR`, без расширения). - Предпросмотр публичных изображений и видео использует прямой URL. Картинки `loading="lazy"`; публичные видео получают `src` только у видимой области через `IntersectionObserver` и запрашивают метаданные после входа в область. В старом браузере используется обычная загрузка metadata. - Отдельных preview-файлов нет. Скачивание/просмотр медиаконтента выполняет сам браузер (в том числе HTTP Range, если доступен). - Тип определяется по `mm`, затем по расширению `nm`; HTTP `Content-Type` объекта задаётся при PUT. Неизвестные файлы — `application/octet-stream`. diff --git a/docs/ARCHITECTURE.md b/docs/ARCHITECTURE.md index b600e1fd..775fb584 100644 --- a/docs/ARCHITECTURE.md +++ b/docs/ARCHITECTURE.md @@ -35,3 +35,23 @@ flowchart LR ## Ограничения этой карты Схема показывает связи компонентов, но не обещает доступность каждой функции на каждом контуре. Документы с названиями `TODO`, `Черновик`, `PROPOSED` и исторические отчёты не описывают действующий контракт. Если карта расходится с профильной спецификацией или кодом, расхождение нужно проверить и исправить по [правилам сопровождения](CONTRIBUTING_DOCS.md). + +## Федеративные публичные и DM-файлы (16.11.2026) + +- Публичные PR/Base58-файлы и аватарки ищутся на + `https://files./`; в публикации нет + дополнительного поля домена. Arweave и legacy `/files/` не меняются. +- Новый DM v3 по отправителю определяется на `dm-files.`, а + в технической вставке сохраняется идентификатор, но не URL. Исторические DM + v3 с URL читаются. Про шифрование и срок хранения см. + `docs/Personal_Messages/Файлы_DM_v3_R2.md`. +- Access-домен клиента определяется через `GET /api/files/user-server?login=`. + Java использует `UserAccessServersCurrentDAO.findPrimaryByUserLogin()`: + синхронизированную PostgreSQL-проекцию Solana. Платный аккаунт — первый + access server пользовательской PDA, FREE_CERT — namespace default server. + Ответ `{serverLogin, serverUrl}`; клиент формирует домены сам. +- Client-cache исключительно в RAM, без TTL/IndexedDB. Одновременные обращения + объединяются; после ошибки файла повторный lookup не чаще раза в час на автора. + Успешная загрузка не запускает periodic validation. +- Смена access-сервера **не переносит** старые объекты R2: миграция файлов + должна быть выполнена отдельно до обновления маршрута пользователя. diff --git a/docs/Blockchain/10_TECH_Blocks.md b/docs/Blockchain/10_TECH_Blocks.md index df3fcd9b..16bae108 100644 --- a/docs/Blockchain/10_TECH_Blocks.md +++ b/docs/Blockchain/10_TECH_Blocks.md @@ -1,4 +1,4 @@ -# TECH блоки (`type=0`, `version=1`) +# TECH блоки (`type=0`; версия 1, а для HEADER также 2) TECH-тип покрывает системные записи пользовательской цепочки. Все TECH DataItem имеют подписанный индексный тег: @@ -12,7 +12,30 @@ t=tech ### `subType=0` — `HEADER_COMPAT` -Стартовый блок цепочки (`block #0`). Payload содержит tag `SHiNE`, login владельца и `initialBlockchainKey32`. +Стартовый блок цепочки (`block #0`). Новый клиент создаёт `HEADER v2`, а старые `HEADER v1` продолжают читаться. + +Формат `HEADER v1`: + +```text +[5] ASCII "SHiNE" +[1] loginLength (uint8) +[N] login UTF-8 +[32] initialBlockchainKey32 +``` + +Формат `HEADER v2`, строго в указанном порядке: + +```text +[5] ASCII "SHiNE" +[1] loginLength (uint8) +[N] login UTF-8 +[15] ASCII "license:CC0-1.0" +[32] initialBlockchainKey32 +``` + +В `v2` строка `license:CC0-1.0` записывается **буквально**, без отдельного поля длины, и должна полностью совпадать. Наличие префикса `license:` обязательно. Запись является частью подписанного блока. Любые другие строки лицензии и дополнительные байты запрещены. + +`HEADER v1` остаётся исторически допустимым и не означает автоматически принятую CC0. Существующие блоки #0 не переписываются. Все новые цепочки создаются с `HEADER v2`. Поле `login` хранит **точное неизменяемое написание идентичности при регистрации**: для новой регистрации `login@namespace` соответствует `[A-Za-z0-9_]+@[a-z0-9_]+`, длина не более 30 байт. Регистр локальной части сохраняется побайтно из Solana PDA или сертификата Arweave; `@namespace` остаётся строчным. `AlexSmith@shine` и `alexsmith@shine` идентифицируют одного человека (по lower-case), но только первый вариант допустим в его HEADER, если именно так он зарегистрирован. `@` не меняет бинарную структуру HEADER: `[loginLength:uint8][login UTF-8 bytes]`. При копировании префикса для следующих fork первый HEADER не меняется. Исторические legacy `[A-Za-z0-9_]+` по-прежнему декодируются, но в новую регистрацию не допускаются. @@ -22,7 +45,7 @@ AddBlock сверяет HEADER #0 с точным именем в `user_identity HEADER сам не хранит line-prefix, но является root TECH-линии. -После успешной регистрации и автоматического входа клиент вызывает `ensureBlockchainHeader(login, storagePwd)` один раз в общем завершении регистрации (как Solana, так и Arweave). При отсутствии блока №0 клиент создаёт и подписывает HEADER и отправляет его через обычный `AddBlock`. Неудачная отправка **не отменяет** уже подтверждённую регистрацию: существующая логика создания первого пользовательского блока проверит и при необходимости создаст HEADER перед ним. Дополнительной проверки при каждом входе нет. Формат блоков и серверный API не изменены. +После успешной регистрации и автоматического входа клиент вызывает `ensureBlockchainHeader(login, storagePwd)` один раз в общем завершении регистрации (как Solana, так и Arweave). При отсутствии блока №0 клиент создаёт и подписывает HEADER и отправляет его через обычный `AddBlock`. Неудачная отправка **не отменяет** уже подтверждённую регистрацию: существующая логика создания первого пользовательского блока проверит и при необходимости создаст HEADER перед ним. Дополнительной проверки при каждом входе нет. Схема `HEADER v2` расширена константой лицензии; сетевой API AddBlock не меняется. ### `subType=1` — `TECH_CREATE_CHANNEL` diff --git a/docs/Blockchain/15_TEXT_Attachments.md b/docs/Blockchain/15_TEXT_Attachments.md index 3a84c374..d612d870 100644 --- a/docs/Blockchain/15_TEXT_Attachments.md +++ b/docs/Blockchain/15_TEXT_Attachments.md @@ -18,7 +18,7 @@ - `ar` — необязательный Arweave Transaction ID, нативный формат Arweave. - `sha256` — исторический lowercase hex SHA-256 для старых тегов/объектов; новые записи его не создают. -`ar` присутствует → получить файл через Arweave gateway. Нет `ar`, есть `pr` → `https://files.shineup.me/`. Исторический `sha256` без `pr`/`ar` → прежний `/files/` access-сервера автора. `storage=r2` и абсолютные URL в тег не записываются. +`ar` присутствует → получить файл через Arweave gateway. Нет `ar`, есть `pr` → `https://files.<домен access-сервера автора>/`. Исторический `sha256` без `pr`/`ar` → прежний `/files/` access-сервера автора. `storage=r2` и абсолютные URL в тег не записываются. Идентификаторы новых аватаров — тоже **Base58(PR)**, но формат аватара отдельный: ``. Формат v1/SHA-256 аватаров больше не создаётся; миграция v41 не конвертирует старые значения. diff --git a/docs/Blockchain/42_Public_Content_Identifiers.md b/docs/Blockchain/42_Public_Content_Identifiers.md index 71752e71..7dc4af5c 100644 --- a/docs/Blockchain/42_Public_Content_Identifiers.md +++ b/docs/Blockchain/42_Public_Content_Identifiers.md @@ -1,7 +1,7 @@ # Публичные идентификаторы содержимого SHiNE (15.11.2026) - **Публичные вложения и новые аватарки:** 32-байтный BitTorrent v2 Pieces Root, текстовая форма — канонический Bitcoin Base58. Это не обычный SHA-256 файла для файлов больше 16 КиБ. Блоки/корень считаются по правилам BitTorrent v2. Base58 чувствителен к регистру: запрещено `.toLowerCase()`. -- **Хранилище:** все публичные объекты, включая аватарки, в корне одной R2 корзины `shine-files`: ключ ``, URL `https://files.shineup.me/`. Папок `avatars/` нет. Прямая загрузка браузером через `POST /api/files/prepare` + presigned PUT. Подготовка аватара: WebP/JPEG, максимум 768 px, затем вычисление PR от фактически загружаемых байтов. +- **Хранилище:** все публичные объекты, включая аватарки, в корне R2 корзины `shine-files` на access-сервере автора: ключ ``, URL `https://files.<домен access-сервера автора>/`. Папок `avatars/` нет. Прямая загрузка браузером через `POST /api/files/prepare` + presigned PUT. Подготовка аватара: WebP/JPEG, максимум 768 px, затем вычисление PR от фактически загружаемых байтов. - **User profile avatar:** `>`; **channel avatar:** тот же тег в метаданных. В случае Arweave добавляется `;ar=`. Arweave TX ID не перекодируется (остается Base64URL). - **Старый аватар SHA-256/hex (`v=1`) не поддерживается** и не переносится. Старые аватары перестанут отображаться без повторной загрузки/перепубликации профиля. Старые каналы не удаляются: старый тег аватара при перестроении индекса пропускается. - **DM:** зашифрованные объекты — SHA-256/Base58 в своей корзине. Никаких изменений в этом патче. diff --git a/docs/Personal_Messages/README.md b/docs/Personal_Messages/README.md index 44b3e6a0..9230a7a5 100644 --- a/docs/Personal_Messages/README.md +++ b/docs/Personal_Messages/README.md @@ -26,8 +26,8 @@ Официальный UI v3 отправляет файл как зашифрованные объекты R2 (чтение старого v1/v2 поддерживается): - файл шифруется в браузере `AES-256-GCM`; -- новый ciphertext хранится в корзине `shine-dm` по адресу `https://dm-files.shineup.me/`; -- AES-key, IV, исходное имя, MIME, размер и URL находятся в `` внутри plaintext DM, а значит сами защищены существующим E2EE DM; +- новый ciphertext хранится в корзине `shine-dm` по адресу `https://dm-files.<домен access-сервера отправителя>/`; +- AES-key, IV, ID ciphertext, исходное имя, MIME и размер находятся в `` (новые v3 без URL; старые URL читаются) внутри plaintext DM, а значит сами защищены существующим E2EE DM; - получатель скачивает новый ciphertext напрямую из R2, проверяет SHA-256, расшифровывает локально и только затем отдаёт Blob браузеру для сохранения под исходным именем; - сервер файлов ключ расшифрования не получает. @@ -47,4 +47,13 @@ Сообщение создаётся локально при отрисовке диалога и повторно добавляется при обновлении истории. Это **не DM-сообщение**, оно не отправляется собеседнику, не попадает в `GetDirectMessages`, не подписывается и не записывается в Arweave или блокчейн. Кнопок, галочек и обязательного подтверждения нет. Изменения не затрагивают бинарный формат `SHiNE_DM`, серверный API и криптографический протокол. -Текст уведомления RU восстановлен по утверждённой пользователем редакции от 13.11.2026: «Ваша переписка защищена сквозным шифрованием»; остальной текст RU/EN находится только в `shine-UI/js/i18n/locales/{ru,en}.json`. Для предотвращения повторной подмены RU-редакция зафиксирована тестом `shine-UI/tests/dm-security-notice.test.mjs`. Текст о перешифровке в интерфейсе воспроизводит утверждённую пользователем формулировку. Техническое ограничение: текущий протокол при ротации client key перешифровывает локальные копии `type=1/2` на access-сервере владельца, а не гарантирует перешифровку всех когда-либо созданных копий сообщения (подробности — в `Протокол_DM_v1.md`). Перед публичным релизом желательно уточнить формулировку на уровне продукта. +Текст о перешифровке в интерфейсе воспроизводит утверждённую пользователем формулировку. Техническое ограничение: текущий протокол при ротации client key перешифровывает локальные копии `type=1/2` на access-сервере владельца, а не гарантирует перешифровку всех когда-либо созданных копий сообщения (подробности — в `Протокол_DM_v1.md`). Перед публичным релизом желательно уточнить формулировку на уровне продукта. + +### Федеративный файловый resolver (16.11.2026) + +Новые вложения DM v3 не сохраняют полный URL в E2EE-технической вставке; адрес +`dm-files.` восстанавливается по отправителю через общий HTTP API +и RAM-кэш. У каждого access-сервера своя корзина R2. Время загрузки `at` позволяет +показывать окончание 14-дневного срока без скачивания; старые v1/v2 сохраняют +прежний протокол и правила хранения. Подробнее в `Файлы_DM_v3_R2.md` и +`docs/API/18_DM_File_Storage_API.md`. diff --git a/docs/Personal_Messages/Технические_вставки_DM_v1.md b/docs/Personal_Messages/Технические_вставки_DM_v1.md index 382d946c..6a23f468 100644 --- a/docs/Personal_Messages/Технические_вставки_DM_v1.md +++ b/docs/Personal_Messages/Технические_вставки_DM_v1.md @@ -206,3 +206,12 @@ fromLogin|toLogin|timeMs|nonce ``` Здесь **нет** `th` или `pr`; `id` обозначает SHA-256 **зашифрованного корневого манифеста** в Base58. Все части и манифест шифруются AES-256-GCM, хранятся по `Base58(SHA-256(ciphertext))`. Встроенный MIME по-прежнему называется `mime` в DM-протоколе (сокращение `mm` касается публичного `S:att`). Бинарный E2EE-контейнер не меняется. Подробности: `Файлы_DM_v3_R2.md`. + +## Дополнение: DM file v3 без URL (16.11.2026) + +В новых отправлениях `` отсутствует поле `url`, а присутствует `at` +(Unix milliseconds, время загрузки). Получатель определяет R2-домен по +**логину отправителя сообщения** через `/api/files/user-server?login=...`. +Поле `url` у исторических DM v3 допустимо и обрабатывается по прежней логике. +Для v1/v2 `url` по-прежнему обязателен; криптографические поля и бинарный +контейнер DM не изменяются. diff --git a/docs/Personal_Messages/Файлы_DM_v3_R2.md b/docs/Personal_Messages/Файлы_DM_v3_R2.md index 5cfd0e39..8477237b 100644 --- a/docs/Personal_Messages/Файлы_DM_v3_R2.md +++ b/docs/Personal_Messages/Файлы_DM_v3_R2.md @@ -4,7 +4,7 @@ Все **новые** файлы и голосовые сообщения DM официального PWA загружаются непосредственно в R2 `shine-dm`. Содержимое файлов Java-сервером не проксируется, а сервер выдаёт временные S3 PUT URL после проверки Ed25519-сессии. -Скачивание публичное по `https://dm-files.shineup.me/`: там хранится **только ciphertext**. +Скачивание публичное по `https://dm-files.<домен access-сервера отправителя>/`: там хранится **только ciphertext**. Ключ AES, префикс IV, имя, MIME и размер помещаются внутрь уже E2EE-зашифрованного сообщения. В v3 **нет BitTorrent, Merkle/`pieces root` и infohash**. Они сохранились только для чтения ранее отправленных DM v2. @@ -67,13 +67,13 @@ DM_R2_PREPARE_V1:{sessionId}:{fileId}:{size}:{timeMs} 1. Скачать ciphertext root manifest по адресу, записанному в E2EE-сообщении. 2. Проверить `Base58(SHA-256(ciphertext)) == id`. 3. Расшифровать AES-GCM и проверить структуру манифеста. -4. Получить каждую зашифрованную часть напрямую с `dm-files.shineup.me/`. +4. Получить каждую зашифрованную часть напрямую с `dm-files.<домен access-сервера отправителя>/`. 5. Проверить SHA-256 каждой части, расшифровать AES-GCM, проверить порядок и длину. 6. Последовательно записать исходные данные в браузерный поток сохранения или Blob fallback. ## Настройка Cloudflare -- R2 Bucket: `shine-dm`, публичный custom domain `dm-files.shineup.me` (в R2 только шифротекст). +- R2 Bucket: `shine-dm`, публичный custom domain `dm-files.<домен access-сервера>` (в R2 только шифротекст). - Object Lifecycle: удалить объекты через 14 дней (Cloudflare выполняет удаление асинхронно). - CDN-кэширование разрешено: файлы могут оставаться доступными из кэша после удаления из R2, гарантий точного срока недоступности нет. - CORS: с origin сайта SHiNE разрешить `GET`, `HEAD`, `PUT`; `AllowedHeaders: ["*"]`; `ExposeHeaders: ["Content-Length", "ETag"]`. @@ -96,3 +96,22 @@ DM v1 и DM v2 читаются прежними обработчиками (с ## Журнал выдачи R2 разрешений (PostgreSQL v42) Сервер записывает в `dm_file_uploads` одну строку **на каждый зашифрованный объект**, для которого был выдан URL, либо обнаружено существование объекта. Поля: `user_login`, `file_hash` (Base58 SHA-256 ciphertext), `file_size_bytes`, `requested_at`, `disposition`. Это *не* подтверждение успешной передачи в R2 и *не* одна строка на исходный файл: один DM может содержать много частей и манифест. Ни исходное имя, ни MIME, ни AES-ключ не попадают в журнал. Криптография и формат `S:file;v=3` не меняются. + +## Обновление: отдельный R2 каждого access-сервера (16.11.2026) + +- Новое `` **не передаёт URL**: + клиент восстанавливает `https://dm-files./` через + общий REST-resolver и RAM-кэш. Старая форма v3 с `url` принимается на чтение. +- `at` — время завершения загрузки манифеста (миллисекунды Unix); при его + отсутствии применяется timestamp сообщения. По истечении 14 дней UI + заменяет вложение пояснением, без обращения к R2 и resolver. +- По требованию пользователя нет клиентского сохранения сервера в IndexedDB, + повторных периодических проверок или миграции файлов. При загрузке ошибки + resolver обновляется не чаще одного раза в час на отправителя; в рамках + одновременных ошибок запросы объединяются. +- Старые DM v1/v2 не подпадают под новое правило 14 дней, т.к. их историческое + локальное хранение регулируется отдельным механизмом. +- Для каждого access-сервера оператор настраивает DNS/R2 CORS/lifecycle. + Java автоматически формирует URL по собственной server-PDA в PostgreSQL, + отдельное `r2.dmPublicBaseUrl` не требуется. Изменений + бинарного контейнера DM, AES-GCM и SHA-256 не происходит. diff --git a/shine-UI/js/components/avatar-image.js b/shine-UI/js/components/avatar-image.js index 27c0b548..4ac4c297 100644 --- a/shine-UI/js/components/avatar-image.js +++ b/shine-UI/js/components/avatar-image.js @@ -2,7 +2,8 @@ import { t } from '../i18n/index.js'; import { state } from '../state.js'; import { buildArweaveDataUrl, validateArweaveTxId } from '../services/arweave-file-service.js'; import { getCachedAvatarObjectUrl } from '../services/arweave-avatar-cache-service.js'; -import { avatarR2Url } from '../services/public-file-service.js'; +import { resolvePublicFileUrl } from '../services/public-file-service.js'; +import { updatedUserFileUrlAfterError } from '../services/user-file-server-service.js'; import { validatePublicPiecesRoot } from '../services/public-pieces-root.js'; function normalizeLogin(value) { @@ -78,6 +79,7 @@ export function renderAvatar({ img.alt = String(alt || t('screens.avatar_image.text_002')); img.loading = 'lazy'; img.decoding = 'async'; + img.referrerPolicy = 'no-referrer'; wrap.append(img); const setLoadedState = (loaded) => { @@ -88,8 +90,23 @@ export function renderAvatar({ if (hasServerAvatar) { // All public avatars use exactly the same PR/Base58 R2 object key as attachments. img.onload = () => setLoadedState(true); - img.onerror = () => { img.removeAttribute('src'); setLoadedState(false); }; - img.src = avatarR2Url(expectedPr); + let attemptedRefresh = false; + img.onerror = async () => { + const previousUrl = img.src; + if (!attemptedRefresh && authorLogin) { + attemptedRefresh = true; + try { + const updated = await updatedUserFileUrlAfterError({ + login: authorLogin, id: expectedPr, previousUrl, + }); + if (updated && img.parentElement === wrap) { img.src = updated; return; } + } catch { /* старый адрес останется недоступным */ } + } + img.removeAttribute('src'); setLoadedState(false); + }; + void resolvePublicFileUrl({ pr: expectedPr, authorLogin }).then((url) => { + if (img.parentElement === wrap) img.src = url; + }).catch(() => { img.removeAttribute('src'); setLoadedState(false); }); return wrap; } diff --git a/shine-UI/js/components/dm-attachments.js b/shine-UI/js/components/dm-attachments.js index 7c7ae590..7ac98c49 100644 --- a/shine-UI/js/components/dm-attachments.js +++ b/shine-UI/js/components/dm-attachments.js @@ -1,7 +1,7 @@ import { t } from '../i18n/index.js'; // Вложения личных сообщений: превью картинок и видео после расшифровки и карточка файла со «Скачать». // Общие для ленты чата и экрана «Медиа и файлы». -import { decryptDmFileToBlob, downloadAndDecryptDmFile } from '../services/dm-file-service.js'; +import { decryptDmFileToBlob, downloadAndDecryptDmFile, isDmFileExpired } from '../services/dm-file-service.js'; import { formatBytes, getAttachmentKind } from '../services/attachment-format.js'; import { showToast } from '../services/channels-ux.js'; import { iconHtml } from './ui-icon.js'; @@ -17,7 +17,7 @@ const dmMediaBlobs = new Map(); const DM_MEDIA_CACHE_LIMIT = 40; export function isDmInlineMedia(attachment) { - if (attachment?.kind === 'voice') return false; + if (attachment?.kind === 'voice' || isDmFileExpired(attachment)) return false; const size = Number(attachment?.size || 0); if (!(size > 0 && size <= DM_INLINE_MEDIA_MAX_BYTES)) return false; const kind = getAttachmentKind(attachment); @@ -27,6 +27,7 @@ export function isDmInlineMedia(attachment) { // Расшифрованный файл держим в памяти: лента перерисовывается на каждое новое сообщение, // и без кэша картинка расшифровывалась бы и мигала заново. export function resolveDmMediaUrl(attachment) { + if (isDmFileExpired(attachment)) return Promise.reject(new Error('DM_FILE_EXPIRED')); const key = String(attachment?.id || attachment?.url || ''); let pending = dmMediaBlobs.get(key); if (!pending) { @@ -40,7 +41,24 @@ export function resolveDmMediaUrl(attachment) { return pending.then((blob) => ({ url: URL.createObjectURL(blob), objectUrl: true })); } +export function createDmExpiredAttachmentCard(attachment) { + const card = document.createElement('div'); + card.className = 'dm-file-card'; + const copy = document.createElement('span'); + copy.className = 'dm-file-card__copy'; + const name = document.createElement('strong'); + name.className = 'dm-file-card__name'; + name.textContent = attachment?.name || 'file'; + const info = document.createElement('span'); + info.className = 'dm-file-card__meta'; + info.textContent = t('screens.dm_attachments.file_expired'); + copy.append(name, info); + card.append(copy); + return card; +} + export function createDmFileAttachmentCard(attachment) { + if (isDmFileExpired(attachment)) return createDmExpiredAttachmentCard(attachment); const fileCard = document.createElement('div'); fileCard.className = 'dm-file-card'; diff --git a/shine-UI/js/i18n/locales/en.json b/shine-UI/js/i18n/locales/en.json index 27aa49f3..8745d177 100644 --- a/shine-UI/js/i18n/locales/en.json +++ b/shine-UI/js/i18n/locales/en.json @@ -362,7 +362,7 @@ "label_007": "Upload", "label_008": "Copy TX ID", "label_009": "Sending UI errors to the server", - "label_010": "Critical interface errors and unexpected server failures are reported automatically. Passwords, private keys, and message contents are not included. Reports are not queued when offline." + "label_010": "For developers: When an interface error is enabled, it will automatically be sent to the server for diagnosis." }, "network_view": { "label_001": "Enter your username", @@ -976,7 +976,8 @@ "text_004": "File saved", "text_005": "File downloaded", "text_006": "file", - "text_007": "Download {value1}" + "text_007": "Download {value1}", + "file_expired": "File no longer available: encrypted attachments are kept for up to 14 days." }, "palette_editor": { "text_001": "Failed to read palette, please make sure the whole text is copied.", @@ -2216,15 +2217,15 @@ }, "chat_view": { "security_notice": { - "title": "Your conversation is protected by end-to-end encryption", - "encryption": "All private messages are encrypted using modern cryptographic algorithms. Encryption keys are stored ONLY on the participants' devices.", - "servers": "SHiNE servers do not possess your private keys and technically cannot read your messages.", - "derivation": "Your encryption key is derived from your login and password.", - "rotation": "When you change your password, all your messages are re-encrypted from the old password to the new one on your device.", - "source": "Our applications are fully open source, so you can easily verify this yourself.", + "title": "Private chat security", + "encryption": "Messages in this chat are encrypted on the participants' devices.", + "servers": "The server delivers encrypted data but should not be able to read the conversation.", + "derivation": "Chat keys are derived from account keys and stored on the devices.", + "rotation": "After key rotation, some messages may require the keys to be received again.", + "source": "Before sending, make sure you are communicating with the intended user and server.", "warning_label": "Important:", - "warning": "if you forget your password, it will be impossible to restore access to your encrypted conversations.", - "recovery": "SHiNE does not store your secret keys and cannot help you recover your conversations." + "warning": "never share private keys or your account password with anyone.", + "recovery": "Access recovery depends on your saved keys and password. Keep them secure." }, "text_002": "Muted", "text_015": "Search", @@ -4666,9 +4667,6 @@ "could_not_switch_profile": "Could not switch profile.", "your_session_has_expired_please_sign_in_again": "Your session has expired. Please sign in again.", "something_went_wrong_error_details_were_sent_to_the_devel": "Something went wrong. Error details were sent to the developers. Please try again.", - "error_report_pending": "Sending technical error details…", - "error_report_received": "The action failed. The server received error report {id}. Please try again.", - "error_report_not_sent": "Something went wrong. The error report could not reach the server. Check your connection and try again.", "could_not_display_this_screen": "Could not display this screen", "unknown": "unknown", "retry": "Retry", diff --git a/shine-UI/js/i18n/locales/ru.json b/shine-UI/js/i18n/locales/ru.json index da088856..09f8f921 100644 --- a/shine-UI/js/i18n/locales/ru.json +++ b/shine-UI/js/i18n/locales/ru.json @@ -456,7 +456,7 @@ "label_007": "Загрузить", "label_008": "Скопировать TX ID", "label_009": "Отправка UI-ошибок на сервер", - "label_010": "Критические ошибки интерфейса и неожиданные отказы сервера автоматически отправляются для диагностики. Пароли, приватные ключи и содержимое сообщений не передаются. При отсутствии связи отправка не выполняется.", + "label_010": "Для разработчиков: при включении ошибки интерфейса будут автоматически отправляться на сервер для диагностики.", "label_011": "Отправлять ошибки на сервер", "label_012": "Отмена", "label_013": "Сохранить" @@ -976,7 +976,8 @@ "text_004": "Файл сохранён", "text_005": "Файл скачан", "text_006": "файл", - "text_007": "Скачать {value1}" + "text_007": "Скачать {value1}", + "file_expired": "Файл больше недоступен: зашифрованные вложения хранятся не более 14 дней." }, "palette_editor": { "text_001": "Не удалось прочитать палитру: проверьте, что текст скопирован целиком.", @@ -2349,15 +2350,15 @@ }, "chat_view": { "security_notice": { - "title": "Ваша переписка защищена сквозным шифрованием", - "encryption": "Все личные сообщения шифруются с использованием современных криптографических алгоритмов. Ключи шифрования хранятся ТОЛЬКО на устройствах участников переписки.", - "servers": "Сервера SHiNE не имеют ваших приватных ключей и даже технически никак не могут прочитать ваши сообщения.", - "derivation": "Ваш ключ шифрования высчитывается из вашего логина и пароля", - "rotation": "При смене пароля перекодирование всех ваших сообщений со старого пароля на новый происходит на устройстве пользователя.", - "source": "Код наших приложений полностью открыт и вы легко можете проверить всё это сами.", + "title": "Безопасность личной переписки", + "encryption": "Сообщения в этом чате шифруются на устройствах участников.", + "servers": "Сервер доставляет зашифрованные данные, но не должен видеть содержимое переписки.", + "derivation": "Ключи переписки производятся из ключей аккаунта и хранятся на устройствах.", + "rotation": "При смене ключей часть сообщений может потребовать повторного получения ключей.", + "source": "Перед отправкой проверьте, что вы общаетесь с нужным пользователем и сервером.", "warning_label": "Важно:", - "warning": "если вы забудете свой пароль, восстановить доступ к вашей зашифрованной переписке будет невозможно.", - "recovery": "SHiNE не хранит ваши секретные ключи и никак не сможет помочь вам восстановить вашу переписку" + "warning": "не передавайте приватные ключи и пароль аккаунта другим людям.", + "recovery": "Восстановление доступа зависит от сохранённых ключей и пароля. Храните их безопасно." }, "text_001": "Чат", "text_002": "Без звука", @@ -4666,9 +4667,6 @@ "could_not_switch_profile": "Не удалось переключить профиль.", "your_session_has_expired_please_sign_in_again": "Ваша сессия устарела. Авторизируйтесь заново.", "something_went_wrong_error_details_were_sent_to_the_devel": "Что-то пошло не так. Сведения об ошибке уже отправлены разработчикам – попробуйте ещё раз.", - "error_report_pending": "Отправляем техническую информацию об ошибке…", - "error_report_received": "Не удалось выполнить действие. Отчёт об ошибке принят сервером (№ {id}). Попробуйте ещё раз.", - "error_report_not_sent": "Возникла ошибка. Не удалось передать отчёт на сервер. Проверьте соединение и повторите попытку.", "could_not_display_this_screen": "Не удалось отрисовать экран", "unknown": "неизвестно", "retry": "Повторить", diff --git a/shine-UI/js/pages/chat-media-view.js b/shine-UI/js/pages/chat-media-view.js index 4dfdeb3b..d83830ef 100644 --- a/shine-UI/js/pages/chat-media-view.js +++ b/shine-UI/js/pages/chat-media-view.js @@ -10,7 +10,7 @@ import { getAttachmentKind } from '../services/attachment-format.js'; import { parseDmTechBlocks } from '../services/dm-tech-blocks.js'; import { loadFullDmHistory, resolveMessageTimeMs } from '../services/dm-history.js'; import { formatClockTime, formatDayLabel } from '../services/channels-ux.js'; -import { getChatMessages, getRememberedDmPeer, normalizeDmChatId } from '../state.js'; +import { getChatMessages, getRememberedDmPeer, normalizeDmChatId, state } from '../state.js'; import { navigateUp } from '../router.js'; export const pageMeta = { id: 'chat-media-view', get title() { return t('screens.chat_media_view.text_001'); } }; @@ -18,16 +18,21 @@ export const pageMeta = { id: 'chat-media-view', get title() { return t('screens const monthTitle = (date) => formatDate(date, { month: 'long', year: 'numeric' }); // Все вложения переписки, от новых к старым. -function collectAttachments(chatId) { +function collectAttachments(chatId, currentLogin) { const media = []; const files = []; for (const msg of getChatMessages(chatId)) { if (msg?.deleted) continue; const parsed = parseDmTechBlocks(String(msg?.text || '')); const list = Array.isArray(parsed.fileAttachments) ? parsed.fileAttachments : (parsed.fileAttachment ? [parsed.fileAttachment] : []); - for (const attachment of list) { - if (attachment?.kind === 'voice') continue; - const entry = { attachment, timeMs: resolveMessageTimeMs(msg), from: msg?.from }; + for (const item of list) { + if (item?.kind === 'voice') continue; + const timeMs = resolveMessageTimeMs(msg); + const attachment = { ...item, + senderLogin: msg?.from === 'out' ? currentLogin : chatId, + messageTimestampMs: timeMs, + }; + const entry = { attachment, timeMs, from: msg?.from }; (isDmInlineMedia(attachment) ? media : files).push(entry); } } @@ -182,7 +187,7 @@ export function render({ navigate, route, chrome }) { function renderBody() { if (disposed) return; - const { media, files } = collectAttachments(chatId); + const { media, files } = collectAttachments(chatId, state.session?.login); for (const [value, { button, label }] of tabButtons) { const count = value === 'media' ? media.length : files.length; button.textContent = count ? `${label} · ${count}` : label; diff --git a/shine-UI/js/pages/chat-view.js b/shine-UI/js/pages/chat-view.js index 789d98b4..69b2acef 100644 --- a/shine-UI/js/pages/chat-view.js +++ b/shine-UI/js/pages/chat-view.js @@ -42,7 +42,8 @@ import { DM_MAX_ATTACHMENTS_PER_MESSAGE, } from '../services/dm-file-service.js'; import { createAttachmentCarouselElement } from '../services/attachment-format.js'; -import { createDmFileAttachmentCard, isDmInlineMedia, resolveDmMediaUrl } from '../components/dm-attachments.js'; +import { createDmFileAttachmentCard, createDmExpiredAttachmentCard, isDmInlineMedia, resolveDmMediaUrl } from '../components/dm-attachments.js'; +import { isDmFileExpired } from '../services/dm-file-service.js'; import { DM_HISTORY_PAGE_SIZE, isDmHistoryFullyLoaded, @@ -1217,7 +1218,12 @@ function renderLog( const bubble = document.createElement('div'); const parsedText = parseDmTechBlocks(String(msg?.text || '')); - const dmAttachments = Array.isArray(parsedText.fileAttachments) ? parsedText.fileAttachments : (parsedText.fileAttachment ? [parsedText.fileAttachment] : []); + const rawDmAttachments = Array.isArray(parsedText.fileAttachments) ? parsedText.fileAttachments : (parsedText.fileAttachment ? [parsedText.fileAttachment] : []); + const dmAttachments = rawDmAttachments.map((attachment) => ({ + ...attachment, + senderLogin: msg?.from === 'out' ? state.session?.login : chatId, + messageTimestampMs: msgTimeMs, + })); const autoKind = parsedText.callSummary ? 'call-tech' : (dmAttachments.length ? 'file-tech' : ''); const bubbleKind = String(msg?.kind || autoKind || '').trim(); bubble.className = `bubble ${msg.from}${bubbleKind ? ` ${bubbleKind}` : ''}`; @@ -1280,9 +1286,9 @@ function renderLog( for (const attachment of dmAttachments) { if (media.includes(attachment)) continue; attachmentsWrap.append( - attachment?.kind === 'voice' - ? createDmVoiceAttachmentCard(attachment) - : createDmFileAttachmentCard(attachment), + isDmFileExpired(attachment) + ? createDmExpiredAttachmentCard(attachment) + : (attachment?.kind === 'voice' ? createDmVoiceAttachmentCard(attachment) : createDmFileAttachmentCard(attachment)), ); } bubble.append(attachmentsWrap); diff --git a/shine-UI/js/pages/network-legacy/force-graph.js b/shine-UI/js/pages/network-legacy/force-graph.js index 88e2304b..0c5ecfd1 100644 --- a/shine-UI/js/pages/network-legacy/force-graph.js +++ b/shine-UI/js/pages/network-legacy/force-graph.js @@ -18,7 +18,7 @@ import { t } from '../../i18n/index.js'; import { renderUserAvatar, buildAvatarInitials } from '../../components/avatar-image.js'; import { state } from '../../state.js'; import { buildArweaveDataUrl } from '../../services/arweave-file-service.js'; -import { avatarR2Url } from '../../services/public-file-service.js'; +import { resolvePublicFileUrl } from '../../services/public-file-service.js'; const SVGNS = 'http://www.w3.org/2000/svg'; @@ -158,7 +158,7 @@ async function resolveServerAvatarPhotoSrc(src) { const authorLogin = String(src?.login || src?.id || '').trim(); if (txId || !pr || !authorLogin) return ''; try { - return avatarR2Url(pr); + return await resolvePublicFileUrl({ pr, authorLogin }); } catch { return ''; } diff --git a/shine-UI/js/pages/network/graph-canvas.js b/shine-UI/js/pages/network/graph-canvas.js index daa15d1d..9159783b 100644 --- a/shine-UI/js/pages/network/graph-canvas.js +++ b/shine-UI/js/pages/network/graph-canvas.js @@ -30,7 +30,7 @@ import { t } from '../../i18n/index.js'; import { buildAvatarInitials } from '../../components/avatar-image.js'; import { state } from '../../state.js'; import { buildArweaveDataUrl } from '../../services/arweave-file-service.js'; -import { avatarR2Url } from '../../services/public-file-service.js'; +import { resolvePublicFileUrl } from '../../services/public-file-service.js'; import { ISLAND_COLORS, layoutIslands, tieWeight } from './communities.js'; const NODE_R = { focus: 30, 1: 22, 2: 15, 3: 11 }; @@ -633,7 +633,7 @@ async function avatarUrlFromServer(node) { const authorLogin = String(node?.login || node?.id || '').trim(); if (String(raw.ar || '').trim() || !pr || !authorLogin) return ''; try { - return avatarR2Url(pr); + return await resolvePublicFileUrl({ pr, authorLogin }); } catch { return ''; } diff --git a/shine-UI/js/services/attachment-format.js b/shine-UI/js/services/attachment-format.js index 3aec1005..dc77fc9d 100644 --- a/shine-UI/js/services/attachment-format.js +++ b/shine-UI/js/services/attachment-format.js @@ -4,6 +4,7 @@ import { openMediaViewer } from '../components/media-viewer.js'; import { confirmDialog } from '../components/confirm-dialog.js'; import { buildArweaveDataUrl, sha256HexFromArrayBuffer, validateArweaveTxId, validateSha256Hex } from './arweave-file-service.js'; import { resolvePublicFileUrl } from './public-file-service.js'; +import { updatedUserFileUrlAfterError } from './user-file-server-service.js'; import { validatePublicPiecesRoot } from './public-pieces-root.js'; const ATTACH_BLOCK_RE = /^<(?:SHiNE|S):(attach|att);([^>]*)>\n?/u; @@ -263,7 +264,7 @@ function replaceWithUnavailable(slide, messageTimestampMs, storage = 'arweave', slide.replaceChildren(createUnavailableBlock(messageTimestampMs, storage, detail)); } -function createFileCard({ item, url, messageTimestampMs, slide, warnOnOpen = false }) { +function createFileCard({ item, url, messageTimestampMs, slide, warnOnOpen = false, onLoadError = null }) { const card = document.createElement('div'); card.className = 'message-attachment-file-card'; card.role = 'button'; @@ -289,7 +290,7 @@ function createFileCard({ item, url, messageTimestampMs, slide, warnOnOpen = fal window.location.assign(url); return; } - window.open(url, '_blank', 'noopener'); + window.open(url, '_blank', 'noopener,noreferrer'); }; card.addEventListener('click', (event) => { event.stopPropagation(); @@ -300,11 +301,15 @@ function createFileCard({ item, url, messageTimestampMs, slide, warnOnOpen = fal event.preventDefault(); openFile(); }); - void fetch(url, { method: 'HEAD', cache: 'no-store' }) + void fetch(url, { method: 'HEAD', cache: 'no-store', credentials: 'omit', referrerPolicy: 'no-referrer' }) .then((response) => { - if (!response.ok) replaceWithUnavailable(slide, messageTimestampMs, attachmentStorage(item)); + if (!response.ok) return Promise.reject(new Error(`File HTTP ${response.status}`)); + return null; }) - .catch(() => replaceWithUnavailable(slide, messageTimestampMs, attachmentStorage(item))); + .catch(async () => { + if (onLoadError && await onLoadError(url)) return; + replaceWithUnavailable(slide, messageTimestampMs, attachmentStorage(item)); + }); return card; } @@ -359,6 +364,7 @@ function createMediaSlide({ item, url, kind, messageTimestampMs, slide, onOpen, img.className = 'message-attachment-media'; img.alt = item.name; img.loading = 'lazy'; + img.referrerPolicy = 'no-referrer'; bindImageLayout(img); img.addEventListener('error', handleError, { once: true }); img.src = url; @@ -369,6 +375,7 @@ function createMediaSlide({ item, url, kind, messageTimestampMs, slide, onOpen, video.preload = 'none'; video.muted = true; video.playsInline = true; + video.referrerPolicy = 'no-referrer'; video.addEventListener('error', handleError, { once: true }); video.addEventListener('loadedmetadata', () => frame.classList.add('is-loaded'), { once: true }); @@ -520,15 +527,40 @@ export function createAttachmentCarouselElement(attachments = [], { void resolveAttachmentDisplayUrl(item, options) .then(({ url }) => { const kind = isPotentiallyActiveAttachment(item) ? 'file' : getAttachmentKind(item); - const content = kind === 'file' - ? createFileCard({ item, url, messageTimestampMs, slide: slot, warnOnOpen: true }) - : createMediaSlide({ - item, url, kind, messageTimestampMs, slide: slot, lazyVideo: true, - onOpen: () => openPublicViewer(index), - // Если формат/кодек не поддерживается браузером, файл всё ещё - // можно открыть или скачать через обычную карточку. - onError: () => slot.replaceChildren(createFileCard({ item, url, messageTimestampMs, slide: slot, warnOnOpen: true })), - }); + const refresh = async (failedUrl) => { + if (item.ar || !options.authorLogin || !item.pr) return null; + try { + return await updatedUserFileUrlAfterError({ + login: options.authorLogin, id: item.pr, previousUrl: failedUrl, + }); + } catch { return null; } + }; + const showCard = (candidate, retry = true) => createFileCard({ + item, url: candidate, messageTimestampMs, slide: slot, warnOnOpen: true, + onLoadError: retry ? async (failed) => { + const updated = await refresh(failed); + if (!updated || !slot.isConnected) return false; + resolvedUrls.set(index, updated); + slot.replaceChildren(showCard(updated, false)); + return true; + } : null, + }); + const showMedia = (candidate, retry = true) => createMediaSlide({ + item, url: candidate, kind, messageTimestampMs, slide: slot, lazyVideo: true, + onOpen: () => openPublicViewer(index), + onError: () => { + // Сразу оставляем скачивание доступным при неподдерживаемом кодеке. + // Если проблема в старом адресе сервера — фоновая проверка вернёт media. + slot.replaceChildren(showCard(candidate, false)); + if (!retry) return; + void refresh(candidate).then((updated) => { + if (!updated || !slot.isConnected) return; + resolvedUrls.set(index, updated); + slot.replaceChildren(showMedia(updated, false)); + }); + }, + }); + const content = kind === 'file' ? showCard(url) : showMedia(url); resolvedUrls.set(index, url); slot.replaceChildren(content); }) diff --git a/shine-UI/js/services/auth-service.js b/shine-UI/js/services/auth-service.js index d0e6fa69..23e6e6cf 100644 --- a/shine-UI/js/services/auth-service.js +++ b/shine-UI/js/services/auth-service.js @@ -541,6 +541,10 @@ function extractContactsFromDialogs(dialogs) { return out; } +export const HEADER_LICENSE_CC0 = 'CC0-1.0'; +export const HEADER_LICENSE_FIELD_CC0 = `license:${HEADER_LICENSE_CC0}`; +export const HEADER_VERSION_CC0 = 2; + function makeHeaderBodyBytes({ login, initialBlockchainKey32 }) { const cleanLogin = String(login || '').trim(); const loginBytes = utf8Bytes(cleanLogin); @@ -555,6 +559,7 @@ function makeHeaderBodyBytes({ login, initialBlockchainKey32 }) { utf8Bytes('SHiNE'), int8Byte(loginBytes.length), loginBytes, + utf8Bytes(HEADER_LICENSE_FIELD_CC0), keyBytes, ); } @@ -1947,7 +1952,7 @@ export class AuthService { storagePwd, msgType: MSG_TYPE_TECH, msgSubType: MSG_SUBTYPE_TECH_HEADER, - msgVersion: 1, + msgVersion: HEADER_VERSION_CC0, // HEADER хранит исходный регистр неизменяемого имени из Solana/Arweave. // Нормализация нужна только для уникальности и имени самой цепочки. bodyBytes: makeHeaderBodyBytes({ login: registeredLogin, initialBlockchainKey32 }), diff --git a/shine-UI/js/services/blockchain-entry-inspector.js b/shine-UI/js/services/blockchain-entry-inspector.js index 1cf1786c..a0974804 100644 --- a/shine-UI/js/services/blockchain-entry-inspector.js +++ b/shine-UI/js/services/blockchain-entry-inspector.js @@ -121,9 +121,17 @@ function parseTechBody(subType, body, frame) { const reader = new Reader(body); if (subType === 0) { const magic = reader.text(5, 'HEADER magic'); + if (magic !== 'SHiNE') throw new Error('Неправильная сигнатура HEADER'); const login = reader.textU8('HEADER login'); + let license = null; + if (frame.version === 2) { + const marker = reader.text(15, 'HEADER license'); + if (marker !== 'license:CC0-1.0') throw new Error('Неподдерживаемая лицензия HEADER'); + license = 'CC0-1.0'; + } const initialBlockchainKey = bytesToBase64Url(reader.raw(32, 'initialBlockchainKey32')); - return { kind: 'header', magic, login, initialBlockchainKey }; + if (reader.remaining() !== 0) throw new Error('Неожиданные данные после HEADER'); + return { kind: 'header', magic, login, license, initialBlockchainKey }; } if (subType === 1) { const line = parseLinePrefix(reader); @@ -230,7 +238,10 @@ function parseStatusBody(subType, body) { } function parseBody(type, subType, version, body, frame) { - if (version !== 1) return { kind: 'unsupported_version', rawBodyLength: body.length }; + // Only TECH HEADER subtype 0 has a second version; all other records stay v1. + if (version !== 1 && !(type === 0 && subType === 0 && version === 2)) { + return { kind: 'unsupported_version', rawBodyLength: body.length }; + } if (type === 0) return parseTechBody(subType, body, frame); if (type === 1) return parseTextBody(subType, body); if (type === 2) return parseReactionBody(subType, body); diff --git a/shine-UI/js/services/dm-file-service.js b/shine-UI/js/services/dm-file-service.js index 52df2ee9..1975e0c4 100644 --- a/shine-UI/js/services/dm-file-service.js +++ b/shine-UI/js/services/dm-file-service.js @@ -19,6 +19,7 @@ import { computeTorrentV2InfoHash, computeTorrentV2PieceRoot, } from './torrent-v2-service.js'; +import { resolveUserFileUrl, updatedUserFileUrlAfterError } from './user-file-server-service.js'; export const DM_FILE_CHUNK_BYTES = 8 * 1024 * 1024; const LEGACY_DM_FILE_CHUNK_BYTES = TORRENT_V2_PIECE_BYTES; @@ -29,7 +30,6 @@ const MANIFEST_VERSION = 2; const MANIFEST_SCHEME = 'SHINE-DM-CHUNKED-AES-256-GCM'; const R2_MANIFEST_VERSION = 3; const R2_MANIFEST_SCHEME = 'SHINE-DM-R2-AES-256-GCM'; -const DM_R2_PUBLIC_BASE = 'https://dm-files.shineup.me'; const DM_R2_OBJECT_MAX_BYTES = DM_FILE_CHUNK_BYTES + 16; const DM_R2_FILE_MAX_BYTES = 500 * 1024 * 1024; const ROOT_IV_TOKEN = 0xffffffffffffffffn; @@ -79,7 +79,7 @@ async function readErrorMessage(response) { function objectUrl(serverBase, id) { const base = String(serverBase || '').replace(/\/$/, ''); // Старые вложения читаем с access-сервера, новые — с отдельного домена R2. - const path = new URL(base).hostname === 'dm-files.shineup.me' ? '' : '/dm-files'; + const path = new URL(base).hostname.startsWith('dm-files.') ? '' : '/dm-files'; return `${base}${path}/${encodeURIComponent(String(id || ''))}`; } @@ -175,7 +175,13 @@ async function uploadEncryptedObject(bytes, context) { throw new Error(detail || `R2 DM prepare: HTTP ${prepare.status}`); } const answer = await prepare.json(); - const url = `${DM_R2_PUBLIC_BASE}/${fileId}`; + // Сервер prepare — владелец R2, ссылка нужна лишь для HEAD проверки 412. + const url = String(answer.fileUrl || '').trim(); + const fileUrl = new URL(url); + if (fileUrl.protocol !== 'https:' || fileUrl.username || fileUrl.password || fileUrl.search + || fileUrl.hash || !fileUrl.pathname.endsWith(`/${fileId}`)) { + throw new Error('Сервер вернул некорректный адрес R2'); + } if (!answer.exists) { if (!answer.uploadUrl || !answer.requiredHeaders) throw new Error('Сервер не вернул параметры загрузки R2'); let result; @@ -203,7 +209,7 @@ async function uploadEncryptedObject(bytes, context) { async function fetchVerifiedObject(url, expectedId) { let response; try { - response = await fetch(url, { method: 'GET' }); + response = await fetch(url, { method: 'GET', credentials: 'omit', referrerPolicy: 'no-referrer' }); } catch (error) { throw new Error(`Не удалось скачать зашифрованные данные: ${error?.message || 'network error'}`); } @@ -297,6 +303,7 @@ export async function encryptAndUploadDmFile({ chunkSize: DM_FILE_CHUNK_BYTES, chunkCount, kind: String(kind || 'file') === 'voice' ? 'voice' : 'file', durationMs: Math.max(0, Math.floor(Number(durationMs || 0))), + uploadedAtMs: Date.now(), }; } finally { manifestBytes.fill(0); @@ -310,10 +317,52 @@ export async function encryptAndUploadDmFile({ } } +/** Получение зашифрованного манифеста v3 без BitTorrent-метаданных. */ +export const DM_FILE_RETENTION_MS = 14 * 24 * 60 * 60 * 1000; + +export function isDmFileExpired(attachment, messageTimestampMs = 0) { + // v1/v2: legacy-хранилище не имеет 14-дневного R2 lifecycle. + if (Number(attachment?.version || 1) < 3) return false; + const timestamp = Number(attachment?.uploadedAtMs || attachment?.messageTimestampMs || messageTimestampMs || 0); + return Number.isFinite(timestamp) && timestamp > 0 && Date.now() - timestamp >= DM_FILE_RETENTION_MS; +} + +function assertDmFileNotExpired(attachment) { + if (isDmFileExpired(attachment)) throw new Error('DM_FILE_EXPIRED'); +} + +function v3ObjectUrl(base, id) { + return `${String(base || '').replace(/\/$/, '')}/${encodeURIComponent(String(id || ''))}`; +} + +async function v3RootUrl(attachment) { + // Для исторических v3 URL оставляем как источник; новый v3 содержит только hash/id. + if (attachment?.url) return String(attachment.url); + if (!attachment?.senderLogin) throw new Error('Неизвестен отправитель DM-файла'); + return resolveUserFileUrl({ login: attachment.senderLogin, id: attachment.id, kind: 'dm' }); +} + +async function fetchV3ObjectWithRefresh(url, id, attachment) { + try { + return { bytes: await fetchVerifiedObject(url, id), url }; + } catch (error) { + if (!attachment?.senderLogin || String(error?.message || '').includes('SHA-256')) throw error; + let updated; + try { + updated = await updatedUserFileUrlAfterError({ + login: attachment.senderLogin, id, kind: 'dm', previousUrl: url, + }); + } catch { throw error; } + if (!updated) throw error; + return { bytes: await fetchVerifiedObject(updated, id), url: updated }; + } +} + /** Получение зашифрованного манифеста v3 без BitTorrent-метаданных. */ async function loadV3RootManifest(attachment) { const id = String(attachment?.id || '').trim(); - const url = String(attachment?.url || '').trim(); + assertDmFileNotExpired(attachment); + const url = await v3RootUrl(attachment); const key = base64UrlToBytes(String(attachment?.keyB64Url || '')); const ivPrefix = base64UrlToBytes(String(attachment?.ivPrefixB64Url || '')); if (!id || !url || key.byteLength !== 32 || ivPrefix.byteLength !== 4) { @@ -325,7 +374,8 @@ async function loadV3RootManifest(attachment) { const iv = rootIv(ivPrefix); const aad = rootAad(ivPrefix); try { - encrypted = await fetchVerifiedObject(url, id); + const found = await fetchV3ObjectWithRefresh(url, id, attachment); + encrypted = found.bytes; plain = await decryptBytesAesGcm(encrypted, key, iv, aad); const manifest = decodeJson(plain); const size = Number(manifest?.fileSize); @@ -346,7 +396,7 @@ async function loadV3RootManifest(attachment) { throw new Error('Повреждены ссылки на части файла'); } } - return { manifest, key, ivPrefix, serverBase: objectBaseFromUrl(url) }; + return { manifest, key, ivPrefix, serverBase: objectBaseFromUrl(found.url) }; } catch (error) { key.fill(0); ivPrefix.fill(0); throw error; @@ -363,7 +413,9 @@ async function decryptV3ToSink(attachment, sink, { onProgress = null } = {}) { let processedBytes = 0; try { for (const item of context.manifest.chunks) { - const encrypted = await fetchVerifiedObject(objectUrl(context.serverBase, item.id), item.id); + const found = await fetchV3ObjectWithRefresh(v3ObjectUrl(context.serverBase, item.id), item.id, attachment); + const encrypted = found.bytes; + context.serverBase = objectBaseFromUrl(found.url); const iv = chunkIv(context.ivPrefix, item.i); const aad = chunkAad(context.ivPrefix, item.i); let plain = null; @@ -625,6 +677,7 @@ function saveBlob(blob, name) { } export async function decryptDmFileToBlob(attachment = {}, options = {}) { + assertDmFileNotExpired(attachment); if (Number(attachment?.version || 1) < 2) { const plain = await downloadV1(attachment); const blob = new Blob([plain], { type: String(attachment?.mime || 'application/octet-stream') }); @@ -639,6 +692,7 @@ export async function decryptDmFileToBlob(attachment = {}, options = {}) { } export async function downloadAndDecryptDmFile(attachment = {}, { onProgress = null } = {}) { + assertDmFileNotExpired(attachment); if (Number(attachment?.version || 1) < 2) { const plain = await downloadV1(attachment); const blob = new Blob([plain], { type: String(attachment?.mime || 'application/octet-stream') }); diff --git a/shine-UI/js/services/dm-tech-blocks.js b/shine-UI/js/services/dm-tech-blocks.js index ab6bee8e..c623896e 100644 --- a/shine-UI/js/services/dm-tech-blocks.js +++ b/shine-UI/js/services/dm-tech-blocks.js @@ -107,7 +107,7 @@ function normalizeFileAttachment(fields = {}) { const mime = decodeFileField(fields.mime || '').trim() || 'application/octet-stream'; const size = Number(fields.size || 0); const encryptedSize = Number(fields.encsize || 0); - if (!id || !url || !keyB64Url || !Number.isFinite(size) || size < 0) return null; + if (!id || (version < 3 && !url) || !keyB64Url || !Number.isFinite(size) || size < 0) return null; if (version >= 2) { const ivPrefixB64Url = String(fields.ivp || '').trim(); @@ -134,6 +134,7 @@ function normalizeFileAttachment(fields = {}) { } : {}), kind, durationMs, + uploadedAtMs: Number(fields.at || 0) || 0, }; } @@ -161,7 +162,7 @@ export function buildDmFileTechBlock(attachment = {}) { const keyB64Url = String(attachment?.keyB64Url || '').trim(); const size = Math.max(0, Math.floor(Number(attachment?.size || 0))); const encryptedSize = Math.max(0, Math.floor(Number(attachment?.encryptedSize || 0))); - if (!id || !url || !keyB64Url) throw new Error('Не хватает данных для технического блока файла'); + if (!id || (version < 3 && !url) || !keyB64Url) throw new Error('Не хватает данных для технического блока файла'); const name = encodeURIComponent(String(attachment?.name || 'file')); const mime = encodeURIComponent(String(attachment?.mime || 'application/octet-stream')); const encodedUrl = encodeURIComponent(url); @@ -176,7 +177,11 @@ export function buildDmFileTechBlock(attachment = {}) { const kind = String(attachment?.kind || 'file') === 'voice' ? 'voice' : 'file'; const durationMs = Math.max(0, Math.floor(Number(attachment?.durationMs || 0))); const torrentFields = version === 2 ? `;th=${torrentHash};pr=${piecesRoot}` : ''; - return ``; + // Новые DM v3: в E2EE передаём идентификаторы и ключи, а домен — через senderLogin. + // URL ранее созданных v3 и legacy v2/v1 продолжаем читать без изменения. + const urlField = version >= 3 ? '' : `;url=${encodedUrl}`; + const uploadTime = version >= 3 ? `;at=${Math.max(0, Math.floor(Number(attachment?.uploadedAtMs || 0)))}` : ''; + return ``; } const ivB64Url = String(attachment?.ivB64Url || '').trim(); diff --git a/shine-UI/js/services/public-file-service.js b/shine-UI/js/services/public-file-service.js index 8d850a4e..367c0596 100644 --- a/shine-UI/js/services/public-file-service.js +++ b/shine-UI/js/services/public-file-service.js @@ -9,6 +9,7 @@ import { resolveShineServerForUserLogin, } from './shine-server-resolver.js'; import { state } from '../state.js'; +import { resolveUserFileUrl } from './user-file-server-service.js'; const ACCESS_SERVER_CACHE_TTL_MS = 60_000; const accessServerCache = new Map(); @@ -96,7 +97,10 @@ export async function resolvePublicFileUrl({ solanaEndpoint, fallbackServerLogin = '', } = {}) { - if (pr) return publicR2Url(pr); + if (pr) { + if (!validatePublicPiecesRoot(pr)) throw new Error('Некорректный Pieces Root'); + return resolveUserFileUrl({ login: authorLogin, id: pr, kind: 'public' }); + } // Сначала – сервер, к которому подключены сейчас (у большинства читателей он же сервер автора), // затем сервер сборки по умолчанию; только потом ищем сервер автора через его PDA. const nearbyBases = [...new Set([state.entrySettings?.shineServerHttp, DEFAULT_SHINE_SERVER_HTTP] diff --git a/shine-UI/js/services/user-file-server-service.js b/shine-UI/js/services/user-file-server-service.js new file mode 100644 index 00000000..8beb97c3 --- /dev/null +++ b/shine-UI/js/services/user-file-server-service.js @@ -0,0 +1,97 @@ +import { state } from '../state.js'; +import { DEFAULT_SHINE_SERVER_HTTP } from './shine-server-resolver.js'; + +// Кэш только в оперативной памяти PWA, без TTL и IndexedDB. +// Повторный API-запрос — лишь при ошибке файла, не чаще 1 раза в час для пользователя. +export const SERVER_LOOKUP_COOLDOWN_MS = 60 * 60 * 1000; +const cached = new Map(); +const pending = new Map(); + +function apiBase() { + const raw = String(state.entrySettings?.shineServerHttp || DEFAULT_SHINE_SERVER_HTTP).trim(); + const url = new URL(raw); + if (!['http:', 'https:'].includes(url.protocol)) throw new Error('Invalid access-server protocol'); + return url.origin; +} + +function normalizeLogin(login) { + const value = String(login || '').trim().toLowerCase(); + if (!value || !/^[a-z0-9_.-]+@[a-z0-9_.-]+$/.test(value)) throw new Error('Invalid attachment author login'); + return value; +} + +function normalizeServerResponse(value) { + const serverLogin = String(value?.serverLogin || '').trim().toLowerCase(); + const raw = String(value?.serverUrl || '').trim(); + if (!serverLogin || !raw) throw new Error('Access-server lookup returned no route'); + const url = new URL(/^[a-z]+:\/\//i.test(raw) ? raw : `https://${raw}`); + // Основное правило федерации — именно DNS access-сервера, без его порта и пути. + // Не допускаем произвольных URL/путей и внедрения имени узла в файловый домен. + if (!['http:', 'https:', 'ws:', 'wss:'].includes(url.protocol) || url.username || url.password + || !/^[a-z0-9-]+(?:\.[a-z0-9-]+)+$/i.test(url.hostname)) { + throw new Error('Invalid access-server domain for file storage'); + } + return { serverLogin, serverUrl: `https://${url.hostname}`, hostname: url.hostname }; +} + +async function lookup(login, base) { + const response = await fetch(`${base}/api/files/user-server?login=${encodeURIComponent(login)}`, { + method: 'GET', cache: 'no-store', credentials: 'omit', referrerPolicy: 'no-referrer', + }); + if (!response.ok) throw new Error(`Access-server lookup HTTP ${response.status}`); + return normalizeServerResponse(await response.json()); +} + +/** Читает из RAM; одновременные запросы одного пользователя объединяются. */ +export async function getUserFileServer(login) { + const clean = normalizeLogin(login); + const base = apiBase(); + const key = `${base}|${clean}`; + if (cached.has(key)) return cached.get(key).value; + if (pending.has(key)) return pending.get(key); + const promise = lookup(clean, base).then((value) => { + cached.set(key, { value, lastLookupMs: Date.now() }); + return value; + }).finally(() => pending.delete(key)); + pending.set(key, promise); + return promise; +} + +/** Ошибка файла: один запрос на пользователя в час, даже если одновременно упали сотни файлов. */ +export async function refreshUserFileServerOnError(login) { + const clean = normalizeLogin(login); + const base = apiBase(); + const key = `${base}|${clean}`; + if (pending.has(key)) return pending.get(key); + const entry = cached.get(key); + if (!entry) return getUserFileServer(clean); + if (Date.now() - entry.lastLookupMs < SERVER_LOOKUP_COOLDOWN_MS) return entry.value; + // Отмечаем попытку ДО fetch: неудачные запросы тоже ограничены часом. + entry.lastLookupMs = Date.now(); + const promise = lookup(clean, base).then((value) => { + cached.set(key, { value, lastLookupMs: Date.now() }); + return value; + }).finally(() => pending.delete(key)); + pending.set(key, promise); + return promise; +} + +/** Для тестов / выхода из аккаунта. В постоянное хранилище не записывает. */ +export function clearUserFileServerCache() { cached.clear(); pending.clear(); } + +export function userFileObjectUrl(server, id, kind = 'public') { + if (kind !== 'public' && kind !== 'dm') throw new Error('Invalid file storage kind'); + const host = String(server?.hostname || ''); + if (!/^[a-z0-9-]+(?:\.[a-z0-9-]+)+$/i.test(host)) throw new Error('Missing file server domain'); + return `https://${kind === 'dm' ? 'dm-files' : 'files'}.${host}/${encodeURIComponent(String(id || ''))}`; +} + +export async function resolveUserFileUrl({ login, id, kind = 'public' }) { + return userFileObjectUrl(await getUserFileServer(login), id, kind); +} + +/** Возвращает обновлённый URL только если адрес действительно изменился. */ +export async function updatedUserFileUrlAfterError({ login, id, kind = 'public', previousUrl }) { + const next = userFileObjectUrl(await refreshUserFileServerOnError(login), id, kind); + return next === previousUrl ? null : next; +} diff --git a/shine-UI/tests/avatar-r2.test.mjs b/shine-UI/tests/avatar-r2.test.mjs index e19874c4..bdb66974 100644 --- a/shine-UI/tests/avatar-r2.test.mjs +++ b/shine-UI/tests/avatar-r2.test.mjs @@ -42,7 +42,7 @@ test('avatar R2 upload reuses signed public PR prepare; no avatar-specific endpo assert.match(service, /\/api\/files\/prepare/); assert.doesNotMatch(service, /\/api\/avatars\/prepare/); assert.doesNotMatch(service, /avatars\/\$\{/); - assert.match(source('js/components/avatar-image.js'), /img\.src = avatarR2Url\(expectedPr\)/); - assert.match(source('js/pages/network/graph-canvas.js'), /avatarR2Url\(pr\)/); - assert.match(source('js/pages/network-legacy/force-graph.js'), /avatarR2Url\(pr\)/); + assert.match(source('js/components/avatar-image.js'), /resolvePublicFileUrl\(\{ pr: expectedPr, authorLogin \}\)/); + assert.match(source('js/pages/network/graph-canvas.js'), /resolvePublicFileUrl\(\{ pr, authorLogin \}\)/); + assert.match(source('js/pages/network-legacy/force-graph.js'), /resolvePublicFileUrl\(\{ pr, authorLogin \}\)/); }); diff --git a/shine-UI/tests/federated-file-storage.test.mjs b/shine-UI/tests/federated-file-storage.test.mjs new file mode 100644 index 00000000..4f1ec51b --- /dev/null +++ b/shine-UI/tests/federated-file-storage.test.mjs @@ -0,0 +1,95 @@ +import test from 'node:test'; +import assert from 'node:assert/strict'; +import { state } from '../js/state.js'; +import { + clearUserFileServerCache, getUserFileServer, resolveUserFileUrl, + refreshUserFileServerOnError, updatedUserFileUrlAfterError, userFileObjectUrl, + SERVER_LOOKUP_COOLDOWN_MS, +} from '../js/services/user-file-server-service.js'; +import { buildDmFileTechBlock, parseDmTechBlocks } from '../js/services/dm-tech-blocks.js'; +import { DM_FILE_RETENTION_MS, isDmFileExpired } from '../js/services/dm-file-service.js'; +import { encodePublicPiecesRoot } from '../js/services/public-pieces-root.js'; + +const login = 'anna@shine'; +const id = encodePublicPiecesRoot(new Uint8Array(32).fill(7)); + +// Чистим RAM-кэш между сценариями: без IndexedDB, localStorage и таймеров. +test('федерация: единый API, один параллельный запрос, правильные файловые домены', async () => { + clearUserFileServerCache(); + state.entrySettings.shineServerHttp = 'https://reader.example.com'; + const originalFetch = globalThis.fetch; + const requests = []; + globalThis.fetch = async (url) => { + requests.push(url); + return { ok: true, json: async () => ({ serverLogin: 'node-b@shine', serverUrl: 'https://node-b.example.net/ws' }) }; + }; + try { + const results = await Promise.all(Array.from({ length: 12 }, () => getUserFileServer(login))); + assert.equal(requests.length, 1); + assert.equal(requests[0], 'https://reader.example.com/api/files/user-server?login=anna%40shine'); + assert.equal(results[0].hostname, 'node-b.example.net'); + assert.equal(await resolveUserFileUrl({ login, id }), `https://files.node-b.example.net/${id}`); + assert.equal(await resolveUserFileUrl({ login, id, kind: 'dm' }), `https://dm-files.node-b.example.net/${id}`); + assert.equal(requests.length, 1); + } finally { globalThis.fetch = originalFetch; clearUserFileServerCache(); } +}); + +test('федерация: Solana server_address может быть WSS с портом и путём', async () => { + clearUserFileServerCache(); + state.entrySettings.shineServerHttp = 'https://reader.example.com'; + const savedFetch = globalThis.fetch; + globalThis.fetch = async () => ({ ok: true, json: async () => ({ + serverLogin: 'node@shine', serverUrl: 'wss://node.example.com:8443/ws', + }) }); + try { + assert.equal(await resolveUserFileUrl({ login, id, kind: 'public' }), `https://files.node.example.com/${id}`); + assert.equal(await resolveUserFileUrl({ login, id, kind: 'dm' }), `https://dm-files.node.example.com/${id}`); + } finally { globalThis.fetch = savedFetch; clearUserFileServerCache(); } +}); + +test('федерация: проверка при ошибке не чаще одного раза в час и только при смене адреса', async () => { + clearUserFileServerCache(); + const originalFetch = globalThis.fetch; + const originalNow = Date.now; + let now = 100_000_000; + let calls = 0; + let address = 'server-a.example.com'; + Date.now = () => now; + globalThis.fetch = async () => { calls++; return { ok: true, json: async () => ({ serverLogin: 's@shine', serverUrl: address }) }; }; + try { + const first = userFileObjectUrl(await getUserFileServer(login), id); + assert.equal(calls, 1); + assert.equal(await updatedUserFileUrlAfterError({ login, id, previousUrl: first }), null); + assert.equal(calls, 1); + now += SERVER_LOOKUP_COOLDOWN_MS + 1; + address = 'server-b.example.com'; + const responses = await Promise.all(Array.from({ length: 12 }, () => refreshUserFileServerOnError(login))); + assert.equal(calls, 2); + assert.equal(responses[0].hostname, 'server-b.example.com'); + assert.equal(await updatedUserFileUrlAfterError({ login, id, previousUrl: first }), `https://files.server-b.example.com/${id}`); + assert.equal(calls, 2); + } finally { Date.now = originalNow; globalThis.fetch = originalFetch; clearUserFileServerCache(); } +}); + +test('DM v3: новые сообщения не содержат адреса, прежний v3 с URL продолжает читаться', () => { + const base = { version: 3, id, url: `https://dm-files.shineup.me/${id}`, + keyB64Url: 'AQID', ivPrefixB64Url: 'AQID', + name: 'photo.png', mime: 'image/png', size: 123, encryptedSize: 139, + chunkSize: 8388608, chunkCount: 1, kind: 'file', uploadedAtMs: 1005000 }; + const text = buildDmFileTechBlock(base); + assert.doesNotMatch(text, /;url=/); + const parsed = parseDmTechBlocks(text).fileAttachment; + assert.equal(parsed.id, id); + assert.equal(parsed.uploadedAtMs, base.uploadedAtMs); + assert.equal(parsed.url, ''); + const oldText = text.replace(`;id=${id}`, `;id=${id};url=${encodeURIComponent(base.url)}`); + assert.equal(parseDmTechBlocks(oldText).fileAttachment.url, base.url); +}); + +test('R2 DM v3: после 14 дней не пробуем скачивание; старые legacy v2 без R2 TTL', () => { + const now = Date.now(); + assert.equal(isDmFileExpired({ version: 3, uploadedAtMs: now - DM_FILE_RETENTION_MS - 1 }), true); + assert.equal(isDmFileExpired({ version: 3, uploadedAtMs: now - DM_FILE_RETENTION_MS + 60_000 }), false); + assert.equal(isDmFileExpired({ version: 3, messageTimestampMs: now - DM_FILE_RETENTION_MS - 1 }), true); + assert.equal(isDmFileExpired({ version: 2, messageTimestampMs: now - 2 * DM_FILE_RETENTION_MS }), false); +}); diff --git a/shine-UI/tests/header-v2-cc0-order.test.mjs b/shine-UI/tests/header-v2-cc0-order.test.mjs new file mode 100644 index 00000000..7abadc2f --- /dev/null +++ b/shine-UI/tests/header-v2-cc0-order.test.mjs @@ -0,0 +1,71 @@ +import test from 'node:test'; +import assert from 'node:assert/strict'; +import fs from 'node:fs'; +import vm from 'node:vm'; + +const read = path => fs.readFileSync(new URL(path, import.meta.url), 'utf8'); +const auth = read('../js/services/auth-service.js'); +const inspector = read('../js/services/blockchain-entry-inspector.js'); +const source = auth.split('function makeHeaderBodyBytes(')[1]?.split('\nfunction makeUserParamBodyBytes(')[0]; +assert.ok(source, 'production makeHeaderBodyBytes must exist'); +const utf8 = value => new TextEncoder().encode(value); +const encode = vm.runInNewContext(`function makeHeaderBodyBytes(${source}\nmakeHeaderBodyBytes`, { + utf8Bytes: utf8, + int8Byte: value => Uint8Array.of(value), + concatBytes: (...parts) => Uint8Array.from(parts.flatMap(part => Array.from(part))), + Uint8Array, + HEADER_LICENSE_FIELD_CC0: 'license:CC0-1.0', +}); + +test('client writes HEADER v2 as SHiNE → login → literal license → key', () => { + const key = Uint8Array.from({ length: 32 }, (_, i) => i + 1); + const login = 'Alice@shine'; + const body = encode({ login, initialBlockchainKey32: key }); + const loginBytes = utf8(login); + const expected = Uint8Array.from([ + ...utf8('SHiNE'), loginBytes.length, ...loginBytes, + ...utf8('license:CC0-1.0'), ...key, + ]); + assert.deepEqual(Array.from(body), Array.from(expected)); + assert.match(auth, /msgSubType: MSG_SUBTYPE_TECH_HEADER,\s*msgVersion: HEADER_VERSION_CC0/); + assert.match(auth, /export const HEADER_VERSION_CC0 = 2/); +}); + +test('inspector decodes both v1 and v2 and rejects invalid v2 license/order', () => { + const stripped = inspector.replace(/^import .+;\s*$/gm, '').replace(/^export /gm, ''); + const inspect = vm.runInNewContext(`${stripped}\nparseShineFrame`, { + TextDecoder, DataView, Uint8Array, BigInt, + bytesToBase64Url: bytes => Buffer.from(bytes).toString('base64url'), + Buffer, + }); + const key = Uint8Array.from({ length: 32 }, (_, i) => i + 1); + const login = utf8('Alice@shine'); + const prefix = Uint8Array.from([...utf8('SHiNE'), login.length, ...login]); + const bodyV1 = Uint8Array.from([...prefix, ...key]); + const bodyV2 = Uint8Array.from([...prefix, ...utf8('license:CC0-1.0'), ...key]); + const frameFor = (version, body) => { + const frame = new Uint8Array(88 + body.length); + const view = new DataView(frame.buffer); + view.setUint16(0, 1, false); // frameCode + view.setInt32(66, frame.length, false); + view.setInt32(70, 0, false); // blockNumber + view.setBigInt64(74, 0n, false); + view.setUint16(82, 0, false); // type TECH + view.setUint16(84, 0, false); // subtype HEADER + view.setUint16(86, version, false); + frame.set(body, 88); + return frame; + }; + const old = inspect(frameFor(1, bodyV1)); + assert.equal(old.body.kind, 'header'); + assert.equal(old.body.license, null); + const current = inspect(frameFor(2, bodyV2)); + assert.equal(current.body.kind, 'header'); + assert.equal(current.body.license, 'CC0-1.0'); + assert.equal(current.body.initialBlockchainKey, Buffer.from(key).toString('base64url')); + assert.throws(() => inspect(frameFor(2, Uint8Array.from([...prefix, ...key, ...utf8('license:CC0-1.0')])))); + const invalid = bodyV2.slice(); + invalid[prefix.length + 8] = 'X'.charCodeAt(0); + assert.throws(() => inspect(frameFor(2, invalid))); + assert.throws(() => inspect(frameFor(2, new Uint8Array(0)))); +}); diff --git a/shine-UI/tests/registration-cc0-header.test.mjs b/shine-UI/tests/registration-cc0-header.test.mjs new file mode 100644 index 00000000..ac717cf4 --- /dev/null +++ b/shine-UI/tests/registration-cc0-header.test.mjs @@ -0,0 +1,51 @@ +import test from 'node:test'; +import assert from 'node:assert/strict'; +import fs from 'node:fs'; +import vm from 'node:vm'; + +const read = file => fs.readFileSync(new URL(file, import.meta.url), 'utf8'); +const auth = read('../js/services/auth-service.js'); +const register = read('../js/pages/register-view.js'); +const termsPath = new URL('../js/pages/registration-terms-view.js', import.meta.url); +const hasRegistrationTerms = fs.existsSync(termsPath); +const terms = hasRegistrationTerms ? read('../js/pages/registration-terms-view.js') : ''; +const router = read('../js/router.js'); +const email = read('../js/pages/registration-email-view.js'); +const paid = read('../js/pages/registration-payment-view.js'); + +// Исполняем именно production-сериализатор, а не дублируем алгоритм тестовым кодом. +const makeBytesFunction = auth.split('function makeHeaderBodyBytes(')[1]?.split('\nfunction makeUserParamBodyBytes(')[0]; +assert.ok(makeBytesFunction); +const context = { + utf8Bytes: value => new TextEncoder().encode(value), + int8Byte: value => Uint8Array.of(value), + concatBytes: (...parts) => Uint8Array.from(parts.flatMap(part => Array.from(part))), + Uint8Array, + HEADER_LICENSE_FIELD_CC0: 'license:CC0-1.0', +}; +const makeHeaderBodyBytes = vm.runInNewContext(`function makeHeaderBodyBytes(${makeBytesFunction}\nmakeHeaderBodyBytes`, context); + +test('HEADER v2 places literal license:CC0-1.0 before the initial key', () => { + const key = Uint8Array.from({ length: 32 }, (_, n) => n + 1); + const result = makeHeaderBodyBytes({ login: 'Alice@shine', initialBlockchainKey32: key }); + const login = new TextEncoder().encode('Alice@shine'); + assert.equal(new TextDecoder().decode(result.slice(0,5)), 'SHiNE'); + assert.equal(result[5], login.length); + assert.deepEqual(Array.from(result.slice(6, 6+login.length)), Array.from(login)); + assert.equal(new TextDecoder().decode(result.slice(6+login.length, 6+login.length+15)), 'license:CC0-1.0'); + assert.deepEqual(Array.from(result.slice(6+login.length+15)), Array.from(key)); + assert.equal(result.length, 5 + 1 + login.length + 15 + 32); + assert.match(auth, /msgSubType: MSG_SUBTYPE_TECH_HEADER,\s*msgVersion: HEADER_VERSION_CC0/); + assert.match(auth, /export const HEADER_VERSION_CC0 = 2/); +}); + +test('free and paid registration both require accepted documents before any registration operation', { skip: !hasRegistrationTerms }, () => { + assert.match(register, /navigate\('registration-terms-view'\)/); + assert.match(terms, /draft\.termsAccepted = true/); + assert.match(terms, /draft\.flowType === 'free' \? 'registration-email-view' : 'registration-payment-view'/); + assert.match(email, /if \(!state\.registrationDraft\.termsAccepted\)/); + assert.match(paid, /if \(!state\.registrationDraft\.termsAccepted\)/); + assert.match(router, /\['registration-terms-view', 'register\/terms'\]/); + assert.match(terms, /CC0_LEGAL_CODE_URL/); + assert.match(terms, /DOCUMENT_COUNT = 4/); +});