From ac6a2e5b3f2f2a1d8dbf796fb7d7b35ae5c111cf975022fc906d0a7c16eb317a Mon Sep 17 00:00:00 2001 From: AidarKC Date: Sun, 15 Nov 2026 15:34:10 +0300 Subject: [PATCH] =?UTF-8?q?=D0=98=D1=81=D0=BF=D1=80=D0=B0=D0=B2=D0=B8?= =?UTF-8?q?=D1=82=D1=8C=20=D0=B2=D0=BE=D1=81=D1=81=D1=82=D0=B0=D0=BD=D0=BE?= =?UTF-8?q?=D0=B2=D0=BB=D0=B5=D0=BD=D0=B8=D0=B5=20=D1=81=D0=B5=D1=81=D1=81?= =?UTF-8?q?=D0=B8=D0=B8=20=D0=BF=D0=BE=D1=81=D0=BB=D0=B5=20=D0=BF=D0=B5?= =?UTF-8?q?=D1=80=D0=B5=D0=BF=D0=BE=D0=B4=D0=BA=D0=BB=D1=8E=D1=87=D0=B5?= =?UTF-8?q?=D0=BD=D0=B8=D1=8F?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../main/resources/postgres/migration_v41.sql | 7 +++ .../handlers/avatars/PiecesRootValidator.java | 24 ++++++++++ VERSION.properties | 2 +- .../42_Public_Content_Identifiers.md | 10 ++++ scripts/cleanup_old_avatar_r2.sh | 9 ++++ shine-UI/js/services/auth-service.js | 11 ++--- shine-UI/tests/avatar-r2.test.mjs | 48 +++++++++++++++++++ 7 files changed, 102 insertions(+), 9 deletions(-) create mode 100644 SHiNE-server/shine-server-db/src/main/resources/postgres/migration_v41.sql create mode 100644 SHiNE-server/shine-server-net-protocol/src/main/java/server/logic/ws_protocol/JSON/handlers/avatars/PiecesRootValidator.java create mode 100644 docs/Blockchain/42_Public_Content_Identifiers.md create mode 100755 scripts/cleanup_old_avatar_r2.sh create mode 100644 shine-UI/tests/avatar-r2.test.mjs diff --git a/SHiNE-server/shine-server-db/src/main/resources/postgres/migration_v41.sql b/SHiNE-server/shine-server-db/src/main/resources/postgres/migration_v41.sql new file mode 100644 index 00000000..77113306 --- /dev/null +++ b/SHiNE-server/shine-server-db/src/main/resources/postgres/migration_v41.sql @@ -0,0 +1,7 @@ +-- SHiNE v41: public channel avatars now use BitTorrent v2 PR (Base58), no SHA256 legacy. +BEGIN; +ALTER TABLE channel_names_state RENAME COLUMN ava_sha256 TO ava_pr; +-- Old sha256 hex values cannot be used as Pieces Root; no automatic conversion exists. +UPDATE channel_names_state SET ava_pr = '', ava_ar = '', ava_size = 0 WHERE ava_pr <> ''; +UPDATE db_schema_version SET schema_version = 41 WHERE id = 1; +COMMIT; diff --git a/SHiNE-server/shine-server-net-protocol/src/main/java/server/logic/ws_protocol/JSON/handlers/avatars/PiecesRootValidator.java b/SHiNE-server/shine-server-net-protocol/src/main/java/server/logic/ws_protocol/JSON/handlers/avatars/PiecesRootValidator.java new file mode 100644 index 00000000..573c2766 --- /dev/null +++ b/SHiNE-server/shine-server-net-protocol/src/main/java/server/logic/ws_protocol/JSON/handlers/avatars/PiecesRootValidator.java @@ -0,0 +1,24 @@ +package server.logic.ws_protocol.JSON.handlers.avatars; + +import java.math.BigInteger; +import java.util.regex.Pattern; + +/** Canonical 32-byte BitTorrent v2 pieces root encoded as Bitcoin Base58. */ +public final class PiecesRootValidator { + private static final String ALPHABET = "123456789ABCDEFGHJKLMNPQRSTUVWXYZabcdefghijkmnopqrstuvwxyz"; + private static final Pattern B58 = Pattern.compile("^[1-9A-HJ-NP-Za-km-z]{32,44}$"); + private PiecesRootValidator() {} + public static boolean valid(String root) { + if (root == null || !B58.matcher(root).matches()) return false; + int leadingZeros = 0; + while (leadingZeros < root.length() && root.charAt(leadingZeros) == '1') leadingZeros++; + BigInteger value = BigInteger.ZERO; + for (int i = leadingZeros; i < root.length(); i++) { + int digit = ALPHABET.indexOf(root.charAt(i)); + if (digit < 0) return false; + value = value.multiply(BigInteger.valueOf(58)).add(BigInteger.valueOf(digit)); + } + int dataBytes = value.signum() == 0 ? 0 : (value.bitLength() + 7) / 8; + return leadingZeros + dataBytes == 32; + } +} diff --git a/VERSION.properties b/VERSION.properties index 30c303f4..201793f9 100644 --- a/VERSION.properties +++ b/VERSION.properties @@ -1,2 +1,2 @@ -client.version=1.20.43 +client.version=1.20.44 server.version=1.16.24 diff --git a/docs/Blockchain/42_Public_Content_Identifiers.md b/docs/Blockchain/42_Public_Content_Identifiers.md new file mode 100644 index 00000000..71752e71 --- /dev/null +++ b/docs/Blockchain/42_Public_Content_Identifiers.md @@ -0,0 +1,10 @@ +# Публичные идентификаторы содержимого SHiNE (15.11.2026) + +- **Публичные вложения и новые аватарки:** 32-байтный BitTorrent v2 Pieces Root, текстовая форма — канонический Bitcoin Base58. Это не обычный SHA-256 файла для файлов больше 16 КиБ. Блоки/корень считаются по правилам BitTorrent v2. Base58 чувствителен к регистру: запрещено `.toLowerCase()`. +- **Хранилище:** все публичные объекты, включая аватарки, в корне одной R2 корзины `shine-files`: ключ ``, URL `https://files.shineup.me/`. Папок `avatars/` нет. Прямая загрузка браузером через `POST /api/files/prepare` + presigned PUT. Подготовка аватара: WebP/JPEG, максимум 768 px, затем вычисление PR от фактически загружаемых байтов. +- **User profile avatar:** `>`; **channel avatar:** тот же тег в метаданных. В случае Arweave добавляется `;ar=`. Arweave TX ID не перекодируется (остается Base64URL). +- **Старый аватар SHA-256/hex (`v=1`) не поддерживается** и не переносится. Старые аватары перестанут отображаться без повторной загрузки/перепубликации профиля. Старые каналы не удаляются: старый тег аватара при перестроении индекса пропускается. +- **DM:** зашифрованные объекты — SHA-256/Base58 в своей корзине. Никаких изменений в этом патче. +- **На будущее для SHA-256-ID:** если вновь вводится публичный объект, идентифицируемый обычным SHA-256, его текстовая форма — `Base58(SHA-256(bytes))`, без hex; тип хеша обозначается отдельно (`sha256` против `btv2-pr`). SHA-256 и Merkle PR нельзя путать даже при одинаковой длине. +- **База данных:** колонка `channel_names_state.ava_sha256` переименовывается в `ava_pr` в миграции v41, прежние значения очищаются; необходим бэкап БД перед выкладкой. Старые поля API `avaSha256` / `avatarSha256` заменены на `avaPr` / `avatarPr`. +- **Безопасность:** одно имя `` не означает, что Cloudflare самостоятельно проверил Merkle-корень: при работе с недоверенным загрузчиком требуется независимо проверять соответствие содержимого PR. В существующей системе presigned PUT проверяет авторизацию, но не доказывает PR содержимого. diff --git a/scripts/cleanup_old_avatar_r2.sh b/scripts/cleanup_old_avatar_r2.sh new file mode 100755 index 00000000..d42d3c19 --- /dev/null +++ b/scripts/cleanup_old_avatar_r2.sh @@ -0,0 +1,9 @@ +#!/usr/bin/env bash +set -euo pipefail +# Run only from repository root after extracting Avatar PR patch ZIP. +[[ -f 'SHiNE-server/src/main/java/server/files/PublicFileApiConfigurator.java' ]] || { echo 'Run from SHiNE repository root' >&2; exit 1; } +rm -f 'SHiNE-server/src/main/java/server/files/R2AvatarPrepareServlet.java' +rm -f 'SHiNE-server/src/test/java/server/files/R2AvatarPrepareServletTest.java' +rm -f 'scripts/migrate_avatars_to_r2.py' +rm -f 'AVATAR_R2_PATCH_README.md' +echo 'Obsolete SHA256/hex avatar R2 files removed. /api/avatars/prepare is no longer registered.' diff --git a/shine-UI/js/services/auth-service.js b/shine-UI/js/services/auth-service.js index aac20b62..f073fb5b 100644 --- a/shine-UI/js/services/auth-service.js +++ b/shine-UI/js/services/auth-service.js @@ -1,3 +1,4 @@ +import { buildAvatarReference } from './avatar-reference.js'; import { WsJsonClient } from './ws-client.js'; import { invalidateConnectionsGraphCache } from './connections-graph-cache.js'; import { @@ -727,14 +728,8 @@ function composeChannelMetaText({ title = '', description = '', avatar = null } const cleanDescription = normalizeChannelMetaDescription(description); const rows = []; if (cleanTitle) rows.push(``); - if (avatar?.sha256 || avatar?.sha256Hex) { - const size = Number(avatar.size || 0); - const sha256 = String(avatar.sha256 || avatar.sha256Hex || '').trim().toLowerCase(); - const ar = String(avatar.ar || '').trim(); - if (!Number.isInteger(size) || size <= 0) throw new Error('Некорректный размер аватара.'); - if (!/^[0-9a-f]{64}$/u.test(sha256)) throw new Error('Некорректный SHA-256 аватара.'); - if (ar && !/^[A-Za-z0-9_-]{43}$/u.test(ar)) throw new Error('Некорректный Arweave txId аватара.'); - rows.push(``); + if (avatar?.pr) { + rows.push(buildAvatarReference({ size: avatar.size, pr: avatar.pr, ar: avatar.ar })); } if (cleanDescription) rows.push(cleanDescription); return rows.join('\n'); diff --git a/shine-UI/tests/avatar-r2.test.mjs b/shine-UI/tests/avatar-r2.test.mjs new file mode 100644 index 00000000..e19874c4 --- /dev/null +++ b/shine-UI/tests/avatar-r2.test.mjs @@ -0,0 +1,48 @@ +import test from 'node:test'; +import assert from 'node:assert/strict'; +import { readFileSync } from 'node:fs'; +import { fileURLToPath } from 'node:url'; +import { dirname, resolve } from 'node:path'; +import { avatarR2Url } from '../js/services/public-file-service.js'; +import { buildAvatarReference, parseAvatarReference } from '../js/services/avatar-reference.js'; +import { encodePublicPiecesRoot } from '../js/services/public-pieces-root.js'; +import { preparePublicFile } from '../js/services/file-preparation-service.js'; + +const ui = resolve(dirname(fileURLToPath(import.meta.url)), '..'); +const source = (path) => readFileSync(resolve(ui, path), 'utf8'); +const pr = encodePublicPiecesRoot(new Uint8Array(32).fill(255)); + +test('avatar v2: PR Base58 exactly as public attachment; Arweave TX ID unchanged', () => { + assert.equal(avatarR2Url(pr), `https://files.shineup.me/${pr}`); + const value = buildAvatarReference({ pr, size: 1000 }); + assert.equal(value, ``); + assert.equal(parseAvatarReference(value).pr, pr); + assert.equal(parseAvatarReference(value).source, 'r2'); + const ar = 'A'.repeat(43); + const withAr = buildAvatarReference({ pr, size: 1000, ar }); + assert.equal(parseAvatarReference(withAr).ar, ar); + assert.equal(parseAvatarReference(withAr).source, 'arweave'); + for (const legacy of [``, 'AR:' + ar]) { + assert.equal(parseAvatarReference(legacy).ok, false); + } + assert.throws(() => buildAvatarReference({ pr: pr.toLowerCase(), size: 1000 })); + assert.throws(() => avatarR2Url('not-a-root')); +}); + +test('Avatar PR computed on the same exact bytes as public attachments', async () => { + const file = new File([Uint8Array.of(1, 2, 3, 4, 5)], 'avatar.webp', { type: 'image/webp' }); + const prepared = await preparePublicFile(file); + assert.equal(prepared.pr, (await preparePublicFile(file)).pr); + assert.equal(avatarR2Url(prepared.pr), `https://files.shineup.me/${prepared.pr}`); +}); + +test('avatar R2 upload reuses signed public PR prepare; no avatar-specific endpoint/path', () => { + const service = source('js/services/public-file-service.js'); + assert.match(service, /return uploadR2PublicFile\(\{ file, login, sessionId, wsUrl, onStatus \}\)/); + assert.match(service, /\/api\/files\/prepare/); + assert.doesNotMatch(service, /\/api\/avatars\/prepare/); + assert.doesNotMatch(service, /avatars\/\$\{/); + assert.match(source('js/components/avatar-image.js'), /img\.src = avatarR2Url\(expectedPr\)/); + assert.match(source('js/pages/network/graph-canvas.js'), /avatarR2Url\(pr\)/); + assert.match(source('js/pages/network-legacy/force-graph.js'), /avatarR2Url\(pr\)/); +});