Compare commits

...
Author SHA256 Message Date
AidarKC 9e7526fd81 Исправить импорт FREE_CERT и стартовый вид графа 2026-11-21 19:01:32 +03:00
AidarKC d3a84dd451 Слить доработки регистрации и UI 2026-11-21 17:14:49 +03:00
AidarKC 653015b2e7 Улучшить ввод пароля при входе и регистрации 2026-11-21 17:14:46 +03:00
AidarKC 8ac8f04128 Сохранить окружение t2 при deploy 2026-11-21 01:10:13 +03:00
AidarKC 80c70ebcdc Ограничить бесплатную регистрацию namespace сервера 2026-11-21 01:09:37 +03:00
AidarKC 792f368175 Проверить вложения и блоки в каналах 2026-11-21 00:24:25 +03:00
AidarKC 859dbee1f1 Добавить Canvas v4 для исследования связей 2026-11-19 21:13:24 +03:00
AidarKC 8f3b81c368 Исправить регистр ключей и ответные связи 2026-11-19 18:45:57 +03:00
AidarKC 0274183730 Исправить отображение веток комментариев 2026-11-19 16:11:23 +03:00
AidarKC c9f54224bb Обновить тестовый деплой и текст регистрации 2026-11-18 16:23:28 +03:00
AidarKC 02c705d41e Улучшить ссылки и прокрутку личных чатов 2026-11-18 15:50:14 +03:00
AidarKC 76bbc9d023 Обновить shine-users и синхронизацию пользователей 2026-11-18 15:28:07 +03:00
AidarKC 780ca53931 Сделаны переводы другим пользователям 2026-11-18 12:07:13 +03:00
AidarKC fc86c6190e Зафиксировать план будущего формата DM-вложений 2026-11-17 23:08:26 +03:00
AidarKC 2dd0ed6d59 Улучшить вложения и запись голосовых в личной переписке 2026-11-17 15:34:36 +03:00
AidarKC 1f06629838 Увеличить размер частей DM до 64 МиБ 2026-11-17 01:09:16 +03:00
AidarKC c477560632 Добавить лицензию CC0 1.0 2026-11-16 23:50:28 +03:00
AidarKC 548160f7f8 Обновить уведомление безопасности личных чатов 2026-11-16 21:18:03 +03:00
AidarKC a86a380dc7 Обновить окно ошибки запуска UI 2026-11-16 21:14:05 +03:00
AidarKC d9fdaf1930 Включить диагностику ошибок браузера 2026-11-16 12:13:42 +03:00
AidarKC 102feccb2e Очистить устаревший черновик регистрации 2026-11-16 10:59:27 +03:00
AidarKC 1b86bca19a Обновить хранение вложений R2 2026-11-16 10:47:43 +03:00
AidarKC fed28527ae Убрать ложное предупреждение о ротации ключей 2026-11-16 10:03:17 +03:00
AidarKC 2aa770a07b Добавить fallback хранения ключей при сбое IndexedDB 2026-11-16 09:57:41 +03:00
AidarKC 4362c0a015 Исправить завершение регистрации и кнопку повтора 2026-11-16 09:51:57 +03:00
AidarKC 2983ac89e6 Исправить восстановление входа при занятом WebSocket 2026-11-16 09:42:26 +03:00
AidarKC 4a6e072946 Обновить публичные идентификаторы файлов 2026-11-15 15:45:33 +03:00
AidarKC ac6a2e5b3f Исправить восстановление сессии после переподключения 2026-11-15 15:34:10 +03:00
AidarKC e01da7ae87 Исправить восстановление сессии после переподключения WS 2026-11-15 14:35:28 +03:00
AidarKC 70540ff041 Перевести вложения DM на R2 и обновить файловый API 2026-11-15 14:33:52 +03:00
228 changed files with 7865 additions and 2038 deletions
+65
View File
@@ -0,0 +1,65 @@
# SHiNE — патч DM R2 v3 (15.11.2026)
## Основа патча
Накладывать **поверх версии проекта с применённым патчем** `SHiNE-R2-public-MVP-patch-2026.11.14.zip` на архив `SHiNE-bundle-2026.11.14-13.22.24.zip` (либо поверх более новой версии, совместимой с этими серверными API).
Патч **не заменяет** изменённый после предыдущей работы `attachment-format.js` и не трогает новую публичную загрузку, Arweave и аватары.
## Что изменилось
- **Новые DM**: формат `S:file;v=3`, root manifest и AES-256-GCM-шифрование отдельных кусков до 8 МиБ, id = Base58(SHA-256(ciphertext)); **никаких новых BitTorrent/Merkle-хешей**.
- Клиент отправляет JSON `fileId, size` на `POST /api/dm-files/prepare` со старым session key Ed25519 и отдельным доменом подписи `DM_R2_PREPARE_V1`.
- Java подписывает PUT только в корзину `shine-dm`. Ciphertext загружается браузером **напрямую** в S3 endpoint R2. PUT использует `If-None-Match: *`; `Content-Type: application/octet-stream`.
- Скачивание напрямую `https://dm-files.shineup.me/<fileId>` по публичной ссылке; получатель перед расшифровкой проверяет SHA-256/Base58 каждого объекта.
- Никакой ключ AES и исходный MIME в R2 не передаются, они находятся только в E2EE DM.
- **Чтение старых вложений v1 и v2** сохранено. В старых v2 BitTorrent ещё проверяется — исключительно ради совместимости. UI не показывает подпись BitTorrent для v3.
- Передача голосовых вложений использует тот же v3.
- Лимит одного исходного файла в MVP 500 МиБ, один ciphertext-объект ≤8 МиБ+16; нет S3 Multipart и нет строгой гарантии отсутствия повреждённого R2-объекта при первом недобросовестном PUT.
## Настройка Cloudflare
1. Проверьте, что корзина R2 **`shine-dm`** существует и пользовательский домен **`dm-files.shineup.me`** имеет статус **Active**.
2. К `shine-dm` применено **Object Lifecycle → Delete after 14 days → All objects**. По согласованной политике это очистка R2, не гарантия исчезновения CDN-копий.
3. У `shine-dm` установлен CORS для `https://shineup.me` (и реально используемых клиентских доменов). Methods `GET`, `HEAD`, `PUT`; Headers `*`; Expose `Content-Length`, `ETag`.
4. R2 API credential server имеет права **Object Read & Write** для **`shine-files` и `shine-dm`**. Никакие ключи не передаются в UI.
## Настройка Java-сервера
В приватной конфигурации приложения:
```properties
r2.dmBucket=shine-dm
```
В переменных окружения сервиса Java (используются и публичным R2-модулем):
```text
R2_ENDPOINT=https://<account-id>.r2.cloudflarestorage.com
R2_ACCESS_KEY_ID=<серверный S3 Access Key ID>
R2_SECRET_ACCESS_KEY=<серверный S3 Secret Access Key>
```
В случае jurisdiction-specific endpoint использовать именно значение из Cloudflare. Не включать переменные в Git или клиентский JS. После применения патча обновить JAR и выполнить restart службы.
**Caddy / Nginx:** добавить точный маршрут `POST /api/dm-files/prepare` (и CORS OPTIONS на тот же URL) к той же Java/Jetty, которая обрабатывает `/ws` и публичный `/api/files/prepare`. Маршрут должен быть выше SPA fallback; `/dm-files/*` оставить для старых файлов v1/v2.
## Проверки
```bash
node scripts/tests/test-dm-r2-v3.mjs
node scripts/tests/test-r2-file-preparation.mjs
python3 scripts/check_docs.py
```
Нужно дополнительно сделать полноценную **Java-сборку и live R2 интеграционный тест на тестовом сервере**, поскольку в среде сборки этого патча Gradle не может скачать дистрибутив.
Рекомендуемый живой сценарий: отправить файл ~9 МиБ из личного чата; убедиться, что появились 2 ciphertext-части и 1 зашифрованный manifest в `shine-dm`, что ключи не попали в R2, а получатель скачал и открыл исходный файл. Затем проверить отправку голосового сообщения, файл 0 байт, файл около 500 МиБ, отсутствующую CORS-настройку и старую переписку v2.
### Ограничения перед production
- Нужны rate limits на выдачу подписанных URL и мониторинг расходов R2; сервер не проверяет байты против объявленного SHA-256 (это проверяет скачивающий клиент).
- `If-None-Match: *` запрещает перезапись уже существующего ID, но не предотвращает первоначальную загрузку неправильных байтов под этим ID.
- Старые клиенты **не умеют читать v3** — потребуется обновить клиентов обоих участников DM.
- Пропуск зашифрованного файла через Java не происходит, но Java подписывает каждую новую часть; возможны десятки prepare-запросов на одно крупное вложение.
- **Production deployment не выполнялся**.
@@ -10,6 +10,7 @@ import org.slf4j.LoggerFactory;
import server.logic.ws_protocol.JSON.handlers.blockchain.Net_AddBlock_Handler;
import server.sync.BlockchainResyncGuard;
import shine.db.DbController;
import shine.db.KeyEncodingUtil;
import utils.config.AppConfig;
import shine.db.dao.ArweaveBlockImportDAO;
import shine.db.dao.BlockchainStateDAO;
@@ -19,6 +20,7 @@ import shine.db.dao.CanonicalChainResolver;
import shine.db.dao.ChannelReadStateDAO;
import shine.db.dao.BlockchainResyncCleanupDAO;
import shine.db.dao.SolanaUserPdaCurrentDAO;
import shine.db.dao.RegistrationIdentityDAO;
import shine.db.entities.BlockchainStateEntry;
import shine.db.entities.SolanaUserPdaCurrentEntry;
@@ -225,7 +227,7 @@ public final class ArweaveBlockSyncService {
if (pending.isEmpty()) break;
for (ArweaveBlockImportDAO.QueueItem q : pending) {
if (q.parsedLogin() == null || q.parsedForkNumber() == null || q.parsedBlockNumber() == null) continue;
SolanaUserPdaCurrentEntry activeUser = usersDAO.getByLogin(q.parsedLogin());
SolanaUserPdaCurrentEntry activeUser = resolveChainOwnerByLogin(q.parsedLogin());
if (activeUser == null || activeUser.getBlockchainName() == null || activeUser.getBlockchainName().isBlank()) {
importDAO.setPendingError(q.dataItemId(), "active_user_missing", System.currentTimeMillis());
continue;
@@ -257,7 +259,7 @@ public final class ArweaveBlockSyncService {
progress = true;
continue;
}
SolanaUserPdaCurrentEntry physicalUser = usersDAO.getByBlockchainKey(item.owner32());
SolanaUserPdaCurrentEntry physicalUser = resolveChainOwnerByBlockchainKey(item.owner32());
if (physicalUser == null || physicalUser.getBlockchainName() == null
|| !q.parsedLogin().equalsIgnoreCase(physicalUser.getLogin())
|| forkOf(physicalUser.getBlockchainName()) != q.parsedForkNumber()) {
@@ -335,7 +337,7 @@ public final class ArweaveBlockSyncService {
if (!item.verifySignature()) throw new IllegalArgumentException("bad ANS-104 signature");
BchBlockEntry b = new BchBlockEntry(raw);
SolanaUserPdaCurrentEntry owner = usersDAO.getByBlockchainKey(item.owner32());
SolanaUserPdaCurrentEntry owner = resolveChainOwnerByBlockchainKey(item.owner32());
if (owner == null || owner.getBlockchainName() == null || owner.getLogin() == null) {
importDAO.setPendingError(id, "unknown_owner", System.currentTimeMillis());
continue;
@@ -352,7 +354,7 @@ public final class ArweaveBlockSyncService {
if (fork <= 1) throw new IllegalArgumentException("TECH_FORK cannot belong to fork1");
if (b.blockNumber != fb.forkPointBlockNumber + 1)
throw new IllegalArgumentException("TECH_FORK block number/fork point mismatch");
SolanaUserPdaCurrentEntry parent = usersDAO.getByBlockchainKey(fb.parentBlockchainKey32);
SolanaUserPdaCurrentEntry parent = resolveChainOwnerByBlockchainKey(fb.parentBlockchainKey32);
if (parent == null || parent.getBlockchainName() == null
|| !owner.getLogin().equalsIgnoreCase(parent.getLogin()))
throw new IllegalArgumentException("TECH_FORK parent owner mismatch");
@@ -388,9 +390,64 @@ public final class ArweaveBlockSyncService {
}
}
/**
* Обычный пользователь подтверждается текущим Solana PDA. У бесплатной регистрации PDA
* намеренно отсутствует: её проверяемая идентичность хранится в сертификате. Для обеих
* моделей импортёр должен сопоставить ANS-104 owner с уже проверенной локальной записью,
* иначе блоки FREE_CERT никогда не смогут попасть на другой сервер.
*/
private SolanaUserPdaCurrentEntry resolveChainOwnerByLogin(String login) throws SQLException {
SolanaUserPdaCurrentEntry solana = usersDAO.getByLogin(login);
if (solana != null) return solana;
RegistrationIdentityDAO.ResolvedIdentity identity = RegistrationIdentityDAO.getInstance().get(login);
if (identity == null || !identity.isFree() || identity.blockchainKey() == null || identity.blockchainKey().isBlank()) {
return null;
}
return freeCertificateOwner(identity.fullLogin(), identity.blockchainKey());
}
private SolanaUserPdaCurrentEntry resolveChainOwnerByBlockchainKey(byte[] owner32) throws SQLException {
SolanaUserPdaCurrentEntry solana = usersDAO.getByBlockchainKey(owner32);
if (solana != null) return solana;
if (owner32 == null || owner32.length != 32) return null;
String blockchainKey = KeyEncodingUtil.encodeBase58(owner32);
try (Connection c = DbController.getInstance().getConnection();
PreparedStatement ps = c.prepareStatement("""
SELECT login, blockchain_key
FROM user_identity_current
WHERE registration_status='FREE_CERT' AND blockchain_key=?
LIMIT 1
""")) {
ps.setString(1, blockchainKey);
try (ResultSet rs = ps.executeQuery()) {
return rs.next() ? freeCertificateOwner(rs.getString("login"), rs.getString("blockchain_key")) : null;
}
}
}
private SolanaUserPdaCurrentEntry resolveChainOwnerByBlockchainName(String blockchainName) throws SQLException {
SolanaUserPdaCurrentEntry solana = usersDAO.getByBlockchainName(blockchainName);
if (solana != null) return solana;
if (blockchainName == null || !blockchainName.endsWith("-001")) return null;
String login = blockchainName.substring(0, blockchainName.length() - 4);
SolanaUserPdaCurrentEntry free = resolveChainOwnerByLogin(login);
return free != null && blockchainName.equalsIgnoreCase(free.getBlockchainName()) ? free : null;
}
private static SolanaUserPdaCurrentEntry freeCertificateOwner(String login, String blockchainKey) {
SolanaUserPdaCurrentEntry owner = new SolanaUserPdaCurrentEntry();
owner.setLogin(login);
owner.setBlockchainName(login.toLowerCase(Locale.ROOT) + "-001");
owner.setBlockchainKey(KeyEncodingUtil.base58KeyToBase64_32(blockchainKey));
owner.setPaidLimitBytes(0L);
return owner;
}
private void ensureState(SolanaUserPdaCurrentEntry user, BchBlockEntry firstSeen) throws Exception {
int fork=forkOf(user.getBlockchainName()); BlockchainStateEntry s=new BlockchainStateEntry();
s.setBlockchainName(user.getBlockchainName());s.setLogin(user.getLogin());s.setBlockchainKey(user.getBlockchainKey());s.setSizeLimit(user.getPaidLimitBytes()>0?user.getPaidLimitBytes():100_000L);s.setFileSizeBytes(0L);
s.setBlockchainName(user.getBlockchainName());s.setLogin(user.getLogin());s.setBlockchainKey(user.getBlockchainKey());s.setSizeLimit(user.getPaidLimitBytes());s.setFileSizeBytes(0L);
BlockchainForkSegmentsDAO.Segment seg=segmentsDAO.get(user.getLogin(),fork);
BlockchainStateEntry existing=stateDAO.getByBlockchainName(user.getBlockchainName());
if(existing!=null && (seg==null || seg.parentForkNumber()==null || existing.getLastBlockNumber()>=seg.forkPointBlockNumber()))return;
@@ -414,7 +471,7 @@ public final class ArweaveBlockSyncService {
while(rs.next())logins.add(rs.getString(1));
}
for(String login:logins){
SolanaUserPdaCurrentEntry u=usersDAO.getByLogin(login);
SolanaUserPdaCurrentEntry u=resolveChainOwnerByLogin(login);
if(u==null||u.getBlockchainName()==null)continue;
replayDurableCanonicalStaging(login,forkOf(u.getBlockchainName()));
}
@@ -477,17 +534,17 @@ public final class ArweaveBlockSyncService {
if(last<0)throw new IllegalStateException("canonical staging is empty for "+login);
}
private void replayDurableCanonicalStaging(String login,int activeFork)throws Exception{
SolanaUserPdaCurrentEntry u=usersDAO.getByLogin(login);if(u==null)throw new IllegalStateException("user missing for canonical rebuild: "+login);
SolanaUserPdaCurrentEntry u=resolveChainOwnerByLogin(login);if(u==null)throw new IllegalStateException("user missing for canonical rebuild: "+login);
String activeName=u.getBlockchainName();boolean guard=BlockchainResyncGuard.tryBegin(activeName);if(!guard)throw new IllegalStateException("canonical rebuild already active: "+login);
try{
validateGenericStaging(login);
cleanupDAO.cleanupLoginForCanonicalReplay(login);
long limit=u.getPaidLimitBytes()>0?u.getPaidLimitBytes():100_000L,cumulative=0;int currentFork=-1,prevNumber=-1;byte[] prevHash=null;
long cumulative=0;int currentFork=-1,prevNumber=-1;byte[] prevHash=null;
try(Connection c=DbController.getInstance().getConnection();PreparedStatement ps=c.prepareStatement("SELECT logical_block_number,physical_fork_number,block_bytes,block_hash FROM canonical_rebuild_staging WHERE LOWER(login)=LOWER(?) ORDER BY logical_block_number ASC")){
ps.setString(1,login);try(ResultSet rs=ps.executeQuery()){while(rs.next()){
int n=rs.getInt(1),f=rs.getInt(2);byte[] raw=rs.getBytes(3),hash=rs.getBytes(4);BchBlockEntry b=new BchBlockEntry(raw);
String bch=login+"-"+String.format("%03d",f);
if(f!=currentFork){BlockchainStateEntry st=new BlockchainStateEntry();st.setBlockchainName(bch);st.setLogin(login);st.setBlockchainKey(Base64.getEncoder().encodeToString(b.getOwner32()));st.setSizeLimit(limit);st.setFileSizeBytes(cumulative);st.setLastBlockNumber(prevNumber);st.setLastBlockHash(prevHash);st.setUpdatedAtMs(System.currentTimeMillis());stateDAO.insertIfMissing(st);currentFork=f;}
if(f!=currentFork){SolanaUserPdaCurrentEntry forkOwner=resolveChainOwnerByBlockchainName(bch);long limit=forkOwner==null?0L:forkOwner.getPaidLimitBytes();BlockchainStateEntry st=new BlockchainStateEntry();st.setBlockchainName(bch);st.setLogin(login);st.setBlockchainKey(Base64.getEncoder().encodeToString(b.getOwner32()));st.setSizeLimit(limit);st.setFileSizeBytes(cumulative);st.setLastBlockNumber(prevNumber);st.setLastBlockHash(prevHash);st.setUpdatedAtMs(System.currentTimeMillis());stateDAO.insertIfMissing(st);currentFork=f;}
Net_AddBlock_Handler.ArweaveImportResult r=addBlock.addBlockFromReplay(bch,raw);if(!r.ok())throw new IllegalStateException("canonical Arweave rebuild rejected #"+n+": "+r.reasonCode());
cumulative+=raw.length;prevNumber=n;prevHash=hash;
}}
@@ -33,7 +33,9 @@ public final class FreeRegistrationApiBootstrap {
FreeRegistrationPublisher publisher=null;
RegistrationEmailSender emailSender=null;
AllowedEmailDomains allowedEmailDomains=null;
if (cfg.getBoolean("freeRegistration.enabled",false)) {
String freeNamespace=cfg.getStringOrEmpty("freeRegistration.namespace").trim();
boolean freeRegistrationEnabled=cfg.getBoolean("freeRegistration.enabled",false) && !freeNamespace.isEmpty();
if (freeRegistrationEnabled) {
String domainsFile = cfg.getStringOrEmpty("freeRegistration.email.allowedDomainsFile");
if (domainsFile.isBlank()) domainsFile = "allowed-email-domains.txt";
// Относительный путь — от WorkingDirectory процесса Java.
@@ -44,6 +46,8 @@ public final class FreeRegistrationApiBootstrap {
if(transport.publishMode()!=ArweaveBlocksConfig.PublishMode.TURBO)
throw new IllegalStateException("Free registration requires Turbo transport");
newSigner=LocalRegistrarSigner.fromConfig(cfg);
FreeRegistrationIssuer.validateConfiguredNamespace(dbSource(), newSigner, freeNamespace,
cfg.getStringOrEmpty("server.SHiNE.login"));
issuer=new FreeRegistrationIssuer(dbSource(),newSigner,allowEmailReuse);
publisher=new FreeRegistrationPublisher(issuer,new TurboDataItemUploader(transport),
new VerifiedFreeRegistrationImporter(allowEmailReuse));
@@ -58,7 +62,8 @@ public final class FreeRegistrationApiBootstrap {
}
FreeRegistrationWorkflow newWorkflow=new FreeRegistrationWorkflow(issuer,publisher,emailSender,
cfg.getBoolean("freeRegistration.email.allowTestCode",false),
cfg.getBoolean("freeRegistration.email.allowReuse",false), allowedEmailDomains);
cfg.getBoolean("freeRegistration.email.allowReuse",false), allowedEmailDomains,
freeRegistrationEnabled ? freeNamespace : "");
RegistrationApiBridge.install((op,req)->dispatch(newWorkflow,op,req));
signer=newSigner; workflow=newWorkflow;
}
@@ -24,6 +24,30 @@ public final class FreeRegistrationIssuer {
this.allowEmailReuse = allowEmailReuse;
}
/** Проверяет привязку локального ключа и сервера до открытия бесплатной регистрации. */
static void validateConfiguredNamespace(DataSource db, RegistrarSigner signer, String namespace,
String localServerLogin) throws Exception {
if (localServerLogin == null || localServerLogin.isBlank())
throw new IllegalStateException("server.SHiNE.login is required for free registration");
try (Connection conn = db.getConnection();
PreparedStatement statement = conn.prepareStatement("""
SELECT namespace_type, registrar_pubkey, default_server_login
FROM shine_namespace_current WHERE namespace = ?
""")) {
statement.setString(1, namespace);
try (ResultSet rs = statement.executeQuery()) {
if (!rs.next() || rs.getInt("namespace_type") != 2)
throw new IllegalStateException("Configured free registration namespace is unavailable");
byte[] namespaceKey = Base58Util.decode(rs.getString("registrar_pubkey"));
if (!Arrays.equals(namespaceKey, signer.publicKey32()))
throw new IllegalStateException("Registrar public key does not match configured namespace");
String namespaceServer = rs.getString("default_server_login");
if (namespaceServer == null || !namespaceServer.equalsIgnoreCase(localServerLogin.trim()))
throw new IllegalStateException("Configured free namespace belongs to another access server");
}
}
}
/** Выдаётся только после успешной проверки challenge в FreeRegistrationWorkflow. */
synchronized byte[] issue(String fullLogin, byte[] root32, byte[] blockchain32,
byte[] client32, String email) throws Exception {
@@ -51,10 +51,12 @@ public final class FreeRegistrationWorkflow {
private final boolean allowTestCode;
private final boolean allowEmailReuse;
private final AllowedEmailDomains allowedEmailDomains;
/** Единственный type-2 namespace, для которого этот сервер является регистратором. */
private final String freeRegistrationNamespace;
public FreeRegistrationWorkflow(FreeRegistrationIssuer issuer, FreeRegistrationPublisher publisher,
RegistrationEmailSender emailSender, boolean allowTestCode, boolean allowEmailReuse,
AllowedEmailDomains allowedEmailDomains) {
AllowedEmailDomains allowedEmailDomains, String freeRegistrationNamespace) {
if ((issuer == null) != (publisher == null)) throw new IllegalArgumentException("Signer/publisher mismatch");
if (issuer != null && emailSender == null) throw new IllegalArgumentException("Email sender is required");
if (emailSender != null && allowedEmailDomains == null)
@@ -65,11 +67,24 @@ public final class FreeRegistrationWorkflow {
this.emailSender = emailSender;
this.allowTestCode = allowTestCode;
this.allowEmailReuse = allowEmailReuse;
this.freeRegistrationNamespace = normalizeConfiguredNamespace(freeRegistrationNamespace);
}
public FreeRegistrationWorkflow(FreeRegistrationIssuer issuer, FreeRegistrationPublisher publisher,
RegistrationEmailSender emailSender, boolean allowTestCode, boolean allowEmailReuse,
AllowedEmailDomains allowedEmailDomains) {
this(issuer, publisher, emailSender, allowTestCode, allowEmailReuse, allowedEmailDomains, "");
}
private static String normalizeConfiguredNamespace(String value) {
String namespace = value == null ? "" : value.trim();
if (namespace.isEmpty()) return "";
if (!namespace.matches("[a-z0-9_]+"))
throw new IllegalArgumentException("Free registration namespace must use lowercase ASCII letters, digits or _");
return namespace;
}
public FreeRegistrationWorkflow(FreeRegistrationIssuer issuer, FreeRegistrationPublisher publisher,
RegistrationEmailSender emailSender, boolean allowTestCode, boolean allowEmailReuse) {
this(issuer, publisher, emailSender, allowTestCode, allowEmailReuse,
emailSender == null ? null : loadDefaultEmailDomains());
emailSender == null ? null : loadDefaultEmailDomains(), "");
}
private static AllowedEmailDomains loadDefaultEmailDomains() {
try {
@@ -94,10 +109,15 @@ public final class FreeRegistrationWorkflow {
try (Connection c = DbController.getInstance().getConnection();
PreparedStatement ps = c.prepareStatement("""
SELECT namespace,namespace_type,min_localpart_len,registration_fee_lamports,currency_code,default_server_login
FROM shine_namespace_current ORDER BY namespace
"""); ResultSet rs = ps.executeQuery()) {
while (rs.next()) result.add(new NamespaceInfo(rs.getString(1),rs.getInt(2),rs.getInt(3),
rs.getString(4),rs.getInt(5),rs.getString(6)));
FROM shine_namespace_current
WHERE namespace_type = 1 OR (namespace_type = 2 AND namespace = ?)
ORDER BY namespace
""")) {
ps.setString(1, freeRegistrationNamespace);
try (ResultSet rs = ps.executeQuery()) {
while (rs.next()) result.add(new NamespaceInfo(rs.getString(1),rs.getInt(2),rs.getInt(3),
rs.getString(4),rs.getInt(5),rs.getString(6)));
}
}
return List.copyOf(result);
}
@@ -111,6 +131,8 @@ public final class FreeRegistrationWorkflow {
try (ResultSet rs=p.executeQuery()) {
if (!rs.next()) throw new IllegalArgumentException("Namespace is unavailable");
type=rs.getInt(1); minimum=rs.getInt(2); fee=rs.getString(3); currencyCode=rs.getInt(4);
if (type == 2 && !namespace.equals(freeRegistrationNamespace))
throw new IllegalArgumentException("Free registration is unavailable for this namespace");
if (currencyCode != 1) throw new IllegalStateException("Unsupported namespace currency");
if (login.indexOf('@') < minimum) throw new IllegalArgumentException("Login shorter than namespace minimum");
}
@@ -122,9 +122,12 @@ public final class VerifiedFreeRegistrationImporter {
INSERT INTO blockchain_state_store (
login, fork_number, blockchain_key, size_limit, file_size_bytes,
last_block_number, last_block_hash, updated_at_ms)
VALUES (?, 1, ?, 100000, 0, -1, ?, ?)
VALUES (?, 1, ?, 0, 0, -1, ?, ?)
""")) {
insert.setString(1, login);
// blockchain_state — техническая проекция chain: её ключ
// совпадает с normalized_login и blockchain_name, а не с
// отображаемым написанием login в сертификате.
insert.setString(1, login.toLowerCase(java.util.Locale.ROOT));
// blockchain_state — runtime-слой: его ключ всегда Base64(32),
// как и у пользователей, импортированных из Solana PDA.
insert.setString(2, Base64.getEncoder().encodeToString(cert.blockchainKey()));
@@ -0,0 +1,20 @@
package server.archive.registration;
import org.junit.jupiter.api.Test;
import static org.junit.jupiter.api.Assertions.assertDoesNotThrow;
import static org.junit.jupiter.api.Assertions.assertThrows;
class FreeRegistrationNamespaceConfigurationTest {
@Test
void acceptsLowercaseNamespaceForLocalFreeRegistration() {
assertDoesNotThrow(() -> new FreeRegistrationWorkflow(
null, null, null, false, false, null, "testfree"));
}
@Test
void rejectsMixedCaseNamespaceInsteadOfSilentlyServingAnotherNamespace() {
assertThrows(IllegalArgumentException.class, () -> new FreeRegistrationWorkflow(
null, null, null, false, false, null, "TestFree"));
}
}
@@ -18,7 +18,8 @@ public final class BodyRecordParser {
// TECH supports Header v1 and CreateChannel current format (ver=1).
if (t == (CreateChannelBody.TYPE & 0xFFFF)) {
if (st == (HeaderBody.SUBTYPE_COMPAT & 0xFFFF) && v == (HeaderBody.VER & 0xFFFF)) {
if (st == (HeaderBody.SUBTYPE_COMPAT & 0xFFFF)
&& (v == (HeaderBody.VER & 0xFFFF) || v == (HeaderBody.VER_CC0 & 0xFFFF))) {
return new HeaderBody(subType, version, bodyBytes).check();
}
if (st == (CreateChannelBody.SUBTYPE & 0xFFFF)
@@ -9,12 +9,13 @@ import java.util.Arrays;
import java.util.Objects;
/**
* HeaderBody — type=0, subType=0, version=1.
* HeaderBody — TECH type=0, subType=0; version=1 legacy / version=2 CC0.
*
* bodyBytes (BigEndian):
* [TAG_LEN] tag ASCII
* [1] loginLength (uint8)
* [N] login UTF-8
* [15] ASCII "license:CC0-1.0" (version=2 only)
* [32] initialBlockchainKey32
*
* initialBlockchainKey32 is the public blockchain-signing key that created fork #1.
@@ -23,7 +24,11 @@ import java.util.Objects;
*/
public final class HeaderBody implements BodyRecord {
public static final short TYPE = 0;
public static final short VER = 1;
public static final short VER = 1; // Legacy, read-only for newly created chains
public static final short VER_CC0 = 2;
public static final String LICENSE_CC0 = "CC0-1.0";
public static final String LICENSE_FIELD_CC0 = "license:" + LICENSE_CC0;
private static final byte[] LICENSE_BYTES = LICENSE_FIELD_CC0.getBytes(StandardCharsets.US_ASCII);
public static final int KEY = ((TYPE & 0xFFFF) << 16) | (VER & 0xFFFF);
public static final short SUBTYPE_COMPAT = 0;
public static final String TAG = ShineSignatureConstants.BLOCKCHAIN_HEADER_TAG;
@@ -36,14 +41,16 @@ public final class HeaderBody implements BodyRecord {
public final String tag;
public final String login;
public final byte[] initialBlockchainKey32;
public final String license; // null for legacy HEADER v1
public HeaderBody(short subType, short version, byte[] bodyBytes) {
Objects.requireNonNull(bodyBytes, "bodyBytes == null");
this.subType = subType;
this.version = version;
if ((subType & 0xFFFF) != 0) throw new IllegalArgumentException("HeaderBody subType must be 0");
if ((version & 0xFFFF) != (VER & 0xFFFF)) throw new IllegalArgumentException("HeaderBody version must be 1");
if (bodyBytes.length < TAG_LEN + 1 + 1 + 32) throw new IllegalArgumentException("HeaderBody too short");
if (version != VER && version != VER_CC0) throw new IllegalArgumentException("HeaderBody version must be 1 or 2");
if (bodyBytes.length < TAG_LEN + 1 + 1 + 32 + (version == VER_CC0 ? LICENSE_BYTES.length : 0))
throw new IllegalArgumentException("HeaderBody too short");
ByteBuffer bb = ByteBuffer.wrap(bodyBytes).order(ByteOrder.BIG_ENDIAN);
byte[] tagBytes = new byte[TAG_LEN];
@@ -53,30 +60,52 @@ public final class HeaderBody implements BodyRecord {
this.tag = parsedTag;
int loginLen = Byte.toUnsignedInt(bb.get());
if (loginLen <= 0 || bb.remaining() != loginLen + 32) throw new IllegalArgumentException("Bad HeaderBody login/key length");
if (loginLen <= 0 || bb.remaining() != loginLen + 32 + (version == VER_CC0 ? LICENSE_BYTES.length : 0))
throw new IllegalArgumentException("Bad HeaderBody login/key/license length");
byte[] loginBytes = new byte[loginLen];
bb.get(loginBytes);
this.login = BodyTargetSupport.decodeStrictUtf8(loginBytes, "HeaderBody login");
if (version == VER_CC0) {
byte[] actual = new byte[LICENSE_BYTES.length];
bb.get(actual);
if (!Arrays.equals(actual, LICENSE_BYTES)) throw new IllegalArgumentException("Unsupported HEADER license");
this.license = LICENSE_CC0;
} else {
this.license = null;
}
this.initialBlockchainKey32 = new byte[32];
bb.get(this.initialBlockchainKey32);
requireNonZeroKey(this.initialBlockchainKey32);
if (bb.hasRemaining()) throw new IllegalArgumentException("Unexpected HeaderBody tail");
}
// Legacy constructor is kept for historical fixtures and importing v1 blocks.
public HeaderBody(String login, byte[] initialBlockchainKey32) {
this(login, initialBlockchainKey32, VER);
}
public static HeaderBody licensedCc0(String login, byte[] initialBlockchainKey32) {
return new HeaderBody(login, initialBlockchainKey32, VER_CC0);
}
private HeaderBody(String login, byte[] initialBlockchainKey32, short version) {
Objects.requireNonNull(login, "login == null");
Objects.requireNonNull(initialBlockchainKey32, "initialBlockchainKey32 == null");
this.subType = SUBTYPE_COMPAT;
this.version = VER;
this.version = version;
this.tag = TAG;
this.login = login;
this.initialBlockchainKey32 = Arrays.copyOf(initialBlockchainKey32, initialBlockchainKey32.length);
this.license = version == VER_CC0 ? LICENSE_CC0 : null;
check();
}
@Override
public HeaderBody check() {
if ((subType & 0xFFFF) != 0) throw new IllegalArgumentException("HeaderBody subType must be 0");
if (version != VER && version != VER_CC0) throw new IllegalArgumentException("Bad HeaderBody version");
if (version == VER_CC0 && !LICENSE_CC0.equals(license)) throw new IllegalArgumentException("Bad HEADER CC0 license");
if (version == VER && license != null) throw new IllegalArgumentException("Legacy HEADER must not contain a license");
if (login == null || login.isBlank()) throw new IllegalArgumentException("Login is blank");
byte[] loginUtf8 = login.getBytes(StandardCharsets.UTF_8);
// В HEADER хранится неизменяемое написание зарегистрированного login@namespace.
@@ -95,10 +124,11 @@ public final class HeaderBody implements BodyRecord {
public byte[] toBytes() {
check();
byte[] loginUtf8 = login.getBytes(StandardCharsets.UTF_8);
ByteBuffer bb = ByteBuffer.allocate(TAG_LEN + 1 + loginUtf8.length + 32).order(ByteOrder.BIG_ENDIAN);
ByteBuffer bb = ByteBuffer.allocate(TAG_LEN + 1 + loginUtf8.length + 32 + (version == VER_CC0 ? LICENSE_BYTES.length : 0)).order(ByteOrder.BIG_ENDIAN);
bb.put(TAG_ASCII);
bb.put((byte) loginUtf8.length);
bb.put(loginUtf8);
if (version == VER_CC0) bb.put(LICENSE_BYTES);
bb.put(initialBlockchainKey32);
return bb.array();
}
@@ -112,6 +142,6 @@ public final class HeaderBody implements BodyRecord {
@Override
public String toString() {
return "HeaderBody{login='" + login + "', initialBlockchainKey32=<32 bytes>}";
return "HeaderBody{version=" + version + ", login='" + login + "', license=" + license + ", initialBlockchainKey32=<32 bytes>}";
}
}
@@ -108,6 +108,41 @@ final class TargetLoginFormatTest {
}
}
@Test
void licensedHeaderV2IncludesExactCc0ConstantAndParsesAlongsideV1() {
HeaderBody v2 = HeaderBody.licensedCc0("Alice@shine", INITIAL_KEY);
assertEquals(HeaderBody.VER_CC0, v2.version);
assertEquals("CC0-1.0", v2.license);
HeaderBody parsed = new HeaderBody(HeaderBody.SUBTYPE_COMPAT, HeaderBody.VER_CC0, v2.toBytes()).check();
assertEquals("Alice@shine", parsed.login);
assertEquals("CC0-1.0", parsed.license);
assertArrayEquals(INITIAL_KEY, parsed.initialBlockchainKey32);
assertArrayEquals(v2.toBytes(), parsed.toBytes());
HeaderBody legacy = new HeaderBody("Alice@shine", INITIAL_KEY);
assertNull(new HeaderBody(HeaderBody.SUBTYPE_COMPAT, HeaderBody.VER, legacy.toBytes()).license);
assertEquals(legacy.toBytes().length + 15, v2.toBytes().length);
byte[] expectedLicenseMarker = "license:CC0-1.0".getBytes(java.nio.charset.StandardCharsets.US_ASCII);
int markerOffset = 5 + 1 + "Alice@shine".getBytes(java.nio.charset.StandardCharsets.UTF_8).length;
assertArrayEquals(expectedLicenseMarker, java.util.Arrays.copyOfRange(v2.toBytes(), markerOffset, markerOffset + 15));
assertArrayEquals(INITIAL_KEY, java.util.Arrays.copyOfRange(v2.toBytes(), markerOffset + 15, v2.toBytes().length));
byte[] invalid = v2.toBytes();
invalid[markerOffset + 8] = (byte)'X';
assertThrows(IllegalArgumentException.class,
() -> new HeaderBody(HeaderBody.SUBTYPE_COMPAT, HeaderBody.VER_CC0, invalid));
assertThrows(IllegalArgumentException.class,
() -> new HeaderBody(HeaderBody.SUBTYPE_COMPAT, HeaderBody.VER, v2.toBytes()));
assertThrows(IllegalArgumentException.class,
() -> new HeaderBody(HeaderBody.SUBTYPE_COMPAT, HeaderBody.VER_CC0, legacy.toBytes()));
byte[] swapped = v2.toBytes();
System.arraycopy(INITIAL_KEY, 0, swapped, markerOffset, 32);
System.arraycopy(expectedLicenseMarker, 0, swapped, markerOffset + 32, 15);
assertThrows(IllegalArgumentException.class,
() -> new HeaderBody(HeaderBody.SUBTYPE_COMPAT, HeaderBody.VER_CC0, swapped));
}
@Test
void namespacedHeaderRejectsMalformedOrOversizedLogin() {
for (String login : new String[]{"alice@", "@shine", "alice@@free", "alice@FREE", "alice.free@shine", "abcdefghijklmnopqrstuvwxyz@free"}) {
@@ -31,6 +31,10 @@ public final class DatabaseInitializer {
public static final int SCHEMA_VERSION_38 = 38;
public static final int SCHEMA_VERSION_39 = 39;
public static final int SCHEMA_VERSION_40 = 40;
public static final int SCHEMA_VERSION_41 = 41;
public static final int SCHEMA_VERSION_42 = 42;
public static final int SCHEMA_VERSION_43 = 43;
public static final int SCHEMA_VERSION_44 = 44;
public static final String POSTGRES_SCHEMA_RESOURCE = "postgres/schema_v1.sql";
public static final String POSTGRES_MIGRATION_V31_RESOURCE = "postgres/migration_v31.sql";
public static final String POSTGRES_MIGRATION_V32_RESOURCE = "postgres/migration_v32.sql";
@@ -42,6 +46,10 @@ public final class DatabaseInitializer {
public static final String POSTGRES_MIGRATION_V38_RESOURCE = "postgres/migration_v38.sql";
public static final String POSTGRES_MIGRATION_V39_RESOURCE = "postgres/migration_v39.sql";
public static final String POSTGRES_MIGRATION_V40_RESOURCE = "postgres/migration_v40.sql";
public static final String POSTGRES_MIGRATION_V41_RESOURCE = "postgres/migration_v41.sql";
public static final String POSTGRES_MIGRATION_V42_RESOURCE = "postgres/migration_v42.sql";
public static final String POSTGRES_MIGRATION_V43_RESOURCE = "postgres/migration_v43.sql";
public static final String POSTGRES_MIGRATION_V44_RESOURCE = "postgres/migration_v44.sql";
private DatabaseInitializer() {}
@@ -173,9 +181,25 @@ public final class DatabaseInitializer {
runSqlScript(conn, POSTGRES_MIGRATION_V40_RESOURCE);
currentVersion = readCurrentSchemaVersion(conn);
}
if (currentVersion != SCHEMA_VERSION_40) {
if (currentVersion == SCHEMA_VERSION_40) {
runSqlScript(conn, POSTGRES_MIGRATION_V41_RESOURCE);
currentVersion = readCurrentSchemaVersion(conn);
}
if (currentVersion == SCHEMA_VERSION_41) {
runSqlScript(conn, POSTGRES_MIGRATION_V42_RESOURCE);
currentVersion = readCurrentSchemaVersion(conn);
}
if (currentVersion == SCHEMA_VERSION_42) {
runSqlScript(conn, POSTGRES_MIGRATION_V43_RESOURCE);
currentVersion = readCurrentSchemaVersion(conn);
}
if (currentVersion == SCHEMA_VERSION_43) {
runSqlScript(conn, POSTGRES_MIGRATION_V44_RESOURCE);
currentVersion = readCurrentSchemaVersion(conn);
}
if (currentVersion != SCHEMA_VERSION_44) {
throw new SQLException(
"Unsupported SHiNE DB v2 schema version: expected 40, found " + currentVersion);
"Unsupported SHiNE DB v2 schema version: expected 44, found " + currentVersion);
}
normalizeBlockchainStateKeysToBase64(conn);
}
@@ -187,10 +187,27 @@ public final class BlockchainStateDAO {
}
}
/** Change ONLY the quota projection; 0 means unbounded. */
public void updateSizeLimit(String blockchainName, long limit) throws SQLException {
if (limit < 0L) throw new IllegalArgumentException("limit must be nonnegative");
try (Connection c = db.getConnection(); PreparedStatement ps = c.prepareStatement("""
UPDATE blockchain_state_store SET size_limit = ?, updated_at_ms = ?
WHERE LOWER(login) = LOWER(?) AND fork_number = ?
""")) {
ChainRef r = chainRef(blockchainName);
ps.setLong(1, limit);
ps.setLong(2, System.currentTimeMillis());
ps.setString(3, r.login());
ps.setInt(4, r.fork());
ps.executeUpdate();
}
}
/**
* Атомарно увеличить file_size_bytes на deltaBytes, но только если НЕ превысим size_limit.
*/
public boolean tryIncreaseFileSizeWithinLimit(Connection c, String blockchainName, long deltaBytes, long nowMs) throws SQLException {
if (deltaBytes < 0L) throw new IllegalArgumentException("deltaBytes must be nonnegative");
String sql = """
UPDATE blockchain_state_store
SET
@@ -198,7 +215,8 @@ public final class BlockchainStateDAO {
updated_at_ms = ?
WHERE
LOWER(login) = LOWER(?) AND fork_number = ?
AND (file_size_bytes + ?) <= size_limit
AND file_size_bytes <= 9223372036854775807 - ?
AND (size_limit = 0 OR (file_size_bytes + ?) <= size_limit)
""";
try (PreparedStatement ps = c.prepareStatement(sql)) {
@@ -208,6 +226,7 @@ public final class BlockchainStateDAO {
ps.setString(3, r.login());
ps.setInt(4, r.fork());
ps.setLong(5, deltaBytes);
ps.setLong(6, deltaBytes);
return ps.executeUpdate() > 0;
}
}
@@ -67,7 +67,7 @@ public final class ChannelNameStateDAO {
channel_root_block_hash,
created_at_ms,
ava_ar,
ava_sha256,
ava_pr,
ava_size,
meta_updated_at_ms
) VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)
@@ -84,7 +84,7 @@ public final class ChannelNameStateDAO {
ps.setBytes(9, entry.getChannelRootBlockHash());
ps.setLong(10, entry.getCreatedAtMs());
ps.setString(11, entry.getAvaAr() == null ? "" : entry.getAvaAr());
ps.setString(12, entry.getAvaSha256() == null ? "" : entry.getAvaSha256());
ps.setString(12, entry.getAvaPr() == null ? "" : entry.getAvaPr());
ps.setLong(13, Math.max(0L, entry.getAvaSize()));
ps.setLong(14, Math.max(0L, entry.getMetaUpdatedAtMs()));
ps.executeUpdate();
@@ -97,7 +97,7 @@ public final class ChannelNameStateDAO {
SET display_name = ?,
channel_description = ?,
ava_ar = ?,
ava_sha256 = ?,
ava_pr = ?,
ava_size = ?,
meta_updated_at_ms = ?
WHERE LOWER(owner_login)=LOWER(?) AND channel_root_block_number = ?
@@ -106,7 +106,7 @@ public final class ChannelNameStateDAO {
ps.setString(1, entry.getDisplayName() == null ? "" : entry.getDisplayName());
ps.setString(2, entry.getChannelDescription() == null ? "" : entry.getChannelDescription());
ps.setString(3, entry.getAvaAr() == null ? "" : entry.getAvaAr());
ps.setString(4, entry.getAvaSha256() == null ? "" : entry.getAvaSha256());
ps.setString(4, entry.getAvaPr() == null ? "" : entry.getAvaPr());
ps.setLong(5, Math.max(0L, entry.getAvaSize()));
ps.setLong(6, Math.max(0L, entry.getMetaUpdatedAtMs()));
ps.setString(7, entry.getOwnerLogin());
@@ -13,7 +13,7 @@ public final class ChannelSearchDAO {
private ChannelSearchDAO() {}
public record Match(String ownerLogin, String slug, String displayName, String description,
String avatarAr, String avatarSha256, String ownerBlockchainName,
String avatarAr, String avatarPr, String ownerBlockchainName,
int rootBlockNumber, String rootBlockHashHex, int subscribersCount) {}
// LIKE ESCAPE '!' — введённые пользователем %, _ и ! трактуются буквально.
@@ -45,7 +45,7 @@ public final class ChannelSearchDAO {
String ownerAnywhere = "%" + escapedPattern(ownerExact) + "%";
String sql = """
SELECT cn.owner_login, cn.slug, cn.display_name, cn.channel_description,
cn.ava_ar, cn.ava_sha256, cn.owner_bch_name,
cn.ava_ar, cn.ava_pr, cn.owner_bch_name,
cn.channel_root_block_number, encode(cn.channel_root_block_hash, 'hex') AS root_hash,
COALESCE(cs.subscribers_count, 0) AS subscribers_count
FROM channel_names_state cn
@@ -109,7 +109,7 @@ public final class ChannelSearchDAO {
try (ResultSet rs = ps.executeQuery()) {
while (rs.next()) matches.add(new Match(
rs.getString("owner_login"), rs.getString("slug"), rs.getString("display_name"),
rs.getString("channel_description"), rs.getString("ava_ar"), rs.getString("ava_sha256"),
rs.getString("channel_description"), rs.getString("ava_ar"), rs.getString("ava_pr"),
rs.getString("owner_bch_name"), rs.getInt("channel_root_block_number"),
rs.getString("root_hash"), rs.getInt("subscribers_count")
));
@@ -73,10 +73,26 @@ public final class SolanaUserPdaCurrentDAO {
try (PreparedStatement ps = c.prepareStatement(sql)) {
ps.setString(1, blockchainName);
try (ResultSet rs = ps.executeQuery()) {
if (!rs.next()) {
return null;
}
return mapRow(rs);
if (rs.next()) return mapRow(rs);
}
}
// Old forks remain valid separate blockchains even after root rotation.
String forkSql = """
SELECT u.login,
u.login || '-' || LPAD(((f.value ->> 'forkIndex')::integer + 1)::text, 3, '0') AS blockchain_name,
f.value ->> 'blockchainKey' AS blockchain_key,
(f.value ->> 'paidLimitBytes')::bigint AS paid_limit_bytes
FROM solana_user_pda_current u
CROSS JOIN LATERAL jsonb_array_elements(
COALESCE(NULLIF(u.blockchain_forks_json, ''), '[]')::jsonb
) AS f(value)
WHERE LOWER(u.login || '-' || LPAD(((f.value ->> 'forkIndex')::integer + 1)::text, 3, '0')) = LOWER(?)
LIMIT 1
""";
try (PreparedStatement ps = c.prepareStatement(forkSql)) {
ps.setString(1, blockchainName);
try (ResultSet rs = ps.executeQuery()) {
return rs.next() ? mapRow(rs) : null;
}
}
}
@@ -10,6 +10,7 @@ import java.sql.SQLException;
import java.sql.Types;
import java.util.ArrayList;
import java.util.List;
import java.util.Locale;
public final class UserNotificationsStateDAO {
private static volatile UserNotificationsStateDAO instance;
@@ -45,7 +46,7 @@ public final class UserNotificationsStateDAO {
""";
try (PreparedStatement ps = c.prepareStatement(sql)) {
int i = 1;
ps.setString(i++, e.getOwnerLogin());
ps.setString(i++, normalizedLogin(e.getOwnerLogin()));
ps.setString(i++, e.getNotificationKind());
ps.setLong(i++, e.getCreatedAtMs());
ps.setString(i++, e.getSourceLogin());
@@ -74,7 +75,7 @@ public final class UserNotificationsStateDAO {
""";
List<UserNotificationEntry> out = new ArrayList<>();
try (PreparedStatement ps = c.prepareStatement(sql)) {
ps.setString(1, ownerLogin);
ps.setString(1, normalizedLogin(ownerLogin));
ps.setString(2, kind);
ps.setInt(3, Math.max(1, limit));
try (ResultSet rs = ps.executeQuery()) {
@@ -96,7 +97,7 @@ public final class UserNotificationsStateDAO {
""";
List<UserNotificationEntry> out = new ArrayList<>();
try (PreparedStatement ps = c.prepareStatement(sql)) {
ps.setString(1, ownerLogin); ps.setString(2, kind); ps.setLong(3, Math.max(0, seenAtMs));
ps.setString(1, normalizedLogin(ownerLogin)); ps.setString(2, kind); ps.setLong(3, Math.max(0, seenAtMs));
ps.setLong(4, Math.max(0, cutoffMs));
try (ResultSet rs = ps.executeQuery()) { while (rs.next()) out.add(mapRow(rs)); }
}
@@ -106,7 +107,7 @@ public final class UserNotificationsStateDAO {
public long countUnseen(Connection c, String ownerLogin, String kind, long seenAtMs) throws SQLException {
String sql = "SELECT COUNT(*) FROM user_notifications_state WHERE owner_login = ? AND notification_kind = ? AND created_at_ms > ?";
try (PreparedStatement ps = c.prepareStatement(sql)) {
ps.setString(1, ownerLogin); ps.setString(2, kind); ps.setLong(3, Math.max(0, seenAtMs));
ps.setString(1, normalizedLogin(ownerLogin)); ps.setString(2, kind); ps.setLong(3, Math.max(0, seenAtMs));
try (ResultSet rs = ps.executeQuery()) { return rs.next() ? rs.getLong(1) : 0L; }
}
}
@@ -129,4 +130,12 @@ public final class UserNotificationsStateDAO {
e.setSourceText(rs.getString("source_text"));
return e;
}
/**
* owner_login — технический FK на normalized_login. Исходный регистр остаётся
* в полях подписанного блока и в отображаемых source/target login.
*/
private static String normalizedLogin(String login) {
return login == null ? null : login.trim().toLowerCase(Locale.ROOT);
}
}
@@ -116,7 +116,7 @@ public final class UserProfileStateDAO {
String sql;
if ("owned".equals(mode)) {
sql="""
SELECT cn.owner_login, cn.slug, cn.display_name, cn.ava_ar, cn.ava_sha256, cn.owner_bch_name,
SELECT cn.owner_login, cn.slug, cn.display_name, cn.ava_ar, cn.ava_pr, cn.owner_bch_name,
cn.channel_root_block_number, encode(cn.channel_root_block_hash,'hex') root_hash,
cn.is_deleted, cn.deleted_at_ms, cn.deleted_block_number
FROM channel_names_state cn
@@ -125,7 +125,7 @@ public final class UserProfileStateDAO {
""";
} else if ("following".equals(mode)) {
sql="""
SELECT DISTINCT cn.owner_login, cn.slug, cn.display_name, cn.ava_ar, cn.ava_sha256, cn.owner_bch_name,
SELECT DISTINCT cn.owner_login, cn.slug, cn.display_name, cn.ava_ar, cn.ava_pr, cn.owner_bch_name,
cn.channel_root_block_number, encode(cn.channel_root_block_hash,'hex') root_hash,
cn.is_deleted, cn.deleted_at_ms, cn.deleted_block_number
FROM connections_state cs
@@ -142,7 +142,7 @@ public final class UserProfileStateDAO {
ps.setString(1,login); ps.setBoolean(2,includeDeleted); ps.setInt(3,safeLimit); ps.setInt(4,safeOffset);
try(ResultSet rs=ps.executeQuery()){
while(rs.next()) out.add(new ChannelCard(
rs.getString("owner_login"), rs.getString("slug"), rs.getString("display_name"), rs.getString("ava_ar"), rs.getString("ava_sha256"),
rs.getString("owner_login"), rs.getString("slug"), rs.getString("display_name"), rs.getString("ava_ar"), rs.getString("ava_pr"),
rs.getString("owner_bch_name"), rs.getInt("channel_root_block_number"), rs.getString("root_hash"),
rs.getBoolean("is_deleted"), rs.getLong("deleted_at_ms"), (Integer) rs.getObject("deleted_block_number")
));
@@ -154,5 +154,5 @@ public final class UserProfileStateDAO {
private static ProfileCard map(ResultSet rs)throws SQLException{return new ProfileCard(rs.getString("login"),rs.getString("first_name"),rs.getString("last_name"),rs.getString("ava_ar"),rs.getString("account_role"),rs.getString("shine_status"));}
public record ProfileCard(String login,String firstName,String lastName,String avatarAr,String accountRole,String shineStatus){}
public record RelationCard(String login,String firstName,String lastName,String avatarAr,String accountRole,String shineStatus,boolean primaryConfirmed,boolean shineConfirmed,String relationType,int primaryConfirmationsCount,int shineConfirmationsCount){}
public record ChannelCard(String ownerLogin,String slug,String displayName,String avatarAr,String avatarSha256,String ownerBlockchainName,int rootBlockNumber,String rootBlockHashHex,boolean deleted,long deletedAtMs,Integer deletedBlockNumber){}
public record ChannelCard(String ownerLogin,String slug,String displayName,String avatarAr,String avatarPr,String ownerBlockchainName,int rootBlockNumber,String rootBlockHashHex,boolean deleted,long deletedAtMs,Integer deletedBlockNumber){}
}
@@ -1,6 +1,7 @@
package shine.db.entities;
import java.util.Base64;
import java.util.Locale;
/**
* Агрегатная сущность текущего состояния блокчейна.
@@ -42,14 +43,18 @@ public final class BlockchainStateEntry {
if (dash <= 0 || blockchainName.length()-dash-1 != 3) throw new IllegalArgumentException("Bad blockchainName: "+blockchainName);
int parsedFork=Integer.parseInt(blockchainName.substring(dash+1));
if (parsedFork < 1 || parsedFork > 999) throw new IllegalArgumentException("forkNumber must be 1..999");
this.login=blockchainName.substring(0,dash);
// Runtime-ключ цепочки всегда нормализован. Исходное написание
// зарегистрированного login хранится отдельно в user_identity_current.
this.login=blockchainName.substring(0,dash).trim().toLowerCase(Locale.ROOT);
this.forkNumber=parsedFork;
}
public int getForkNumber() { return forkNumber; }
public void setForkNumber(int forkNumber) { if (forkNumber < 1 || forkNumber > 999) throw new IllegalArgumentException("forkNumber must be 1..999"); this.forkNumber = forkNumber; }
public String getLogin() { return login; }
public void setLogin(String login) { this.login = login; }
public void setLogin(String login) {
this.login = login == null ? null : login.trim().toLowerCase(Locale.ROOT);
}
public String getBlockchainKey() { return blockchainKey; }
public void setBlockchainKey(String blockchainKey) { this.blockchainKey = blockchainKey; }
@@ -80,4 +85,4 @@ public final class BlockchainStateEntry {
public long getUpdatedAtMs() { return updatedAtMs; }
public void setUpdatedAtMs(long updatedAtMs) { this.updatedAtMs = updatedAtMs; }
}
}
@@ -14,7 +14,7 @@ public class ChannelNameStateEntry {
private byte[] channelRootBlockHash;
private long createdAtMs;
private String avaAr;
private String avaSha256;
private String avaPr;
private long avaSize;
private long metaUpdatedAtMs;
@@ -106,12 +106,12 @@ public class ChannelNameStateEntry {
this.avaAr = avaAr;
}
public String getAvaSha256() {
return avaSha256;
public String getAvaPr() {
return avaPr;
}
public void setAvaSha256(String avaSha256) {
this.avaSha256 = avaSha256;
public void setAvaPr(String avaPr) {
this.avaPr = avaPr;
}
public long getAvaSize() {
@@ -0,0 +1,7 @@
-- SHiNE v41: public channel avatars now use BitTorrent v2 PR (Base58), no SHA256 legacy.
BEGIN;
ALTER TABLE channel_names_state RENAME COLUMN ava_sha256 TO ava_pr;
-- Old sha256 hex values cannot be used as Pieces Root; no automatic conversion exists.
UPDATE channel_names_state SET ava_pr = '', ava_ar = '', ava_size = 0 WHERE ava_pr <> '';
UPDATE db_schema_version SET schema_version = 41 WHERE id = 1;
COMMIT;
@@ -0,0 +1,27 @@
-- SHiNE v42: журнал выдачи разрешений R2 (не подтверждение успешного PUT).
-- В DM записываются только зашифрованные объекты (включая манифест), без имени и MIME.
BEGIN;
CREATE TABLE IF NOT EXISTS public_file_uploads (
id BIGINT GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
user_login TEXT NOT NULL,
file_hash TEXT NOT NULL,
file_size_bytes BIGINT NOT NULL CHECK (file_size_bytes > 0),
disposition TEXT NOT NULL CHECK (disposition IN ('upload_url_issued', 'already_exists')),
requested_at TIMESTAMPTZ NOT NULL DEFAULT now()
);
CREATE INDEX IF NOT EXISTS public_file_uploads_user_time_idx ON public_file_uploads (user_login, requested_at DESC);
CREATE INDEX IF NOT EXISTS public_file_uploads_hash_idx ON public_file_uploads (file_hash);
CREATE TABLE IF NOT EXISTS dm_file_uploads (
id BIGINT GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
user_login TEXT NOT NULL,
file_hash TEXT NOT NULL,
file_size_bytes BIGINT NOT NULL CHECK (file_size_bytes > 0),
disposition TEXT NOT NULL CHECK (disposition IN ('upload_url_issued', 'already_exists')),
requested_at TIMESTAMPTZ NOT NULL DEFAULT now()
);
CREATE INDEX IF NOT EXISTS dm_file_uploads_user_time_idx ON dm_file_uploads (user_login, requested_at DESC);
CREATE INDEX IF NOT EXISTS dm_file_uploads_hash_idx ON dm_file_uploads (file_hash);
UPDATE db_schema_version SET schema_version = 42, updated_at_ms = (EXTRACT(EPOCH FROM clock_timestamp()) * 1000)::BIGINT WHERE id = 1;
COMMIT;
@@ -0,0 +1,43 @@
-- v43: runtime-идентичность blockchain_state совпадает с normalized_login.
-- Исходный регистр зарегистрированного имени остаётся в user_identity_current.login
-- и никогда не переписывает подписанные сертификаты или блоки.
BEGIN;
-- blocks_store уже использует normalized_login. Временно снимаем составной FK,
-- чтобы привести родительские строки blockchain_state к тому же ключу.
ALTER TABLE blocks_store DROP CONSTRAINT IF EXISTS fk_blocks_physical_fork;
ALTER TABLE blockchain_state_store DROP CONSTRAINT IF EXISTS blockchain_state_login_fkey;
-- v36-совместимость подставляла display login, что несовместимо с blocks_store.
DROP TRIGGER IF EXISTS trg_canonical_identity_blockchain_state_store_login
ON blockchain_state_store;
UPDATE blockchain_state_store
SET login = LOWER(BTRIM(login))
WHERE login IS DISTINCT FROM LOWER(BTRIM(login));
ALTER TABLE blockchain_state_store
ADD CONSTRAINT blockchain_state_login_fkey
FOREIGN KEY (login) REFERENCES user_identity_current(normalized_login);
ALTER TABLE blocks_store
ADD CONSTRAINT fk_blocks_physical_fork
FOREIGN KEY (login, fork_number)
REFERENCES blockchain_state_store(login, fork_number);
CREATE OR REPLACE FUNCTION shine_normalize_blockchain_state_login()
RETURNS TRIGGER LANGUAGE plpgsql AS $$
BEGIN
NEW.login := LOWER(BTRIM(NEW.login));
RETURN NEW;
END $$;
CREATE TRIGGER trg_normalize_blockchain_state_login
BEFORE INSERT OR UPDATE OF login ON blockchain_state_store
FOR EACH ROW EXECUTE FUNCTION shine_normalize_blockchain_state_login();
UPDATE db_schema_version
SET schema_version = 43,
updated_at_ms = CAST(EXTRACT(EPOCH FROM clock_timestamp()) * 1000 AS BIGINT)
WHERE id = 1;
COMMIT;
@@ -0,0 +1,29 @@
-- v44: owner_login уведомлений — технический ключ normalized_login.
-- Исходный регистр остаётся в содержимом подписанных блоков и полях source/target.
BEGIN;
UPDATE user_notifications_state
SET owner_login = LOWER(BTRIM(owner_login))
WHERE owner_login IS DISTINCT FROM LOWER(BTRIM(owner_login));
DROP TRIGGER IF EXISTS trg_canonical_identity_user_notifications_state_owner_login
ON user_notifications_state;
DROP TRIGGER IF EXISTS trg_normalize_user_notifications_state_owner_login
ON user_notifications_state;
CREATE OR REPLACE FUNCTION shine_normalize_user_notification_owner_login()
RETURNS TRIGGER LANGUAGE plpgsql AS $$
BEGIN
NEW.owner_login := LOWER(BTRIM(NEW.owner_login));
RETURN NEW;
END $$;
CREATE TRIGGER trg_normalize_user_notifications_state_owner_login
BEFORE INSERT OR UPDATE OF owner_login ON user_notifications_state
FOR EACH ROW EXECUTE FUNCTION shine_normalize_user_notification_owner_login();
UPDATE db_schema_version
SET schema_version = 44,
updated_at_ms = CAST(EXTRACT(EPOCH FROM clock_timestamp()) * 1000 AS BIGINT)
WHERE id = 1;
COMMIT;
@@ -34,9 +34,14 @@ dependencies {
implementation project(':shine-server-db') // модуль для работы с БД содержит и сущности из БД и саму работу с БД
implementation project(':shine-server-geo') // модуль для определения геолокации по IP
testImplementation 'org.junit.jupiter:junit-jupiter:5.11.0'
}
test {
useJUnitPlatform()
}
java {
sourceCompatibility = JavaVersion.VERSION_17
targetCompatibility = JavaVersion.VERSION_17
@@ -143,7 +143,7 @@ public final class SolanaUserPdaImportService {
if (!MAGIC.equals(new String(raw, 0, 5, StandardCharsets.UTF_8))) return null;
int major = u8(raw, 5);
int minor = u8(raw, 6);
if (major != 1 || minor != 2) return null;
if (major != 1 || (minor != 2 && minor != 3)) return null;
return parseUserPdaV12(raw);
}
@@ -256,7 +256,7 @@ public final class SolanaUserPdaImportService {
if (!MAGIC.equals(new String(raw, 0, 5, StandardCharsets.UTF_8))) return null;
int major = u8(raw, 5);
int minor = u8(raw, 6);
if (major != 1 || minor != 2) return null;
if (major != 1 || (minor != 2 && minor != 3)) return null;
return parseServerProfileV12(raw);
}
@@ -0,0 +1,24 @@
package server.logic.ws_protocol.JSON.handlers.avatars;
import java.math.BigInteger;
import java.util.regex.Pattern;
/** Canonical 32-byte BitTorrent v2 pieces root encoded as Bitcoin Base58. */
public final class PiecesRootValidator {
private static final String ALPHABET = "123456789ABCDEFGHJKLMNPQRSTUVWXYZabcdefghijkmnopqrstuvwxyz";
private static final Pattern B58 = Pattern.compile("^[1-9A-HJ-NP-Za-km-z]{32,44}$");
private PiecesRootValidator() {}
public static boolean valid(String root) {
if (root == null || !B58.matcher(root).matches()) return false;
int leadingZeros = 0;
while (leadingZeros < root.length() && root.charAt(leadingZeros) == '1') leadingZeros++;
BigInteger value = BigInteger.ZERO;
for (int i = leadingZeros; i < root.length(); i++) {
int digit = ALPHABET.indexOf(root.charAt(i));
if (digit < 0) return false;
value = value.multiply(BigInteger.valueOf(58)).add(BigInteger.valueOf(digit));
}
int dataBytes = value.signum() == 0 ? 0 : (value.bitLength() + 7) / 8;
return leadingZeros + dataBytes == 32;
}
}
@@ -38,6 +38,8 @@ import shine.db.dao.BlocksDAO;
import shine.db.dao.CanonicalChainResolver;
import shine.db.dao.ChannelNameStateDAO;
import shine.db.dao.CurrentUsersDAO;
import shine.db.dao.SolanaUserPdaCurrentDAO;
import shine.db.entities.SolanaUserPdaCurrentEntry;
import shine.db.dao.UserNotificationsStateDAO;
import shine.db.dao.UserParamsDAO;
import shine.db.entities.BlockchainStateEntry;
@@ -53,6 +55,7 @@ import java.util.List;
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.concurrent.locks.ReentrantLock;
/**
@@ -67,6 +70,11 @@ public final class Net_AddBlock_Handler implements JsonMessageHandler {
private static final Logger log = LoggerFactory.getLogger(Net_AddBlock_Handler.class);
private static long resolveChainLimit(String blockchainName) throws SQLException {
SolanaUserPdaCurrentEntry current = SolanaUserPdaCurrentDAO.getInstance().getByBlockchainName(blockchainName);
return current == null ? 0L : current.getPaidLimitBytes();
}
private final BlocksDAO blocksDAO = BlocksDAO.getInstance();
private final CanonicalChainResolver canonicalChain = CanonicalChainResolver.getInstance();
private final BlockchainStateDAO stateDAO = BlockchainStateDAO.getInstance();
@@ -281,7 +289,7 @@ public final class Net_AddBlock_Handler implements JsonMessageHandler {
recovered.setBlockchainName(user.getBlockchainName());
recovered.setLogin(user.getLogin());
recovered.setBlockchainKey(user.getBlockchainKey());
recovered.setSizeLimit(100_000L);
recovered.setSizeLimit(Math.max(0L, resolveChainLimit(user.getBlockchainName())));
recovered.setFileSizeBytes(0L);
recovered.setLastBlockNumber(-1);
recovered.setLastBlockHash(new byte[32]);
@@ -335,7 +343,12 @@ public final class Net_AddBlock_Handler implements JsonMessageHandler {
// 3) лимит (оставляем как было)
try {
long oldSize = st.getFileSizeBytes();
long limit = st.getSizeLimit();
// Current synced Solana PDA is authoritative; free users have no PDA.
long limit = resolveChainLimit(blockchainName);
if (limit != st.getSizeLimit()) {
stateDAO.updateSizeLimit(blockchainName, limit);
st.setSizeLimit(limit);
}
long newSize = safeAdd(oldSize, blockBytes.length);
if (limit > 0 && newSize > limit) {
@@ -454,7 +467,7 @@ public final class Net_AddBlock_Handler implements JsonMessageHandler {
? ""
: ChannelNameRules.normalizeDisplayName(createChannelBody.channelDescription);
String avaAr = "";
String avaSha256 = "";
String avaPr = "";
long avaSize = 0L;
long metaUpdatedAtMs = 0L;
if (channelTypeCode == (CreateChannelBody.CHANNEL_TYPE_PUBLIC & 0xFFFF)) {
@@ -463,7 +476,7 @@ public final class Net_AddBlock_Handler implements JsonMessageHandler {
displayName = createMeta.title();
channelDescription = createMeta.description();
avaAr = createMeta.avaAr();
avaSha256 = createMeta.avaSha256();
avaPr = createMeta.avaPr();
avaSize = createMeta.avaSize();
metaUpdatedAtMs = block.timestamp * 1000L;
} catch (IllegalArgumentException e) {
@@ -476,7 +489,7 @@ public final class Net_AddBlock_Handler implements JsonMessageHandler {
channelNameStateEntry.setDisplayName(displayName);
channelNameStateEntry.setChannelDescription(channelDescription);
channelNameStateEntry.setAvaAr(avaAr);
channelNameStateEntry.setAvaSha256(avaSha256);
channelNameStateEntry.setAvaPr(avaPr);
channelNameStateEntry.setAvaSize(avaSize);
channelNameStateEntry.setMetaUpdatedAtMs(metaUpdatedAtMs);
channelNameStateEntry.setOwnerLogin(login);
@@ -519,7 +532,7 @@ public final class Net_AddBlock_Handler implements JsonMessageHandler {
channelMetaUpdateEntry.setDisplayName(parsedMeta.title());
channelMetaUpdateEntry.setChannelDescription(parsedMeta.description());
channelMetaUpdateEntry.setAvaAr(parsedMeta.avaAr());
channelMetaUpdateEntry.setAvaSha256(parsedMeta.avaSha256());
channelMetaUpdateEntry.setAvaPr(parsedMeta.avaPr());
channelMetaUpdateEntry.setAvaSize(parsedMeta.avaSize());
channelMetaUpdateEntry.setMetaUpdatedAtMs(block.timestamp * 1000L);
}
@@ -0,0 +1,92 @@
package server.logic.ws_protocol.JSON.handlers.channels;
import java.nio.charset.StandardCharsets;
import java.util.HashSet;
import java.util.Set;
import java.util.regex.Pattern;
/** Только проверка небезопасных входящих маркеров v=2. Исходный TEXT не переписывается. */
final class AttachmentMarkerValidator {
private static final Pattern ROOT = Pattern.compile("[1-9A-HJ-NP-Za-km-z]{32,44}");
private static final Pattern SHA = Pattern.compile("[0-9a-f]{64}");
private static final Pattern TX_ID = Pattern.compile("[A-Za-z0-9_-]{43}");
private static final Pattern MIME = Pattern.compile("(?i)[a-z0-9!#$&^_.+-]+/[a-z0-9!#$&^_.+-]+");
private static final Set<String> ALLOWED = Set.of("v", "nm", "sz", "pr", "sha256", "mm", "ar");
private AttachmentMarkerValidator() { }
static boolean validateLeadingV2Markers(String raw) {
String text = raw == null ? "" : raw;
int offset = 0;
for (int i = 0; i < 10; i++) {
String prefix;
if (text.startsWith("<S:att;", offset)) prefix = "<S:att;";
else if (text.startsWith("<S:attach;", offset)) prefix = "<S:attach;";
else if (text.startsWith("<SHiNE:attach;", offset)) prefix = "<SHiNE:attach;";
else return true;
int start = offset + prefix.length();
int end = text.indexOf('>', start);
if (end < 0 || end - start > 2048 || text.substring(start, end).contains("\n")) return false;
String fields = text.substring(start, end);
if (java.util.Arrays.stream(fields.split(";", -1)).anyMatch(field -> field.matches("v\\s*=\\s*0*2"))) {
if (!validateV2(fields)) return false;
}
offset = end + 1;
if (offset >= text.length()) return true;
if (text.charAt(offset) != '\n') return false;
offset++;
}
// Больше десяти технических тегов трактуем как недопустимые метаданные.
return !text.startsWith("<S:att;", offset) && !text.startsWith("<S:attach;", offset)
&& !text.startsWith("<SHiNE:attach;", offset);
}
private static boolean validateV2(String rawFields) {
String[] fields = rawFields.split(";", -1);
if (fields.length < 4 || !fields[0].equals("v=2")) return false;
Set<String> seen = new HashSet<>();
String name = null, size = null, root = null, sha = null, mime = null, ar = null;
for (String part : fields) {
int index = part.indexOf('=');
if (index <= 0 || part.indexOf('=', index + 1) >= 0) return false;
String key = part.substring(0, index);
String value = part.substring(index + 1);
if (!ALLOWED.contains(key) || !seen.add(key) || value.isEmpty()) return false;
switch (key) {
case "v": if (!value.equals("2")) return false; break;
case "nm": name = value; break;
case "sz": size = value; break;
case "pr": root = value; break;
case "sha256": sha = value; break;
case "mm": mime = value; break;
case "ar": ar = value; break;
default: return false;
}
}
if (name == null || size == null || !seen.contains("v") || (root == null) == (sha == null)) return false;
if (!size.matches("[1-9][0-9]{0,18}")) return false;
try { if (Long.parseLong(size) < 1) return false; } catch (NumberFormatException e) { return false; }
if (root != null && !ROOT.matcher(root).matches()) return false;
if (sha != null && !SHA.matcher(sha).matches()) return false;
if (mime != null && (mime.length() > 127 || !MIME.matcher(mime).matches())) return false;
if (ar != null && !TX_ID.matcher(ar).matches()) return false;
StringBuilder decoded = new StringBuilder();
for (int i = 0; i < name.length(); i++) {
char ch = name.charAt(i);
if (ch == '%') {
if (i + 2 >= name.length()) return false;
String code = name.substring(i + 1, i + 3).toUpperCase(java.util.Locale.ROOT);
ch = switch (code) {
case "25" -> '%'; case "3B" -> ';'; case "3D" -> '=';
case "3C" -> '<'; case "3E" -> '>'; default -> 0;
};
if (ch == 0) return false;
i += 2;
} else if (ch == '<' || ch == '>' || ch == '=' || ch == ';') return false;
if (ch < 32 || ch == 127) return false;
decoded.append(ch);
}
return decoded.toString().getBytes(StandardCharsets.UTF_8).length <= 255;
}
}
@@ -1,5 +1,6 @@
package server.logic.ws_protocol.JSON.handlers.channels;
import server.logic.ws_protocol.JSON.handlers.avatars.PiecesRootValidator;
import java.util.HashMap;
import java.util.Map;
@@ -15,7 +16,7 @@ public final class ChannelMetaTextParser {
String text = String.valueOf(rawText == null ? "" : rawText);
String title = "";
String avaAr = "";
String avaSha256 = "";
String avaPr = "";
long avaSize = 0L;
boolean seenTitle = false;
boolean seenAvatar = false;
@@ -33,10 +34,14 @@ public final class ChannelMetaTextParser {
} else if (body.startsWith("avatar;") || body.startsWith("ava;")) {
if (seenAvatar) throw new IllegalArgumentException("duplicate_channel_meta_avatar");
seenAvatar = true;
Avatar avatar = parseAvatarTag(body);
avaAr = avatar.ar;
avaSha256 = avatar.sha256;
avaSize = avatar.size;
// Old SHA/hex avatars are not supported. Ignore just the avatar, not the whole channel.
// Otherwise rebuilding the index from an old channel block would remove that channel.
if (!body.matches("(?:ava|avatar);v=1;.*")) {
Avatar avatar = parseAvatarTag(body);
avaAr = avatar.ar;
avaPr = avatar.pr;
avaSize = avatar.size;
}
} else {
throw new IllegalArgumentException("unknown_channel_meta_tag");
}
@@ -52,7 +57,7 @@ public final class ChannelMetaTextParser {
String cleanTitle = title.isBlank() ? String.valueOf(fallbackTitle == null ? "" : fallbackTitle).trim() : title.trim();
validateTitle(cleanTitle);
return new Parsed(cleanTitle, description, avaAr, avaSha256, avaSize);
return new Parsed(cleanTitle, description, avaAr, avaPr, avaSize);
}
private static String parseTitleTag(String body) {
@@ -68,12 +73,12 @@ public final class ChannelMetaTextParser {
? body.substring("ava;".length())
: body.substring("avatar;".length());
Map<String, String> fields = parseFields(rawFields);
if (!"1".equals(fields.get("v"))) throw new IllegalArgumentException("bad_channel_meta_avatar_version");
if (!"2".equals(fields.get("v"))) throw new IllegalArgumentException("bad_channel_meta_avatar_version");
String ar = String.valueOf(fields.getOrDefault("ar", "")).trim();
String sha256 = String.valueOf(fields.getOrDefault("sha256", "")).trim().toLowerCase();
String pr = String.valueOf(fields.getOrDefault("pr", "")).trim();
String sizeRaw = String.valueOf(fields.containsKey("sz") ? fields.get("sz") : fields.getOrDefault("size", "")).trim();
if (!ar.isEmpty() && !ar.matches("^[A-Za-z0-9_-]{43}$")) throw new IllegalArgumentException("bad_channel_meta_avatar_ar");
if (!sha256.matches("^[0-9a-f]{64}$")) throw new IllegalArgumentException("bad_channel_meta_avatar_sha256");
if (!PiecesRootValidator.valid(pr)) throw new IllegalArgumentException("bad_channel_meta_avatar_pr");
long size;
try {
size = Long.parseLong(sizeRaw);
@@ -81,7 +86,7 @@ public final class ChannelMetaTextParser {
throw new IllegalArgumentException("bad_channel_meta_avatar_size");
}
if (size <= 0L) throw new IllegalArgumentException("bad_channel_meta_avatar_size");
return new Avatar(ar, sha256, size);
return new Avatar(ar, pr, size);
}
private static boolean startsWithTagPrefix(String text, int offset) {
@@ -122,7 +127,7 @@ public final class ChannelMetaTextParser {
return String.valueOf(value == null ? "" : value).codePointCount(0, String.valueOf(value == null ? "" : value).length());
}
private record Avatar(String ar, String sha256, long size) {}
private record Avatar(String ar, String pr, long size) {}
public record Parsed(String title, String description, String avaAr, String avaSha256, long avaSize) {}
public record Parsed(String title, String description, String avaAr, String avaPr, long avaSize) {}
}
@@ -92,7 +92,7 @@ public final class ChannelNamesStateBootstrapper {
final int channelTypeCode;
final int channelTypeVersion;
String avaAr = "";
String avaSha256 = "";
String avaPr = "";
long avaSize = 0L;
long metaUpdatedAtMs = 0L;
try {
@@ -106,7 +106,7 @@ public final class ChannelNamesStateBootstrapper {
displayName = createMeta.title();
channelDescription = createMeta.description();
avaAr = createMeta.avaAr();
avaSha256 = createMeta.avaSha256();
avaPr = createMeta.avaPr();
avaSize = createMeta.avaSize();
metaUpdatedAtMs = parsed.timestamp * 1000L;
}
@@ -128,7 +128,7 @@ public final class ChannelNamesStateBootstrapper {
entry.setDisplayName(displayName);
entry.setChannelDescription(channelDescription == null ? "" : channelDescription);
entry.setAvaAr(avaAr);
entry.setAvaSha256(avaSha256);
entry.setAvaPr(avaPr);
entry.setAvaSize(avaSize);
entry.setMetaUpdatedAtMs(metaUpdatedAtMs);
entry.setOwnerLogin(ownerLogin);
@@ -280,7 +280,7 @@ public final class ChannelNamesStateBootstrapper {
update.setDisplayName(parsedMeta.title());
update.setChannelDescription(parsedMeta.description());
update.setAvaAr(parsedMeta.avaAr());
update.setAvaSha256(parsedMeta.avaSha256());
update.setAvaPr(parsedMeta.avaPr());
update.setAvaSize(parsedMeta.avaSize());
update.setMetaUpdatedAtMs(parsed.timestamp * 1000L);
dao.updateMeta(c, update);
@@ -5,6 +5,7 @@ import blockchain.body.BodyRecord;
import blockchain.body.CreateChannelBody;
import blockchain.body.TextLineBody;
import blockchain.body.TextReplyBody;
import server.logic.ws_protocol.JSON.handlers.channels.entyties.Net_GetChannelMessages_Response;
import shine.db.channels.ChannelNameRules;
import shine.db.MsgSubType;
import shine.db.sql.CurrentUsersSql;
@@ -68,7 +69,7 @@ final class ChannelsReadSupport {
String stateSql = """
SELECT slug, display_name, channel_description, channel_type_code, channel_type_version,
created_at_ms, ava_ar, ava_sha256, ava_size, meta_updated_at_ms, is_deleted, deleted_at_ms, deleted_block_number
created_at_ms, ava_ar, ava_pr, ava_size, meta_updated_at_ms, is_deleted, deleted_at_ms, deleted_block_number
FROM channel_names_state
WHERE LOWER(owner_login)=LOWER(?) AND channel_root_block_number = ?
LIMIT 1
@@ -85,7 +86,7 @@ final class ChannelsReadSupport {
meta.channelTypeVersion = rs.getInt("channel_type_version");
meta.createdAtMs = rs.getLong("created_at_ms");
meta.avaAr = String.valueOf(rs.getString("ava_ar") == null ? "" : rs.getString("ava_ar"));
meta.avaSha256 = String.valueOf(rs.getString("ava_sha256") == null ? "" : rs.getString("ava_sha256"));
meta.avaPr = String.valueOf(rs.getString("ava_pr") == null ? "" : rs.getString("ava_pr"));
meta.avaSize = rs.getLong("ava_size");
meta.metaUpdatedAtMs = rs.getLong("meta_updated_at_ms");
meta.deleted = rs.getBoolean("is_deleted");
@@ -130,7 +131,7 @@ final class ChannelsReadSupport {
meta.displayName = parsedMeta.title();
meta.channelDescription = parsedMeta.description();
meta.avaAr = parsedMeta.avaAr();
meta.avaSha256 = parsedMeta.avaSha256();
meta.avaPr = parsedMeta.avaPr();
meta.avaSize = parsedMeta.avaSize();
meta.createdAtMs = e.timestamp * 1000L;
meta.metaUpdatedAtMs = e.timestamp * 1000L;
@@ -226,6 +227,7 @@ final class ChannelsReadSupport {
} else if (e.body instanceof blockchain.body.StatusActionBody sab) {
ti.text = sab.message;
}
ti.attachmentMetadataValid = AttachmentMarkerValidator.validateLeadingV2Markers(ti.text);
return ti;
} catch (Exception ex) {
return new TextInfo();
@@ -236,7 +238,7 @@ final class ChannelsReadSupport {
String order = asc ? "ASC" : "DESC";
boolean bounded = limit > 0;
String sql = """
SELECT login,bch_name,block_number,block_hash,block_bytes,to_bch_name,to_block_number,to_block_hash,msg_sub_type,this_line_number
SELECT login,bch_name,block_number,block_hash,block_bytes,data_item_id,arweave_publish_pending,arweave_published_at_ms,to_bch_name,to_block_number,to_block_hash,msg_sub_type,this_line_number
FROM blocks
WHERE LOWER(login)=LOWER(?) AND msg_type=? AND msg_sub_type IN (?, ?, ?, ?, ?, ?) AND line_code=?
AND fork_number=shine_canonical_fork(login,(SELECT substring(blockchain_name from '([0-9]{3})$')::INTEGER FROM user_identity_current WHERE LOWER(login)=LOWER(?) LIMIT 1),block_number)
@@ -263,6 +265,9 @@ final class ChannelsReadSupport {
pb.blockNumber = rs.getInt("block_number");
pb.blockHash = rs.getBytes("block_hash");
pb.blockBytes = rs.getBytes("block_bytes");
pb.dataItemId = rs.getBytes("data_item_id");
pb.arweavePublishPending = rs.getBoolean("arweave_publish_pending");
pb.arweavePublishedAtMs = (Long) rs.getObject("arweave_published_at_ms");
pb.toBchName = rs.getString("to_bch_name");
pb.toBlockNumber = (Integer) rs.getObject("to_block_number");
pb.toBlockHash = rs.getBytes("to_block_hash");
@@ -286,7 +291,7 @@ final class ChannelsReadSupport {
static List<PostBlock> versionsForPost(Connection c, String ownerBch, int originalBlock, byte[] originalHash) throws SQLException {
String sql = """
SELECT login,bch_name,block_number,block_hash,block_bytes
SELECT login,bch_name,block_number,block_hash,block_bytes,data_item_id,arweave_publish_pending,arweave_published_at_ms
FROM blocks
WHERE LOWER(login)=LOWER(?) AND msg_type=? AND msg_sub_type=?
AND to_block_number=? AND to_block_hash=?
@@ -309,6 +314,9 @@ final class ChannelsReadSupport {
pb.blockNumber = rs.getInt("block_number");
pb.blockHash = rs.getBytes("block_hash");
pb.blockBytes = rs.getBytes("block_bytes");
pb.dataItemId = rs.getBytes("data_item_id");
pb.arweavePublishPending = rs.getBoolean("arweave_publish_pending");
pb.arweavePublishedAtMs = (Long) rs.getObject("arweave_published_at_ms");
out.add(pb);
}
return out;
@@ -497,7 +505,7 @@ final class ChannelsReadSupport {
event.title = parsedMeta.title();
event.description = parsedMeta.description();
event.avaAr = parsedMeta.avaAr();
event.avaSha256 = parsedMeta.avaSha256();
event.avaPr = parsedMeta.avaPr();
event.avaSize = parsedMeta.avaSize();
}
}
@@ -509,7 +517,7 @@ final class ChannelsReadSupport {
}
if (event.description == null) event.description = "";
if (event.avaAr == null) event.avaAr = "";
if (event.avaSha256 == null) event.avaSha256 = "";
if (event.avaPr == null) event.avaPr = "";
out.add(event);
}
}
@@ -545,7 +553,7 @@ final class ChannelsReadSupport {
event.title = parsed.title();
event.description = parsed.description();
event.avaAr = parsed.avaAr();
event.avaSha256 = parsed.avaSha256();
event.avaPr = parsed.avaPr();
event.avaSize = parsed.avaSize();
out.add(event);
} catch (Exception ignored) {
@@ -703,12 +711,27 @@ final class ChannelsReadSupport {
|| subType == MsgSubType.TEXT_COURSE;
}
static String dataItemIdBase64Url(byte[] bytes) {
return bytes != null && bytes.length == 32
? java.util.Base64.getUrlEncoder().withoutPadding().encodeToString(bytes) : null;
}
static void setStorageInfo(Net_GetChannelMessages_Response.VersionItem out, byte[] id, boolean pending, Long publishedAt, byte[] raw) {
out.setArweaveDataItemId(dataItemIdBase64Url(id));
out.setArweavePublishPending(pending);
out.setArweavePublishedAtMs(publishedAt);
out.setSignedDataItemBytes(raw == null ? null : raw.length);
}
static final class PostBlock {
String login;
String bchName;
int blockNumber;
byte[] blockHash;
byte[] blockBytes;
byte[] dataItemId;
boolean arweavePublishPending;
Long arweavePublishedAtMs;
String toBchName;
Integer toBlockNumber;
byte[] toBlockHash;
@@ -717,6 +740,7 @@ final class ChannelsReadSupport {
}
static final class TextInfo {
boolean attachmentMetadataValid = true;
String text = "";
long createdAtMs = 0L;
}
@@ -728,7 +752,7 @@ final class ChannelsReadSupport {
int channelTypeCode;
int channelTypeVersion;
String avaAr = "";
String avaSha256 = "";
String avaPr = "";
long avaSize = 0L;
long createdAtMs = 0L;
long metaUpdatedAtMs = 0L;
@@ -748,7 +772,7 @@ final class ChannelsReadSupport {
String title;
String description;
String avaAr;
String avaSha256;
String avaPr;
long avaSize;
}
@@ -67,7 +67,7 @@ public class Net_GetChannelMessages_Handler implements JsonMessageHandler {
channel.setDisplayName(meta.displayName == null || meta.displayName.isBlank() ? meta.channelName : meta.displayName);
channel.setChannelDescription(meta.channelDescription);
channel.setAvaAr(meta.avaAr);
channel.setAvaSha256(meta.avaSha256);
channel.setAvaPr(meta.avaPr);
channel.setAvaSize(meta.avaSize);
channel.setMetaUpdatedAtMs(meta.metaUpdatedAtMs);
channel.setCreatedAtMs(meta.createdAtMs);
@@ -98,7 +98,7 @@ public class Net_GetChannelMessages_Handler implements JsonMessageHandler {
outEvent.setTitle(event.title);
outEvent.setDescription(event.description);
outEvent.setAvaAr(event.avaAr);
outEvent.setAvaSha256(event.avaSha256);
outEvent.setAvaPr(event.avaPr);
outEvent.setAvaSize(event.avaSize);
metaEvents.add(outEvent);
}
@@ -152,7 +152,9 @@ public class Net_GetChannelMessages_Handler implements JsonMessageHandler {
v1.setBlockNumber(post.blockNumber);
v1.setBlockHash(ChannelsReadSupport.toHex(post.blockHash));
v1.setText(postText.text);
v1.setAttachmentMetadataValid(postText.attachmentMetadataValid);
v1.setCreatedAtMs(postText.createdAtMs);
ChannelsReadSupport.setStorageInfo(v1, post.dataItemId, post.arweavePublishPending, post.arweavePublishedAtMs, post.blockBytes);
versionsOut.add(v1);
if (ChannelsReadSupport.supportsEditPostVersions(post.msgSubType)) {
@@ -164,13 +166,20 @@ public class Net_GetChannelMessages_Handler implements JsonMessageHandler {
ve.setBlockNumber(edit.blockNumber);
ve.setBlockHash(ChannelsReadSupport.toHex(edit.blockHash));
ve.setText(editText.text);
ve.setAttachmentMetadataValid(editText.attachmentMetadataValid);
ve.setCreatedAtMs(editText.createdAtMs);
ChannelsReadSupport.setStorageInfo(ve, edit.dataItemId, edit.arweavePublishPending, edit.arweavePublishedAtMs, edit.blockBytes);
versionsOut.add(ve);
}
}
item.setVersions(versionsOut);
item.setVersionsTotal(versionsOut.size());
item.setAttachmentMetadataValid(v1.isAttachmentMetadataValid());
item.setArweaveDataItemId(v1.getArweaveDataItemId());
item.setArweavePublishPending(v1.getArweavePublishPending());
item.setArweavePublishedAtMs(v1.getArweavePublishedAtMs());
item.setSignedDataItemBytes(v1.getSignedDataItemBytes());
Net_GetChannelMessages_Response.VersionItem lastV = versionsOut.get(versionsOut.size() - 1);
item.setText(lastV.getText());
@@ -1,4 +1,5 @@
package server.logic.ws_protocol.JSON.handlers.channels;
import server.logic.ws_protocol.JSON.handlers.profile.AvatarValueParser;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
@@ -72,7 +73,9 @@ public class Net_GetMessageLikes_Handler implements JsonMessageHandler {
user.setLogin(rs.getString("from_login"));
user.setFirstName(rs.getString("first_name"));
user.setLastName(rs.getString("last_name"));
user.setAvatarAr(rs.getString("avatar_ar"));
var avatar = AvatarValueParser.parse(rs.getString("avatar_ar"));
user.setAvatarAr(avatar.ar());
user.setAvatarPr(avatar.pr());
boolean isOfficial = "primary".equalsIgnoreCase(rs.getString("account_role"));
boolean isShining = "shining".equalsIgnoreCase(rs.getString("shine_status"));
@@ -19,7 +19,6 @@ import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.util.Comparator;
import java.util.ArrayList;
import java.util.Base64;
import java.util.List;
import java.util.Map;
import java.util.HashMap;
@@ -116,7 +115,7 @@ public class Net_GetMessageThread_Handler implements JsonMessageHandler {
private List<PostRow> findRepliesAndRatings(Connection c, String toBchName, int toBlockNumber, byte[] toBlockHash, int limit) throws Exception {
String targetLogin = ChannelsReadSupport.loginFromChainName(toBchName);
String sql = """
SELECT login,bch_name,block_number,block_hash,block_bytes,to_login,to_bch_name,to_block_number,to_block_hash,line_code,msg_sub_type,this_line_number
SELECT login,bch_name,block_number,block_hash,block_bytes,data_item_id,arweave_publish_pending,arweave_published_at_ms,to_login,to_bch_name,to_block_number,to_block_hash,line_code,msg_sub_type,this_line_number
FROM blocks
WHERE msg_type=1
AND to_block_number=? AND to_block_hash=?
@@ -153,7 +152,7 @@ public class Net_GetMessageThread_Handler implements JsonMessageHandler {
private PostRow findByLogicalTarget(Connection c, String login, int blockNumber, byte[] blockHash) throws Exception {
String sql = """
SELECT login,bch_name,block_number,block_hash,block_bytes,to_login,to_bch_name,to_block_number,to_block_hash,line_code,msg_sub_type,this_line_number
SELECT login,bch_name,block_number,block_hash,block_bytes,data_item_id,arweave_publish_pending,arweave_published_at_ms,to_login,to_bch_name,to_block_number,to_block_hash,line_code,msg_sub_type,this_line_number
FROM blocks
WHERE LOWER(login)=LOWER(?) AND block_number=? AND block_hash=?
AND fork_number=shine_canonical_fork(login,(SELECT substring(blockchain_name from '([0-9]{3})$')::INTEGER FROM solana_user_pda_current WHERE LOWER(login)=LOWER(?) LIMIT 1),block_number)
@@ -172,7 +171,7 @@ public class Net_GetMessageThread_Handler implements JsonMessageHandler {
private PostRow findByNumber(Connection c, String bchName, int blockNumber) throws Exception {
String sql = """
SELECT login,bch_name,block_number,block_hash,block_bytes,to_login,to_bch_name,to_block_number,to_block_hash,line_code,msg_sub_type,this_line_number
SELECT login,bch_name,block_number,block_hash,block_bytes,data_item_id,arweave_publish_pending,arweave_published_at_ms,to_login,to_bch_name,to_block_number,to_block_hash,line_code,msg_sub_type,this_line_number
FROM blocks
WHERE LOWER(login)=LOWER(?) AND block_number=?
AND fork_number=shine_canonical_fork(login,(SELECT substring(blockchain_name from '([0-9]{3})$')::INTEGER FROM solana_user_pda_current WHERE LOWER(login)=LOWER(?) LIMIT 1),block_number)
@@ -191,7 +190,7 @@ public class Net_GetMessageThread_Handler implements JsonMessageHandler {
private PostRow findByNumberAndHash(Connection c, String bchName, int blockNumber, byte[] blockHash) throws Exception {
String sql = """
SELECT login,bch_name,block_number,block_hash,block_bytes,to_login,to_bch_name,to_block_number,to_block_hash,line_code,msg_sub_type,this_line_number
SELECT login,bch_name,block_number,block_hash,block_bytes,data_item_id,arweave_publish_pending,arweave_published_at_ms,to_login,to_bch_name,to_block_number,to_block_hash,line_code,msg_sub_type,this_line_number
FROM blocks
WHERE LOWER(login)=LOWER(?) AND block_number=? AND block_hash=?
AND fork_number=shine_canonical_fork(login,(SELECT substring(blockchain_name from '([0-9]{3})$')::INTEGER FROM solana_user_pda_current WHERE LOWER(login)=LOWER(?) LIMIT 1),block_number)
@@ -226,6 +225,9 @@ public class Net_GetMessageThread_Handler implements JsonMessageHandler {
row.blockNumber = rs.getInt("block_number");
row.blockHash = rs.getBytes("block_hash");
row.blockBytes = rs.getBytes("block_bytes");
row.dataItemId = rs.getBytes("data_item_id");
row.arweavePublishPending = rs.getBoolean("arweave_publish_pending");
row.arweavePublishedAtMs = (Long) rs.getObject("arweave_published_at_ms");
row.toLogin = rs.getString("to_login");
row.toBchName = rs.getString("to_bch_name");
row.toBlockNumber = (Integer) rs.getObject("to_block_number");
@@ -259,7 +261,13 @@ public class Net_GetMessageThread_Handler implements JsonMessageHandler {
first.setBlockNumber(row.blockNumber);
first.setBlockHash(ChannelsReadSupport.toHex(row.blockHash));
first.setText(base.text);
first.setAttachmentMetadataValid(base.attachmentMetadataValid);
first.setCreatedAtMs(base.createdAtMs);
ChannelsReadSupport.setStorageInfo(first, row.dataItemId, row.arweavePublishPending, row.arweavePublishedAtMs, row.blockBytes);
node.setArweaveDataItemId(first.getArweaveDataItemId());
node.setArweavePublishPending(first.getArweavePublishPending());
node.setArweavePublishedAtMs(first.getArweavePublishedAtMs());
node.setSignedDataItemBytes(first.getSignedDataItemBytes());
versions.add(first);
if (row.msgSubType == MsgSubType.TEXT_REPLY
@@ -275,19 +283,18 @@ public class Net_GetMessageThread_Handler implements JsonMessageHandler {
v.setBlockNumber(edit.blockNumber);
v.setBlockHash(ChannelsReadSupport.toHex(edit.blockHash));
v.setText(et.text);
v.setAttachmentMetadataValid(et.attachmentMetadataValid);
v.setCreatedAtMs(et.createdAtMs);
ChannelsReadSupport.setStorageInfo(v, edit.dataItemId, edit.arweavePublishPending, edit.arweavePublishedAtMs, edit.blockBytes);
versions.add(v);
}
}
node.setVersions(versions);
node.setVersionsTotal(versions.size());
node.setAttachmentMetadataValid(first.isAttachmentMetadataValid());
node.setText(versions.get(versions.size() - 1).getText());
if (row.blockBytes != null) {
node.setRawBlockB64(Base64.getEncoder().encodeToString(row.blockBytes));
}
int[] stats = ChannelsReadSupport.loadStats(c, row.bchName, row.blockNumber, row.blockHash);
node.setLikesCount(stats[0]);
node.setPrimaryLikesCount(stats[3]);
@@ -310,7 +317,7 @@ public class Net_GetMessageThread_Handler implements JsonMessageHandler {
private List<PostRow> findEdits(Connection c, String bch, int targetBlock, byte[] targetHash, int subType) throws Exception {
String sql = """
SELECT login,bch_name,block_number,block_hash,block_bytes,to_login,to_bch_name,to_block_number,to_block_hash,line_code,msg_sub_type,this_line_number
SELECT login,bch_name,block_number,block_hash,block_bytes,data_item_id,arweave_publish_pending,arweave_published_at_ms,to_login,to_bch_name,to_block_number,to_block_hash,line_code,msg_sub_type,this_line_number
FROM blocks
WHERE LOWER(login)=LOWER(?) AND msg_type=1 AND msg_sub_type=?
AND to_block_number=? AND to_block_hash=?
@@ -338,6 +345,9 @@ public class Net_GetMessageThread_Handler implements JsonMessageHandler {
int blockNumber;
byte[] blockHash;
byte[] blockBytes;
byte[] dataItemId;
boolean arweavePublishPending;
Long arweavePublishedAtMs;
String toLogin;
String toBchName;
Integer toBlockNumber;
@@ -72,7 +72,7 @@ public class Net_ListSubscriptionsFeed_Handler implements JsonMessageHandler {
channelRef.setDisplayName(meta.displayName == null || meta.displayName.isBlank() ? meta.channelName : meta.displayName);
channelRef.setChannelDescription(meta.channelDescription);
channelRef.setAvaAr(meta.avaAr);
channelRef.setAvaSha256(meta.avaSha256);
channelRef.setAvaPr(meta.avaPr);
channelRef.setAvaSize(meta.avaSize);
channelRef.setMetaUpdatedAtMs(meta.metaUpdatedAtMs);
channelRef.setChannelTypeCode(meta.channelTypeCode);
@@ -34,7 +34,7 @@ public class Net_SearchChannels_Handler implements JsonMessageHandler {
var item = new Net_SearchChannels_Response.ChannelItem();
item.setOwnerLogin(match.ownerLogin()); item.setSlug(match.slug());
item.setDisplayName(match.displayName()); item.setDescription(match.description());
item.setAvatarAr(match.avatarAr()); item.setAvatarSha256(match.avatarSha256());
item.setAvatarAr(match.avatarAr()); item.setAvatarPr(match.avatarPr());
item.setOwnerBlockchainName(match.ownerBlockchainName());
item.setRootBlockNumber(match.rootBlockNumber()); item.setRootBlockHashHex(match.rootBlockHashHex());
item.setSubscribersCount(match.subscribersCount());
@@ -27,7 +27,7 @@ public class Net_GetChannelMessages_Response extends Net_Response {
private String displayName;
private String channelDescription;
private String avaAr;
private String avaSha256;
private String avaPr;
private Long avaSize;
private Long metaUpdatedAtMs;
private Long createdAtMs;
@@ -57,8 +57,8 @@ public class Net_GetChannelMessages_Response extends Net_Response {
public String getAvaAr() { return avaAr; }
public void setAvaAr(String avaAr) { this.avaAr = avaAr; }
public String getAvaSha256() { return avaSha256; }
public void setAvaSha256(String avaSha256) { this.avaSha256 = avaSha256; }
public String getAvaPr() { return avaPr; }
public void setAvaPr(String avaPr) { this.avaPr = avaPr; }
public Long getAvaSize() { return avaSize; }
public void setAvaSize(Long avaSize) { this.avaSize = avaSize; }
@@ -99,7 +99,7 @@ public class Net_GetChannelMessages_Response extends Net_Response {
private String title;
private String description;
private String avaAr;
private String avaSha256;
private String avaPr;
private Long avaSize;
public String getKind() { return kind; }
@@ -129,8 +129,8 @@ public class Net_GetChannelMessages_Response extends Net_Response {
public String getAvaAr() { return avaAr; }
public void setAvaAr(String avaAr) { this.avaAr = avaAr; }
public String getAvaSha256() { return avaSha256; }
public void setAvaSha256(String avaSha256) { this.avaSha256 = avaSha256; }
public String getAvaPr() { return avaPr; }
public void setAvaPr(String avaPr) { this.avaPr = avaPr; }
public Long getAvaSize() { return avaSize; }
public void setAvaSize(Long avaSize) { this.avaSize = avaSize; }
@@ -159,6 +159,11 @@ public class Net_GetChannelMessages_Response extends Net_Response {
private int repliesCount;
private int ratingsCount;
private int versionsTotal;
private boolean attachmentMetadataValid = true;
private String arweaveDataItemId;
private Boolean arweavePublishPending;
private Long arweavePublishedAtMs;
private Integer signedDataItemBytes;
private List<VersionItem> versions = new ArrayList<>();
public BlockRef getMessageRef() { return messageRef; }
@@ -221,6 +226,17 @@ public class Net_GetChannelMessages_Response extends Net_Response {
public int getRatingsCount() { return ratingsCount; }
public void setRatingsCount(int ratingsCount) { this.ratingsCount = ratingsCount; }
public boolean isAttachmentMetadataValid() { return attachmentMetadataValid; }
public void setAttachmentMetadataValid(boolean value) { this.attachmentMetadataValid = value; }
public String getArweaveDataItemId() { return arweaveDataItemId; }
public void setArweaveDataItemId(String value) { this.arweaveDataItemId = value; }
public Boolean getArweavePublishPending() { return arweavePublishPending; }
public void setArweavePublishPending(Boolean value) { this.arweavePublishPending = value; }
public Long getArweavePublishedAtMs() { return arweavePublishedAtMs; }
public void setArweavePublishedAtMs(Long value) { this.arweavePublishedAtMs = value; }
public Integer getSignedDataItemBytes() { return signedDataItemBytes; }
public void setSignedDataItemBytes(Integer value) { this.signedDataItemBytes = value; }
public int getVersionsTotal() { return versionsTotal; }
public void setVersionsTotal(int versionsTotal) { this.versionsTotal = versionsTotal; }
@@ -234,6 +250,22 @@ public class Net_GetChannelMessages_Response extends Net_Response {
private String blockHash;
private String text;
private long createdAtMs;
private boolean attachmentMetadataValid = true;
private String arweaveDataItemId;
private Boolean arweavePublishPending;
private Long arweavePublishedAtMs;
private Integer signedDataItemBytes;
public boolean isAttachmentMetadataValid() { return attachmentMetadataValid; }
public void setAttachmentMetadataValid(boolean value) { this.attachmentMetadataValid = value; }
public String getArweaveDataItemId() { return arweaveDataItemId; }
public void setArweaveDataItemId(String value) { this.arweaveDataItemId = value; }
public Boolean getArweavePublishPending() { return arweavePublishPending; }
public void setArweavePublishPending(Boolean value) { this.arweavePublishPending = value; }
public Long getArweavePublishedAtMs() { return arweavePublishedAtMs; }
public void setArweavePublishedAtMs(Long value) { this.arweavePublishedAtMs = value; }
public Integer getSignedDataItemBytes() { return signedDataItemBytes; }
public void setSignedDataItemBytes(Integer value) { this.signedDataItemBytes = value; }
public int getVersionIndex() { return versionIndex; }
public void setVersionIndex(int versionIndex) { this.versionIndex = versionIndex; }
@@ -27,6 +27,7 @@ public class Net_GetMessageLikes_Response extends Net_Response {
private String firstName;
private String lastName;
private String avatarAr;
private String avatarPr;
public String getLogin() { return login; }
public void setLogin(String login) { this.login = login; }
@@ -36,5 +37,7 @@ public class Net_GetMessageLikes_Response extends Net_Response {
public void setLastName(String lastName) { this.lastName = lastName; }
public String getAvatarAr() { return avatarAr; }
public void setAvatarAr(String avatarAr) { this.avatarAr = avatarAr; }
public String getAvatarPr() { return avatarPr; }
public void setAvatarPr(String avatarPr) { this.avatarPr = avatarPr; }
}
}
@@ -21,13 +21,10 @@ public class Net_GetMessageThread_Response extends Net_Response {
public static class MessageNode extends Net_GetChannelMessages_Response.MessageItem {
private ChannelInfo channelInfo;
private String rawBlockB64;
public ChannelInfo getChannelInfo() { return channelInfo; }
public void setChannelInfo(ChannelInfo channelInfo) { this.channelInfo = channelInfo; }
public String getRawBlockB64() { return rawBlockB64; }
public void setRawBlockB64(String rawBlockB64) { this.rawBlockB64 = rawBlockB64; }
}
public static class ChannelInfo {
@@ -57,7 +57,7 @@ public class Net_ListSubscriptionsFeed_Response extends Net_Response {
private String displayName;
private String channelDescription;
private String avaAr;
private String avaSha256;
private String avaPr;
private Long avaSize;
private Long metaUpdatedAtMs;
private Integer channelTypeCode;
@@ -86,8 +86,8 @@ public class Net_ListSubscriptionsFeed_Response extends Net_Response {
public String getAvaAr() { return avaAr; }
public void setAvaAr(String avaAr) { this.avaAr = avaAr; }
public String getAvaSha256() { return avaSha256; }
public void setAvaSha256(String avaSha256) { this.avaSha256 = avaSha256; }
public String getAvaPr() { return avaPr; }
public void setAvaPr(String avaPr) { this.avaPr = avaPr; }
public Long getAvaSize() { return avaSize; }
public void setAvaSize(Long avaSize) { this.avaSize = avaSize; }
@@ -10,7 +10,7 @@ public class Net_SearchChannels_Response extends Net_Response {
public void setChannels(List<ChannelItem> channels) { this.channels = channels; }
public static class ChannelItem {
private String ownerLogin, slug, displayName, description, avatarAr, avatarSha256,
private String ownerLogin, slug, displayName, description, avatarAr, avatarPr,
ownerBlockchainName, rootBlockHashHex;
private int rootBlockNumber, subscribersCount;
public String getOwnerLogin() { return ownerLogin; }
@@ -23,8 +23,8 @@ public class Net_SearchChannels_Response extends Net_Response {
public void setDescription(String v) { description = v; }
public String getAvatarAr() { return avatarAr; }
public void setAvatarAr(String v) { avatarAr = v; }
public String getAvatarSha256() { return avatarSha256; }
public void setAvatarSha256(String v) { avatarSha256 = v; }
public String getAvatarPr() { return avatarPr; }
public void setAvatarPr(String v) { avatarPr = v; }
public String getOwnerBlockchainName() { return ownerBlockchainName; }
public void setOwnerBlockchainName(String v) { ownerBlockchainName = v; }
public int getRootBlockNumber() { return rootBlockNumber; }
@@ -297,7 +297,7 @@ public class Net_GetUserConnectionsGraph_Handler implements JsonMessageHandler {
if (!parsed.ok()) return null;
Net_GetUserConnectionsGraph_Response.AvatarItem avatar = new Net_GetUserConnectionsGraph_Response.AvatarItem();
avatar.setAr(parsed.ar());
avatar.setSha256Hex(parsed.sha256Hex());
avatar.setPr(parsed.pr());
return avatar;
}
@@ -63,7 +63,7 @@ public class Net_ListContacts_Handler implements JsonMessageHandler {
AvatarValueParser.Parsed parsed = AvatarValueParser.parse(value);
if (!parsed.ok()) return out;
out.setAr(parsed.ar());
out.setSha256Hex(parsed.sha256Hex());
out.setPr(parsed.pr());
return out;
}
@@ -39,12 +39,12 @@ public class Net_GetUserConnectionsGraph_Response extends Net_Response {
public static class AvatarItem {
private String ar;
private String sha256Hex;
private String pr;
public String getAr() { return ar; }
public void setAr(String ar) { this.ar = ar; }
public String getSha256Hex() { return sha256Hex; }
public void setSha256Hex(String sha256Hex) { this.sha256Hex = sha256Hex; }
public String getPr() { return pr; }
public void setPr(String pr) { this.pr = pr; }
}
public static class RelativeItem {
@@ -56,10 +56,10 @@ public class Net_ListContacts_Response extends Net_Response {
public static class Avatar {
private String ar;
private String sha256Hex;
private String pr;
public String getAr() { return ar; }
public void setAr(String ar) { this.ar = ar; }
public String getSha256Hex() { return sha256Hex; }
public void setSha256Hex(String sha256Hex) { this.sha256Hex = sha256Hex; }
public String getPr() { return pr; }
public void setPr(String pr) { this.pr = pr; }
}
}
@@ -1,57 +1,38 @@
package server.logic.ws_protocol.JSON.handlers.profile;
import server.logic.ws_protocol.JSON.handlers.avatars.PiecesRootValidator;
import java.util.HashMap;
import java.util.Map;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/** Avatar v2 only. No SHA256/hex or legacy avatar tag support. */
public final class AvatarValueParser {
private static final Pattern NEW_TAG = Pattern.compile("^<(?:SHiNE|S):(?:ava|avatar);([^>]*)>$");
private static final Pattern LEGACY_AR = Pattern.compile("AR:([A-Za-z0-9_-]{43})");
private static final Pattern LEGACY_SHA = Pattern.compile("SHA256:([A-Fa-f0-9]{64})");
private static final Pattern TAG = Pattern.compile("^<S:ava;([^>]*)>$");
private static final Pattern AR = Pattern.compile("^[A-Za-z0-9_-]{43}$");
private static final Pattern SHA = Pattern.compile("^[A-Fa-f0-9]{64}$");
private AvatarValueParser() {}
public static Parsed parse(String rawValue) {
String raw = String.valueOf(rawValue == null ? "" : rawValue).trim();
if (raw.isEmpty()) return new Parsed("", "", 0L, false);
Matcher tag = NEW_TAG.matcher(raw);
if (tag.matches()) {
Map<String, String> fields = fields(tag.group(1));
if (!"1".equals(fields.get("v"))) return new Parsed("", "", 0L, false);
String ar = String.valueOf(fields.getOrDefault("ar", "")).trim();
String sha = String.valueOf(fields.getOrDefault("sha256", "")).trim().toLowerCase();
String sizeRaw = String.valueOf(fields.containsKey("sz") ? fields.get("sz") : fields.getOrDefault("size", "")).trim();
if (!ar.isEmpty() && !AR.matcher(ar).matches()) return new Parsed("", "", 0L, false);
if (!SHA.matcher(sha).matches()) return new Parsed("", "", 0L, false);
long size;
try { size = Long.parseLong(sizeRaw); } catch (Exception e) { return new Parsed("", "", 0L, false); }
if (size <= 0L) return new Parsed("", "", 0L, false);
return new Parsed(ar, sha, size, true);
}
Matcher arMatcher = LEGACY_AR.matcher(raw);
Matcher shaMatcher = LEGACY_SHA.matcher(raw);
String ar = arMatcher.find() ? arMatcher.group(1) : "";
String sha = shaMatcher.find() ? shaMatcher.group(1).toLowerCase() : "";
if (!AR.matcher(ar).matches()) return new Parsed("", "", 0L, false);
return new Parsed(ar, SHA.matcher(sha).matches() ? sha : "", 0L, true);
Matcher tag = TAG.matcher(raw);
if (!tag.matches()) return new Parsed("", "", 0L, false);
Map<String, String> fields = fields(tag.group(1));
if (!"2".equals(fields.get("v"))) return new Parsed("", "", 0L, false);
String ar = fields.getOrDefault("ar", "").trim();
String pr = fields.getOrDefault("pr", "").trim();
if ((!ar.isEmpty() && !AR.matcher(ar).matches()) || !PiecesRootValidator.valid(pr))
return new Parsed("", "", 0L, false);
long size;
try { size = Long.parseLong(fields.getOrDefault("sz", "")); }
catch (Exception e) { return new Parsed("", "", 0L, false); }
return size > 0 ? new Parsed(ar, pr, size, true) : new Parsed("", "", 0L, false);
}
private static Map<String, String> fields(String raw) {
Map<String, String> out = new HashMap<>();
for (String part : String.valueOf(raw == null ? "" : raw).split(";")) {
for (String part : raw.split(";")) {
int eq = part.indexOf('=');
if (eq <= 0) continue;
String key = part.substring(0, eq).trim();
String value = part.substring(eq + 1).trim();
if (!key.isEmpty()) out.put(key, value);
if (eq > 0) out.put(part.substring(0, eq).trim(), part.substring(eq + 1).trim());
}
return out;
}
public record Parsed(String ar, String sha256Hex, long size, boolean ok) {}
public record Parsed(String ar, String pr, long size, boolean ok) {}
}
@@ -1,3 +1,3 @@
package server.logic.ws_protocol.JSON.handlers.profile;
import server.logic.ws_protocol.JSON.*;import server.logic.ws_protocol.JSON.entyties.*;import server.logic.ws_protocol.JSON.handlers.JsonMessageHandler;import server.logic.ws_protocol.JSON.handlers.profile.entyties.*;import server.logic.ws_protocol.JSON.utils.NetExceptionResponseFactory;import server.logic.ws_protocol.WireCodes;import shine.db.dao.UserProfileStateDAO;import java.sql.*;import java.util.*;
public class Net_ListUserProfileChannels_Handler implements JsonMessageHandler {public Net_Response handle(Net_Request base,ConnectionContext ctx)throws Exception{var req=(Net_ListUserProfileChannels_Request)base;if(req.getLogin()==null||req.getLogin().isBlank())return NetExceptionResponseFactory.error(req,400,"BAD_FIELDS","login required");try(Connection c=shine.db.DbController.getInstance().getConnection()){var rows=UserProfileStateDAO.getInstance().listPublicChannels(c,req.getLogin(),req.getMode(),Boolean.TRUE.equals(req.getIncludeDeleted()),req.getLimit()==null?100:req.getLimit(),req.getOffset()==null?0:req.getOffset());var resp=new Net_ListUserProfileChannels_Response();resp.setOp(req.getOp());resp.setRequestId(req.getRequestId());resp.setStatus(WireCodes.Status.OK);resp.setLogin(req.getLogin());resp.setMode(req.getMode());List<Net_ListUserProfileChannels_Response.ChannelItem> items=new ArrayList<>();for(var r:rows){var i=new Net_ListUserProfileChannels_Response.ChannelItem();i.setOwnerLogin(r.ownerLogin());i.setSlug(r.slug());i.setDisplayName(r.displayName());i.setAvatarAr(r.avatarAr());i.setAvatarSha256(r.avatarSha256());i.setOwnerBlockchainName(r.ownerBlockchainName());i.setRootBlockNumber(r.rootBlockNumber());i.setRootBlockHashHex(r.rootBlockHashHex());i.setDeleted(r.deleted());i.setDeletedAtMs(r.deletedAtMs());i.setDeletedBlockNumber(r.deletedBlockNumber());items.add(i);}resp.setChannels(items);return resp;}}}
public class Net_ListUserProfileChannels_Handler implements JsonMessageHandler {public Net_Response handle(Net_Request base,ConnectionContext ctx)throws Exception{var req=(Net_ListUserProfileChannels_Request)base;if(req.getLogin()==null||req.getLogin().isBlank())return NetExceptionResponseFactory.error(req,400,"BAD_FIELDS","login required");try(Connection c=shine.db.DbController.getInstance().getConnection()){var rows=UserProfileStateDAO.getInstance().listPublicChannels(c,req.getLogin(),req.getMode(),Boolean.TRUE.equals(req.getIncludeDeleted()),req.getLimit()==null?100:req.getLimit(),req.getOffset()==null?0:req.getOffset());var resp=new Net_ListUserProfileChannels_Response();resp.setOp(req.getOp());resp.setRequestId(req.getRequestId());resp.setStatus(WireCodes.Status.OK);resp.setLogin(req.getLogin());resp.setMode(req.getMode());List<Net_ListUserProfileChannels_Response.ChannelItem> items=new ArrayList<>();for(var r:rows){var i=new Net_ListUserProfileChannels_Response.ChannelItem();i.setOwnerLogin(r.ownerLogin());i.setSlug(r.slug());i.setDisplayName(r.displayName());i.setAvatarAr(r.avatarAr());i.setAvatarPr(r.avatarPr());i.setOwnerBlockchainName(r.ownerBlockchainName());i.setRootBlockNumber(r.rootBlockNumber());i.setRootBlockHashHex(r.rootBlockHashHex());i.setDeleted(r.deleted());i.setDeletedAtMs(r.deletedAtMs());i.setDeletedBlockNumber(r.deletedBlockNumber());items.add(i);}resp.setChannels(items);return resp;}}}
@@ -8,7 +8,7 @@ public class Net_ListUserProfileRelations_Handler implements JsonMessageHandler
try(Connection c=shine.db.DbController.getInstance().getConnection()){
var rows=UserProfileStateDAO.getInstance().listRelations(c,req.getLogin(),req.getListType(),req.getLimit()==null?100:req.getLimit(),req.getOffset()==null?0:req.getOffset());
var resp=new Net_ListUserProfileRelations_Response(); resp.setOp(req.getOp());resp.setRequestId(req.getRequestId());resp.setStatus(WireCodes.Status.OK);resp.setLogin(req.getLogin());resp.setListType(req.getListType());
List<Net_ListUserProfileRelations_Response.UserItem> items=new ArrayList<>(); for(var r:rows){var i=new Net_ListUserProfileRelations_Response.UserItem();i.setLogin(r.login());i.setFirstName(r.firstName());i.setLastName(r.lastName());i.setAvatarAr(r.avatarAr());i.setAccountRole(r.accountRole());i.setShineStatus(r.shineStatus());i.setRelationType(r.relationType());i.setPrimaryConfirmed(r.primaryConfirmed());i.setShineConfirmed(r.shineConfirmed());i.setPrimaryConfirmationsCount(r.primaryConfirmationsCount());i.setShineConfirmationsCount(r.shineConfirmationsCount());items.add(i);} resp.setUsers(items);return resp;
List<Net_ListUserProfileRelations_Response.UserItem> items=new ArrayList<>(); for(var r:rows){var i=new Net_ListUserProfileRelations_Response.UserItem();i.setLogin(r.login());i.setFirstName(r.firstName());i.setLastName(r.lastName());var avatar = AvatarValueParser.parse(r.avatarAr());i.setAvatarAr(avatar.ar());i.setAvatarPr(avatar.pr());i.setAccountRole(r.accountRole());i.setShineStatus(r.shineStatus());i.setRelationType(r.relationType());i.setPrimaryConfirmed(r.primaryConfirmed());i.setShineConfirmed(r.shineConfirmed());i.setPrimaryConfirmationsCount(r.primaryConfirmationsCount());i.setShineConfirmationsCount(r.shineConfirmationsCount());items.add(i);} resp.setUsers(items);return resp;
}
}
}
@@ -1,3 +1,3 @@
package server.logic.ws_protocol.JSON.handlers.profile.entyties;
import server.logic.ws_protocol.JSON.entyties.Net_Response;import java.util.*;
public class Net_ListUserProfileChannels_Response extends Net_Response {private String login,mode;private List<ChannelItem> channels=new ArrayList<>();public String getLogin(){return login;}public void setLogin(String v){login=v;}public String getMode(){return mode;}public void setMode(String v){mode=v;}public List<ChannelItem> getChannels(){return channels;}public void setChannels(List<ChannelItem> v){channels=v;}public static class ChannelItem{private String ownerLogin,slug,displayName,avatarAr,avatarSha256,ownerBlockchainName,rootBlockHashHex;private int rootBlockNumber;private boolean deleted;private long deletedAtMs;private Integer deletedBlockNumber;public String getOwnerLogin(){return ownerLogin;}public void setOwnerLogin(String v){ownerLogin=v;}public String getSlug(){return slug;}public void setSlug(String v){slug=v;}public String getDisplayName(){return displayName;}public void setDisplayName(String v){displayName=v;}public String getAvatarAr(){return avatarAr;}public void setAvatarAr(String v){avatarAr=v;}public String getAvatarSha256(){return avatarSha256;}public void setAvatarSha256(String v){avatarSha256=v;}public String getOwnerBlockchainName(){return ownerBlockchainName;}public void setOwnerBlockchainName(String v){ownerBlockchainName=v;}public int getRootBlockNumber(){return rootBlockNumber;}public void setRootBlockNumber(int v){rootBlockNumber=v;}public String getRootBlockHashHex(){return rootBlockHashHex;}public void setRootBlockHashHex(String v){rootBlockHashHex=v;}public boolean isDeleted(){return deleted;}public void setDeleted(boolean v){deleted=v;}public long getDeletedAtMs(){return deletedAtMs;}public void setDeletedAtMs(long v){deletedAtMs=v;}public Integer getDeletedBlockNumber(){return deletedBlockNumber;}public void setDeletedBlockNumber(Integer v){deletedBlockNumber=v;}}}
public class Net_ListUserProfileChannels_Response extends Net_Response {private String login,mode;private List<ChannelItem> channels=new ArrayList<>();public String getLogin(){return login;}public void setLogin(String v){login=v;}public String getMode(){return mode;}public void setMode(String v){mode=v;}public List<ChannelItem> getChannels(){return channels;}public void setChannels(List<ChannelItem> v){channels=v;}public static class ChannelItem{private String ownerLogin,slug,displayName,avatarAr,avatarPr,ownerBlockchainName,rootBlockHashHex;private int rootBlockNumber;private boolean deleted;private long deletedAtMs;private Integer deletedBlockNumber;public String getOwnerLogin(){return ownerLogin;}public void setOwnerLogin(String v){ownerLogin=v;}public String getSlug(){return slug;}public void setSlug(String v){slug=v;}public String getDisplayName(){return displayName;}public void setDisplayName(String v){displayName=v;}public String getAvatarAr(){return avatarAr;}public void setAvatarAr(String v){avatarAr=v;}public String getAvatarPr(){return avatarPr;}public void setAvatarPr(String v){avatarPr=v;}public String getOwnerBlockchainName(){return ownerBlockchainName;}public void setOwnerBlockchainName(String v){ownerBlockchainName=v;}public int getRootBlockNumber(){return rootBlockNumber;}public void setRootBlockNumber(int v){rootBlockNumber=v;}public String getRootBlockHashHex(){return rootBlockHashHex;}public void setRootBlockHashHex(String v){rootBlockHashHex=v;}public boolean isDeleted(){return deleted;}public void setDeleted(boolean v){deleted=v;}public long getDeletedAtMs(){return deletedAtMs;}public void setDeletedAtMs(long v){deletedAtMs=v;}public Integer getDeletedBlockNumber(){return deletedBlockNumber;}public void setDeletedBlockNumber(Integer v){deletedBlockNumber=v;}}}
@@ -7,12 +7,13 @@ public class Net_ListUserProfileRelations_Response extends Net_Response {
public String getListType(){return listType;} public void setListType(String v){listType=v;}
public List<UserItem> getUsers(){return users;} public void setUsers(List<UserItem> v){users=v;}
public static class UserItem {
private String login,firstName,lastName,avatarAr,accountRole,shineStatus,relationType;
private String login,firstName,lastName,avatarAr,avatarPr,accountRole,shineStatus,relationType;
private boolean primaryConfirmed,shineConfirmed; private int primaryConfirmationsCount,shineConfirmationsCount;
public String getLogin(){return login;} public void setLogin(String v){login=v;}
public String getFirstName(){return firstName;} public void setFirstName(String v){firstName=v;}
public String getLastName(){return lastName;} public void setLastName(String v){lastName=v;}
public String getAvatarAr(){return avatarAr;} public void setAvatarAr(String v){avatarAr=v;}
public String getAvatarPr(){return avatarPr;} public void setAvatarPr(String v){avatarPr=v;}
public String getAccountRole(){return accountRole;} public void setAccountRole(String v){accountRole=v;}
public String getShineStatus(){return shineStatus;} public void setShineStatus(String v){shineStatus=v;}
public String getRelationType(){return relationType;} public void setRelationType(String v){relationType=v;}
@@ -13,88 +13,113 @@ import server.logic.ws_protocol.JSON.utils.NetExceptionResponseFactory;
import server.logic.ws_protocol.WireCodes;
import java.net.SocketAddress;
import java.net.InetSocketAddress;
import java.util.HashMap;
import java.util.Iterator;
import java.util.Map;
/**
* ClientErrorLog — технический endpoint для фронтенд-ошибок.
* Не требует авторизации: клиент должен иметь возможность отправить ошибку
* даже если логин/сессия ещё не установлены.
*/
/** Единая точка диагностики ошибок браузера (доступна до авторизации). */
public class Net_ClientErrorLog_Handler implements JsonMessageHandler {
private static final Logger log = LoggerFactory.getLogger("client.frontend");
private static final long WINDOW_MS = 60_000L;
private static final int MAX_PER_SOURCE = 60;
private static final int MAX_ALL = 1200;
private static final int MAX_SOURCES = 4096;
private static final Map<String, Bucket> rateLimits = new HashMap<>();
private static long globalWindow = 0;
private static int globalCount = 0;
private static int cleanCounter = 0;
private static final Logger log = LoggerFactory.getLogger(Net_ClientErrorLog_Handler.class);
private static final class Bucket {
long start;
int count;
Bucket(long now) { start = now; }
}
@Override
public Net_Response handle(Net_Request baseRequest, ConnectionContext ctx) {
Net_ClientErrorLog_Request req = (Net_ClientErrorLog_Request) baseRequest;
if (req.getMessage() == null || req.getMessage().isBlank()) {
return NetExceptionResponseFactory.error(
req,
WireCodes.Status.BAD_REQUEST,
"BAD_FIELDS",
"Поле message обязательно для ClientErrorLog"
);
if (req.getMessage() == null || req.getMessage().isBlank() || invalidSize(req)) {
return NetExceptionResponseFactory.error(req, WireCodes.Status.BAD_REQUEST,
"BAD_FIELDS", "Недопустимый размер или отсутствие message в ClientErrorLog");
}
long serverTs = System.currentTimeMillis();
String login = safe(ctx != null ? ctx.getLogin() : null);
String sessionId = safe(ctx != null ? ctx.getSessionId() : null);
String remote = safe(remoteAddress(ctx));
log.error(
"CLIENT_FRONTEND_ERROR kind={} clientTs={} serverTs={} login={} sessionId={} remote={} route={} href={} sourceUrl={} line={} column={} requestOp={} requestIdRef={} message={} userAgent={} context={}",
clip(req.getKind(), 64),
req.getClientTs(),
serverTs,
clip(login, 64),
clip(sessionId, 128),
clip(remote, 128),
clip(req.getRoute(), 200),
clip(req.getHref(), 240),
clip(req.getSourceUrl(), 240),
req.getLineNumber(),
req.getColumnNumber(),
clip(req.getRequestOp(), 64),
clip(req.getRequestIdRef(), 128),
clip(req.getMessage(), 500),
clip(req.getUserAgent(), 240),
clip(req.getContextJson(), 2000)
);
if (req.getStack() != null && !req.getStack().isBlank()) {
log.error("CLIENT_FRONTEND_ERROR_STACK requestId={} stack={}",
clip(req.getRequestId(), 128),
clip(req.getStack(), 8000));
boolean accepted = allow(remoteAddress(ctx), serverTs);
if (accepted) {
log.error("CLIENT_FRONTEND_ERROR id={} clientVersion={} kind={} clientTs={} serverTs={} login={} "
+ "route={} sourceUrl={} line={} column={} requestOp={} requestIdRef={} message={} "
+ "userAgent={} context={} stack={}",
clip(req.getErrorId(), 48), clip(req.getClientVersion(), 80),
clip(req.getKind(), 64), req.getClientTs(), serverTs,
clip(ctx != null ? ctx.getLogin() : null, 64), clip(req.getRoute(), 150),
clip(req.getSourceUrl(), 240), req.getLineNumber(), req.getColumnNumber(),
clip(req.getRequestOp(), 64), clip(req.getRequestIdRef(), 128),
clip(req.getMessage(), 500), clip(req.getUserAgent(), 240),
clip(req.getContextJson(), 800), clip(req.getStack(), 6000));
}
Net_ClientErrorLog_Response resp = new Net_ClientErrorLog_Response();
resp.setOp(req.getOp());
resp.setRequestId(req.getRequestId());
resp.setStatus(WireCodes.Status.OK);
resp.setAccepted(true);
resp.setAccepted(accepted); // false = ограничение частоты, отчёт не записан
resp.setServerTs(serverTs);
return resp;
}
private static String remoteAddress(ConnectionContext ctx) {
if (ctx == null) return "";
Session ws = ctx.getWsSession();
if (ws == null) return "";
SocketAddress remote = ws.getRemoteAddress();
return remote != null ? remote.toString() : "";
private static boolean invalidSize(Net_ClientErrorLog_Request req) {
return length(req.getMessage()) > 500 || length(req.getStack()) > 6000
|| length(req.getContextJson()) > 800 || length(req.getKind()) > 64
|| length(req.getSourceUrl()) > 240 || length(req.getUserAgent()) > 240
|| length(req.getErrorId()) > 48 || length(req.getClientVersion()) > 80
|| length(req.getRoute()) > 150 || length(req.getHref()) > 240
|| length(req.getRequestOp()) > 64 || length(req.getRequestIdRef()) > 128;
}
private static String safe(String value) {
return value == null ? "" : value.trim();
private static int length(String value) { return value == null ? 0 : value.length(); }
// Ограничение по IP WebSocket (не по полю JSON, которое клиент может подделать).
private static synchronized boolean allow(String source, long now) {
if (now - globalWindow >= WINDOW_MS) { globalWindow = now; globalCount = 0; }
if (globalCount >= MAX_ALL) return false;
if (rateLimits.size() >= MAX_SOURCES || ++cleanCounter % 128 == 0) {
Iterator<Map.Entry<String, Bucket>> it = rateLimits.entrySet().iterator();
while (it.hasNext()) {
if (now - it.next().getValue().start >= WINDOW_MS) it.remove();
}
}
Bucket bucket = rateLimits.get(source);
if (bucket == null) {
if (rateLimits.size() >= MAX_SOURCES) return false;
bucket = new Bucket(now);
rateLimits.put(source, bucket);
}
if (now - bucket.start >= WINDOW_MS) { bucket.start = now; bucket.count = 0; }
if (bucket.count >= MAX_PER_SOURCE) return false;
bucket.count++;
globalCount++;
return true;
}
private static String remoteAddress(ConnectionContext ctx) {
if (ctx == null) return "unknown";
Session session = ctx.getWsSession();
if (session == null) return "unknown";
SocketAddress remote = session.getRemoteAddress();
// Адрес не записывается в журнал и хранится только как ключ лимита на 1 минуту.
if (remote instanceof InetSocketAddress inet) {
return inet.getAddress() != null ? inet.getAddress().getHostAddress() : inet.getHostString();
}
return remote != null ? remote.toString() : "unknown";
}
private static String clip(String value, int maxLen) {
String cleaned = safe(value)
.replace('\n', ' ')
.replace('\r', ' ');
if (cleaned.length() <= maxLen) {
return cleaned;
}
return cleaned.substring(0, Math.max(0, maxLen - 3)) + "...";
if (value == null) return "";
String clean = value.replaceAll("[\\p{Cntrl}]", " ")
.replaceAll("(?i)\\bBearer\\s+[^\\s,;]+", "Bearer [REDACTED]")
.replaceAll("(?i)\\b(password|passwd|token|secret|privateKey|sessionId|authorization|apiKey|storagePwd)\\s*[:=]\\s*[^\\s,;}&]+", "$1=[REDACTED]")
.replaceAll("[A-Za-z0-9_+/=-]{96,}", "[REDACTED_LONG_VALUE]")
.replaceAll("(?i)[?&](token|key|password|secret|session|auth|code|signature)=[^&#\\s]+", "[REDACTED_PARAM]");
return clean.length() <= maxLen ? clean : clean.substring(0, Math.max(0, maxLen - 3)) + "...";
}
}
@@ -26,6 +26,8 @@ import server.logic.ws_protocol.JSON.entyties.Net_Request;
*/
public class Net_ClientErrorLog_Request extends Net_Request {
private String errorId;
private String clientVersion;
private String kind;
private String message;
private String stack;
@@ -40,6 +42,12 @@ public class Net_ClientErrorLog_Request extends Net_Request {
private String requestIdRef;
private String contextJson;
public String getErrorId() { return errorId; }
public void setErrorId(String errorId) { this.errorId = errorId; }
public String getClientVersion() { return clientVersion; }
public void setClientVersion(String clientVersion) { this.clientVersion = clientVersion; }
public String getKind() { return kind; }
public void setKind(String kind) { this.kind = kind; }
@@ -13,6 +13,8 @@ import server.logic.ws_protocol.WireCodes;
import shine.db.dao.BlockchainStateDAO;
import shine.db.DbController;
import shine.db.dao.CurrentUsersDAO;
import shine.db.dao.SolanaUserPdaCurrentDAO;
import shine.db.entities.SolanaUserPdaCurrentEntry;
import shine.db.entities.BlockchainStateEntry;
import shine.db.entities.CurrentUserEntry;
@@ -26,6 +28,11 @@ public class Net_GetUser_Handler implements JsonMessageHandler {
private static final Logger log = LoggerFactory.getLogger(Net_GetUser_Handler.class);
private static long resolveChainLimit(String blockchainName) throws SQLException {
SolanaUserPdaCurrentEntry current = SolanaUserPdaCurrentDAO.getInstance().getByBlockchainName(blockchainName);
return current == null ? 0L : current.getPaidLimitBytes();
}
@Override
public Net_Response handle(Net_Request baseRequest, ConnectionContext ctx) {
Net_GetUser_Request req = (Net_GetUser_Request) baseRequest;
@@ -80,7 +87,7 @@ public class Net_GetUser_Handler implements JsonMessageHandler {
st.setLastBlockNumber(-1);
st.setLastBlockHash(new byte[32]);
st.setFileSizeBytes(0);
st.setSizeLimit(1_000_000L);
st.setSizeLimit(Math.max(0L, resolveChainLimit(u.getBlockchainName())));
st.setUpdatedAtMs(System.currentTimeMillis());
stateDAO.upsert(st);
log.warn("GetUser: восстановлена запись blockchain_state для login={}, blockchainName={}",
@@ -6,6 +6,7 @@ import server.logic.ws_protocol.JSON.ConnectionContext;
import server.logic.ws_protocol.JSON.entyties.Net_Request;
import server.logic.ws_protocol.JSON.entyties.Net_Response;
import server.logic.ws_protocol.JSON.handlers.JsonMessageHandler;
import server.logic.ws_protocol.JSON.handlers.profile.AvatarValueParser;
import server.logic.ws_protocol.JSON.handlers.tempToTest.entyties.Net_SearchUsers_Request;
import server.logic.ws_protocol.JSON.handlers.tempToTest.entyties.Net_SearchUsers_Response;
import server.logic.ws_protocol.JSON.utils.NetExceptionResponseFactory;
@@ -50,7 +51,9 @@ public class Net_SearchUsers_Handler implements JsonMessageHandler {
var item = new Net_SearchUsers_Response.UserItem();
item.setLogin(card.login());
item.setDisplayName(card.displayName());
item.setAvatarAr(card.avatarAr());
AvatarValueParser.Parsed avatar = AvatarValueParser.parse(card.avatarAr());
item.setAvatarAr(avatar.ar());
item.setAvatarPr(avatar.pr());
users.add(item);
}
@@ -28,13 +28,15 @@ public class Net_SearchUsers_Response extends Net_Response {
public void setUsers(List<UserItem> users) { this.users = users; }
public static class UserItem {
private String login, displayName, avatarAr;
private String login, displayName, avatarAr, avatarPr;
public String getLogin() { return login; }
public void setLogin(String value) { login = value; }
public String getDisplayName() { return displayName; }
public void setDisplayName(String value) { displayName = value; }
public String getAvatarAr() { return avatarAr; }
public void setAvatarAr(String value) { avatarAr = value; }
public String getAvatarPr() { return avatarPr; }
public void setAvatarPr(String value) { avatarPr = value; }
}
@@ -139,7 +139,7 @@ public class Net_GetDirectMessages_Handler implements JsonMessageHandler {
AvatarValueParser.Parsed parsed = AvatarValueParser.parse(value);
if (!parsed.ok()) return out;
out.setAr(parsed.ar());
out.setSha256Hex(parsed.sha256Hex());
out.setPr(parsed.pr());
return out;
}
@@ -60,11 +60,11 @@ public class Net_GetDirectMessages_Response extends Net_Response {
public static class Avatar {
private String ar;
private String sha256Hex;
private String pr;
public String getAr() { return ar; }
public void setAr(String ar) { this.ar = ar; }
public String getSha256Hex() { return sha256Hex; }
public void setSha256Hex(String sha256Hex) { this.sha256Hex = sha256Hex; }
public String getPr() { return pr; }
public void setPr(String pr) { this.pr = pr; }
}
public static class MessageItem {
@@ -0,0 +1,25 @@
package server.logic.ws_protocol.JSON.handlers.channels;
import org.junit.jupiter.api.Test;
import static org.junit.jupiter.api.Assertions.*;
class AttachmentMarkerValidatorTest {
private static final String PR = "4vJ9JU1bJJE96FWSJKvHsmmFADCg4gpZQff4P3bkLKi";
private static String marker(String fields) { return "<S:att;" + fields + ">\nтекст"; }
@Test void validUnicodeAndEscapes() {
assertTrue(AttachmentMarkerValidator.validateLeadingV2Markers(marker("v=2;nm=Водопад%3Bлето%3D2026.mp4;sz=1837243;pr=" + PR + ";mm=video/mp4")));
assertTrue(AttachmentMarkerValidator.validateLeadingV2Markers("Обычный текст"));
}
@Test void rejectsMalformedV2WithoutChangingBlock() {
for (String fields : new String[]{
"v=2;nm=abc;sz=10;sz=20;pr=" + PR,
"v=2;nm=abc%ZZ;sz=10;pr=" + PR,
"v=2;nm=abc;unknown=x;sz=10;pr=" + PR,
"v=2;nm=abc;sz=-1;pr=" + PR,
"v=2;nm=abc;sz=10;pr=bad",
"nm=abc;v=2;sz=10;pr=" + PR
}) assertFalse(AttachmentMarkerValidator.validateLeadingV2Markers(marker(fields)), fields);
}
}
@@ -142,20 +142,17 @@ public final class ShineUsersCodec {
null
);
case IX_UPDATE_USERS_ECONOMY_CONFIG ->
new ParsedInstruction(
TxKind.UPDATE_USERS_ECONOMY_CONFIG,
false,
null,
null,
new EconomyConfigState(
1,
reader.readU64(),
reader.readU64(),
reader.readU64()
),
null
);
case IX_UPDATE_USERS_ECONOMY_CONFIG -> {
// Historical v1 transactions contain three u64s, v2 only update fee.
int payloadBytes = reader.remaining();
EconomyConfigState economy = switch (payloadBytes) {
case 8 -> new EconomyConfigState(2, 0L, 0L, 0L, reader.readU64());
case 24 -> new EconomyConfigState(1, reader.readU64(), reader.readU64(), reader.readU64(), 20_000L);
default -> throw new IllegalArgumentException("Invalid economy config instruction length");
};
yield new ParsedInstruction(TxKind.UPDATE_USERS_ECONOMY_CONFIG,
false, null, null, economy, null);
}
case IX_UPDATE_NAMESPACE_PRICE ->
new ParsedInstruction(
@@ -260,7 +257,7 @@ public final class ShineUsersCodec {
if (formatMajor != 1) {
throw new IllegalArgumentException("Unsupported PDA format " + formatMajor + "." + formatMinor);
}
if (formatMinor == 2) {
if (formatMinor == 2 || formatMinor == 3) {
return parseUserPdaAccountV12(pdaAddress, slot, rawDataBase64, lastTxSignature, raw);
}
if (formatMinor == 0) {
@@ -862,17 +859,13 @@ public final class ShineUsersCodec {
public record EconomyConfigState(
int version,
long registrationFeeLamports,
long lamportsPerLimitStep,
long startBonusLimit
long registrationFeeLamports, // legacy v1 only
long lamportsPerLimitStep, // legacy v1 only
long startBonusLimit, // legacy v1 only
long updateFeeLamports // v2 (v1 fallback 20_000)
) {
public static EconomyConfigState initial() {
return new EconomyConfigState(
1,
START_REGISTRATION_FEE_LAMPORTS,
START_LAMPORTS_PER_LIMIT_STEP,
START_BONUS_LIMIT
);
return new EconomyConfigState(2, 0L, 0L, 0L, 20_000L);
}
}
@@ -63,7 +63,7 @@ public final class PostgresStorageRepository
"last_error, economy_config_version, " +
"registration_fee_lamports, " +
"lamports_per_limit_step, " +
"start_bonus_limit, updated_at_ms " +
"start_bonus_limit, update_fee_lamports, updated_at_ms " +
"FROM solana_sync_state WHERE id = 1"
);
ResultSet resultSet =
@@ -106,7 +106,8 @@ public final class PostgresStorageRepository
),
resultSet.getLong(
"start_bonus_limit"
)
),
resultSet.getLong("update_fee_lamports")
);
}
@@ -274,6 +275,7 @@ public final class PostgresStorageRepository
connection,
snapshots
);
syncBlockchainStateLimits(connection, snapshots);
reconcileConfirmedKeyRotations(
connection,
@@ -314,6 +316,7 @@ public final class PostgresStorageRepository
connection,
snapshots
);
syncBlockchainStateLimits(connection, snapshots);
reconcileConfirmedKeyRotations(
connection,
@@ -337,6 +340,36 @@ public final class PostgresStorageRepository
}
}
/** Copy on-chain fork limits into the server's runtime state. 0 = unbounded.
* Never touch block tips, used bytes, or keys. Works after PDA updates even
* when record_number remains unchanged (future system-only limit mutation).
*/
private void syncBlockchainStateLimits(Connection connection,
List<ShineUsersCodec.UserPdaSnapshot> snapshots) throws SQLException {
if (snapshots == null || snapshots.isEmpty()) return;
try (PreparedStatement exists = connection.prepareStatement("SELECT to_regclass('public.blockchain_state_store')")) {
try (ResultSet rs = exists.executeQuery()) {
if (!rs.next() || rs.getString(1) == null) return;
}
}
try (PreparedStatement stmt = connection.prepareStatement("""
UPDATE blockchain_state_store SET size_limit = ?, updated_at_ms = ?
WHERE LOWER(login) = LOWER(?) AND fork_number = ?
""")) {
for (ShineUsersCodec.UserPdaSnapshot snapshot : snapshots) {
if (snapshot == null || snapshot.blockchainForks() == null) continue;
for (ShineUsersCodec.BlockchainForkSnapshot fork : snapshot.blockchainForks()) {
stmt.setLong(1, fork.paidLimitBytes());
stmt.setLong(2, System.currentTimeMillis());
stmt.setString(3, snapshot.login());
stmt.setInt(4, fork.forkIndex() + 1);
stmt.addBatch();
}
}
stmt.executeBatch();
}
}
private void upsertTxHistory(
Connection connection,
List<TxHistoryEntry> txEntries
@@ -862,8 +895,8 @@ public final class PostgresStorageRepository
"last_seen_slot, last_relevant_signature, " +
"last_relevant_slot, last_error, economy_config_version, " +
"registration_fee_lamports, lamports_per_limit_step, " +
"start_bonus_limit, updated_at_ms" +
") VALUES (1, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?) " +
"start_bonus_limit, update_fee_lamports, updated_at_ms" +
") VALUES (1, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?) " +
"ON CONFLICT (id) DO UPDATE SET " +
"status = EXCLUDED.status, " +
"ready = EXCLUDED.ready, " +
@@ -878,6 +911,7 @@ public final class PostgresStorageRepository
"registration_fee_lamports = EXCLUDED.registration_fee_lamports, " +
"lamports_per_limit_step = EXCLUDED.lamports_per_limit_step, " +
"start_bonus_limit = EXCLUDED.start_bonus_limit, " +
"update_fee_lamports = EXCLUDED.update_fee_lamports, " +
"updated_at_ms = EXCLUDED.updated_at_ms";
try (PreparedStatement statement =
@@ -898,14 +932,16 @@ public final class PostgresStorageRepository
statement.setNull(11, Types.BIGINT);
statement.setNull(12, Types.BIGINT);
statement.setNull(13, Types.BIGINT);
statement.setNull(14, Types.BIGINT);
} else {
statement.setInt(10, snapshot.economyConfigState().version());
statement.setLong(11, snapshot.economyConfigState().registrationFeeLamports());
statement.setLong(12, snapshot.economyConfigState().lamportsPerLimitStep());
statement.setLong(13, snapshot.economyConfigState().startBonusLimit());
statement.setLong(14, snapshot.economyConfigState().updateFeeLamports());
}
bindNullableLong(statement, 14, snapshot.updatedAtMs());
bindNullableLong(statement, 15, snapshot.updatedAtMs());
statement.executeUpdate();
}
}
@@ -934,10 +970,13 @@ public final class PostgresStorageRepository
"registration_fee_lamports BIGINT, " +
"lamports_per_limit_step BIGINT, " +
"start_bonus_limit BIGINT, " +
"update_fee_lamports BIGINT, " +
"updated_at_ms BIGINT" +
")"
);
statement.executeUpdate("ALTER TABLE solana_sync_state ADD COLUMN IF NOT EXISTS update_fee_lamports BIGINT");
statement.executeUpdate(
"INSERT INTO solana_sync_state (id, status, ready) " +
"VALUES (1, 'EMPTY', FALSE) " +
@@ -10,5 +10,6 @@ public final class DmFileApiConfigurator {
public static void register(ServletContextHandler context) {
context.addServlet(new ServletHolder(new DmFileServlet()), "/dm-files/*");
context.addServlet(new ServletHolder(new R2DmPrepareServlet()), "/api/dm-files/prepare");
}
}
@@ -247,6 +247,36 @@ public final class DmFileServlet extends HttpServlet {
private record StoredObjectCheck(boolean valid, long size) {}
/** Проверка отдельной Ed25519-подписи запроса временной ссылки R2, без передачи ciphertext. */
static void verifyR2Prepare(HttpServletRequest req, String fileId, long encryptedSize) throws IOException {
String sessionId = req.getHeader(HEADER_SESSION_ID);
String timestamp = req.getHeader(HEADER_TIME_MS);
String signatureText = req.getHeader(HEADER_SIGNATURE);
if (sessionId == null || timestamp == null || signatureText == null) {
throw new SecurityException("Missing signed session headers");
}
try {
long timeMs = Long.parseLong(timestamp);
if (Math.abs(System.currentTimeMillis() - timeMs) > MAX_AUTH_SKEW_MS) {
throw new SecurityException("Expired signed request");
}
ActiveSessionEntry session = ActiveSessionsDAO.getInstance().getBySessionId(sessionId);
if (session == null || session.getSessionKey() == null || session.getSessionKey().isBlank()) {
throw new SecurityException("Session not found");
}
byte[] sig = Base64Ws.decodeLen(signatureText, Ed25519Util.SIGNATURE_LEN, "signature");
byte[] pub = AuthKeyUtils.parseEd25519PublicKey(session.getSessionKey(), "sessionKey");
String message = "DM_R2_PREPARE_V1:" + sessionId + ':' + fileId + ':' + encryptedSize + ':' + timeMs;
if (!Ed25519Util.verify(message.getBytes(StandardCharsets.UTF_8), sig, pub)) {
throw new SecurityException("Invalid signature");
}
} catch (SQLException e) {
throw new IOException("Session lookup failed", e);
} catch (RuntimeException e) {
throw new SecurityException("Invalid DM R2 authorization", e);
}
}
private UploadAuth readAndVerifyUploadAuth(HttpServletRequest req, String fileId) throws AuthFailure {
String sessionId = requiredHeader(req, HEADER_SESSION_ID);
String timeRaw = requiredHeader(req, HEADER_TIME_MS);
@@ -11,5 +11,6 @@ public final class PublicFileApiConfigurator {
public static void register(ServletContextHandler context) {
context.addServlet(new ServletHolder(new PublicFileServlet()), "/files/*");
context.addServlet(new ServletHolder(new R2PrepareServlet()), "/api/files/prepare");
context.addServlet(new ServletHolder(new UserFileServerServlet()), "/api/files/user-server");
}
}
@@ -0,0 +1,124 @@
package server.files;
import com.fasterxml.jackson.databind.JsonNode;
import com.fasterxml.jackson.databind.ObjectMapper;
import com.fasterxml.jackson.databind.node.ObjectNode;
import jakarta.servlet.http.HttpServlet;
import jakarta.servlet.http.HttpServletRequest;
import jakarta.servlet.http.HttpServletResponse;
import software.amazon.awssdk.auth.credentials.AwsBasicCredentials;
import software.amazon.awssdk.auth.credentials.StaticCredentialsProvider;
import software.amazon.awssdk.regions.Region;
import software.amazon.awssdk.services.s3.S3Client;
import software.amazon.awssdk.services.s3.model.HeadObjectRequest;
import software.amazon.awssdk.services.s3.model.PutObjectRequest;
import software.amazon.awssdk.services.s3.presigner.S3Presigner;
import software.amazon.awssdk.services.s3.presigner.model.PutObjectPresignRequest;
import utils.config.AppConfig;
import java.io.IOException;
import java.net.URI;
import java.time.Duration;
import java.util.List;
import java.util.Map;
import java.util.regex.Pattern;
/**
* Выдача временных PUT в shine-dm. Сервер не получает ciphertext, AES-key и MIME исходного файла.
* Идентификатор объекта: Base58(SHA-256(ciphertext)); доступ к GET — по публичному домену R2.
*/
public final class R2DmPrepareServlet extends HttpServlet {
private static final ObjectMapper JSON = new ObjectMapper();
private static final Pattern FILE_ID = Pattern.compile("^[1-9A-HJ-NP-Za-km-z]{32,44}$");
private static final long MAX_OBJECT_BYTES = 64L * 1024L * 1024L + 16L;
private static final String CONTENT_TYPE = "application/octet-stream";
@Override protected void doOptions(HttpServletRequest req, HttpServletResponse resp) {
cors(req, resp);
resp.setStatus(HttpServletResponse.SC_NO_CONTENT);
}
@Override protected void doPost(HttpServletRequest req, HttpServletResponse resp) throws IOException {
cors(req, resp);
try {
if (req.getContentLengthLong() > 2048) { fail(resp, 413, "Request too large"); return; }
JsonNode input = JSON.readTree(req.getInputStream());
if (input == null) { fail(resp, 400, "Missing JSON body"); return; }
String fileId = input.path("fileId").asText("").trim();
long size = input.path("size").asLong(-1L);
if (!FILE_ID.matcher(fileId).matches() || size < 16 || size > MAX_OBJECT_BYTES) {
fail(resp, 400, "Invalid ciphertext ID or size"); return;
}
try { DmFileServlet.verifyR2Prepare(req, fileId, size); }
catch (SecurityException denied) { fail(resp, 401, "Unauthorized"); return; }
String endpoint = setting("R2_ENDPOINT", "r2.endpoint");
String accessKey = setting("R2_ACCESS_KEY_ID", "r2.accessKeyId");
String secret = setting("R2_SECRET_ACCESS_KEY", "r2.secretAccessKey");
String bucket = AppConfig.getInstance().getParam("r2.dmBucket");
if (bucket == null || bucket.isBlank()) bucket = "shine-dm";
if (endpoint == null || accessKey == null || secret == null) {
fail(resp, 503, "R2 is not configured"); return;
}
var credentials = StaticCredentialsProvider.create(AwsBasicCredentials.create(accessKey, secret));
var apiEndpoint = URI.create(endpoint);
ObjectNode result = JSON.createObjectNode();
result.put("fileUrl", R2FederatedPublicUrl.forObject("dm-files", fileId));
try (S3Client s3 = S3Client.builder().region(Region.of("auto"))
.endpointOverride(apiEndpoint).credentialsProvider(credentials).forcePathStyle(true).build()) {
try {
var head = s3.headObject(HeadObjectRequest.builder().bucket(bucket).key(fileId).build());
if (head.contentLength() != size) { fail(resp, 409, "Existing object size mismatch"); return; }
result.put("exists", true);
} catch (software.amazon.awssdk.services.s3.model.S3Exception notFound) {
if (notFound.statusCode() != 404) throw notFound;
result.put("exists", false);
var put = PutObjectRequest.builder().bucket(bucket).key(fileId)
.contentType(CONTENT_TYPE).contentLength(size).ifNoneMatch("*").build();
try (S3Presigner signer = S3Presigner.builder().region(Region.of("auto"))
.endpointOverride(apiEndpoint).credentialsProvider(credentials)
.serviceConfiguration(software.amazon.awssdk.services.s3.S3Configuration.builder()
.pathStyleAccessEnabled(true).build()).build()) {
var signed = signer.presignPutObject(PutObjectPresignRequest.builder()
.signatureDuration(Duration.ofMinutes(30)).putObjectRequest(put).build());
result.put("uploadUrl", signed.url().toString());
ObjectNode headers = result.putObject("requiredHeaders");
for (Map.Entry<String, List<String>> entry : signed.signedHeaders().entrySet()) {
// Content-Length браузер выставляет автоматически из Uint8Array.
if (!entry.getKey().equalsIgnoreCase("host")
&& !entry.getKey().equalsIgnoreCase("content-length")) {
headers.put(entry.getKey(), String.join(",", entry.getValue()));
}
}
}
}
}
R2UploadAuditRecorder.record(req, true, fileId, size, result.path("exists").asBoolean(false));
respond(resp, 200, result);
} catch (Exception error) {
getServletContext().log("R2 DM prepare failed", error);
fail(resp, 503, "R2 DM upload preparation failed");
}
}
private static String setting(String environment, String property) {
String value = System.getenv(environment);
if (value == null || value.isBlank()) value = AppConfig.getInstance().getParam(property);
return value == null || value.isBlank() ? null : value.trim();
}
private static void cors(HttpServletRequest req, HttpServletResponse resp) {
// Подписанные запросы не используют cookie; интерфейс может работать на любом сервере федерации.
resp.setHeader("Access-Control-Allow-Origin", "*");
resp.setHeader("Access-Control-Allow-Methods", "POST, OPTIONS");
resp.setHeader("Access-Control-Allow-Headers", "Content-Type, X-Shine-Session-Id, X-Shine-Time-Ms, X-Shine-Signature");
}
private static void fail(HttpServletResponse resp, int status, String message) throws IOException {
ObjectNode obj = JSON.createObjectNode(); obj.put("error", message); respond(resp, status, obj);
}
private static void respond(HttpServletResponse resp, int status, ObjectNode json) throws IOException {
resp.setStatus(status);
resp.setContentType("application/json;charset=UTF-8");
JSON.writeValue(resp.getOutputStream(), json);
}
}
@@ -0,0 +1,57 @@
package server.files;
import shine.db.DbController;
import utils.config.AppConfig;
import java.net.URI;
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.util.Locale;
import java.util.regex.Pattern;
/**
* File domains are derived from the current access server's own Solana-synced
* PDA address. No R2 public-domain setting and no request Host header are used.
*/
final class R2FederatedPublicUrl {
private static final Pattern DOMAIN = Pattern.compile("^[a-z0-9-]+(?:\\.[a-z0-9-]+)+$");
private R2FederatedPublicUrl() {}
static String forObject(String kind, String fileId) throws Exception {
if (!"files".equals(kind) && !"dm-files".equals(kind)) {
throw new IllegalArgumentException("Unexpected file domain kind");
}
String login = AppConfig.getInstance().getParam("server.SHiNE.login");
if (login == null || login.isBlank()) {
throw new IllegalStateException("server.SHiNE.login is not configured");
}
String sql = """
SELECT server_address FROM solana_user_pda_current
WHERE normalized_login = LOWER(BTRIM(?)) AND is_server = TRUE
AND BTRIM(COALESCE(server_address, '')) <> ''
LIMIT 1
""";
String raw;
try (Connection connection = DbController.getInstance().getConnection();
PreparedStatement statement = connection.prepareStatement(sql)) {
statement.setString(1, login);
try (ResultSet rs = statement.executeQuery()) {
if (!rs.next()) throw new IllegalStateException("Local access-server address not synchronized yet");
raw = rs.getString(1);
}
}
String address = raw == null ? "" : raw.trim();
if (!address.matches("^[a-zA-Z][a-zA-Z0-9+.-]*://.*")) address = "https://" + address;
URI uri = URI.create(address);
String protocol = uri.getScheme() == null ? "" : uri.getScheme().toLowerCase(Locale.ROOT);
if (!("https".equals(protocol) || "wss".equals(protocol) || "http".equals(protocol) || "ws".equals(protocol))
|| uri.getUserInfo() != null || uri.getHost() == null) {
throw new IllegalStateException("Invalid server PDA address");
}
String domain = uri.getHost().toLowerCase(Locale.ROOT);
if (!DOMAIN.matcher(domain).matches()) throw new IllegalStateException("Invalid access-server domain");
return "https://" + kind + "." + domain + "/" + fileId;
}
}
@@ -18,6 +18,7 @@ import utils.config.AppConfig;
import java.io.IOException;
import java.net.URI;
import java.math.BigInteger;
import java.time.Duration;
import java.util.Map;
import java.util.regex.Pattern;
@@ -25,7 +26,8 @@ import java.util.regex.Pattern;
/** Only signs single-object uploads. File contents never pass through SHiNE. */
public final class R2PrepareServlet extends HttpServlet {
private static final ObjectMapper JSON = new ObjectMapper();
private static final Pattern ROOT = Pattern.compile("^[A-Za-z0-9_-]{43}$");
private static final String BASE58_ALPHABET = "123456789ABCDEFGHJKLMNPQRSTUVWXYZabcdefghijkmnopqrstuvwxyz";
private static final Pattern ROOT = Pattern.compile("^[1-9A-HJ-NP-Za-km-z]{32,44}$");
private static final Pattern MIME = Pattern.compile("^[a-zA-Z0-9!#$&^_.+-]+/[a-zA-Z0-9!#$&^_.+-]+$");
private static final long MAX_BYTES = 500L * 1024L * 1024L;
@@ -42,7 +44,7 @@ public final class R2PrepareServlet extends HttpServlet {
String root = input.path("pr").asText("");
String mime = input.path("mm").asText("application/octet-stream").trim();
long size = input.path("size").asLong(-1);
if (!ROOT.matcher(root).matches() || size < 1 || size > MAX_BYTES || !MIME.matcher(mime).matches() || mime.length() > 127) {
if (!validPiecesRoot(root) || size < 1 || size > MAX_BYTES || !MIME.matcher(mime).matches() || mime.length() > 127) {
fail(resp, 400, "Invalid root, size or MIME"); return;
}
// The same authenticated session signing pattern as /files, with a distinct domain separator.
@@ -57,7 +59,7 @@ public final class R2PrepareServlet extends HttpServlet {
var creds = StaticCredentialsProvider.create(AwsBasicCredentials.create(accessKey, secret));
var httpEndpoint = URI.create(endpoint);
ObjectNode out = JSON.createObjectNode();
out.put("fileUrl", "https://files.shineup.me/" + root);
out.put("fileUrl", R2FederatedPublicUrl.forObject("files", root));
try (S3Client s3 = S3Client.builder().region(Region.of("auto")).endpointOverride(httpEndpoint)
.credentialsProvider(creds).forcePathStyle(true).build()) {
try {
@@ -83,6 +85,7 @@ public final class R2PrepareServlet extends HttpServlet {
}
}
}
R2UploadAuditRecorder.record(req, false, root, size, out.path("exists").asBoolean(false));
respond(resp, 200, out);
} catch (Exception e) {
getServletContext().log("R2 prepare failure", e);
@@ -90,17 +93,30 @@ public final class R2PrepareServlet extends HttpServlet {
}
}
/** Только канонический Base58 от ровно 32 байт Merkle-корня (не Base64URL). */
static boolean validPiecesRoot(String root) {
if (root == null || !ROOT.matcher(root).matches()) return false;
int leadingZeroBytes = 0;
while (leadingZeroBytes < root.length() && root.charAt(leadingZeroBytes) == '1') leadingZeroBytes++;
BigInteger value = BigInteger.ZERO;
for (int i = leadingZeroBytes; i < root.length(); i++) {
int digit = BASE58_ALPHABET.indexOf(root.charAt(i));
if (digit < 0) return false;
value = value.multiply(BigInteger.valueOf(58)).add(BigInteger.valueOf(digit));
}
// BigInteger не хранит ведущие нулевые байты; их кодируют символы '1'.
int dataBytes = value.signum() == 0 ? 0 : (value.bitLength() + 7) / 8;
return leadingZeroBytes + dataBytes == 32;
}
private static String setting(String env, String property) {
String value = System.getenv(env);
if (value == null || value.isBlank()) value = AppConfig.getInstance().getParam(property);
return value == null || value.isBlank() ? null : value.trim();
}
private static void cors(HttpServletRequest req, HttpServletResponse resp) {
String origin = req.getHeader("Origin");
if ("https://shineup.me".equals(origin) || "https://www.shineup.me".equals(origin)
|| "https://test.shineup.me".equals(origin) || "https://t2.shineup.me".equals(origin)) {
resp.setHeader("Access-Control-Allow-Origin", origin); resp.setHeader("Vary", "Origin");
}
// Подписанные запросы не используют cookie; интерфейс может работать на любом сервере федерации.
resp.setHeader("Access-Control-Allow-Origin", "*");
resp.setHeader("Access-Control-Allow-Methods", "POST, OPTIONS");
resp.setHeader("Access-Control-Allow-Headers", "Content-Type, X-Shine-Session-Id, X-Shine-Time-Ms, X-Shine-Signature");
}
@@ -0,0 +1,41 @@
package server.files;
import jakarta.servlet.http.HttpServletRequest;
import shine.db.DbController;
import shine.db.dao.ActiveSessionsDAO;
import shine.db.entities.ActiveSessionEntry;
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.SQLException;
/**
* Учёт выдачи разрешений R2. ВАЖНО: запись не удостоверяет завершённый PUT.
* Не сохраняет исходные имена и MIME личных файлов.
*/
final class R2UploadAuditRecorder {
private R2UploadAuditRecorder() {}
static void record(HttpServletRequest request, boolean dm, String fileHash, long size, boolean exists)
throws SQLException {
// Заголовок используется только ПОСЛЕ проверки Ed25519-подписи в вызывающем servlet.
String sessionId = request.getHeader("X-Shine-Session-Id");
if (sessionId == null || sessionId.isBlank()) throw new SQLException("Upload session ID missing");
String table = dm ? "dm_file_uploads" : "public_file_uploads";
try (Connection connection = DbController.getInstance().getConnection()) {
ActiveSessionEntry session = ActiveSessionsDAO.getInstance().getBySessionId(connection, sessionId.trim());
if (session == null || session.getLogin() == null || session.getLogin().isBlank()) {
throw new SQLException("Upload session missing for audit");
}
String sql = "INSERT INTO " + table
+ " (user_login, file_hash, file_size_bytes, disposition) VALUES (?, ?, ?, ?)";
try (PreparedStatement statement = connection.prepareStatement(sql)) {
statement.setString(1, session.getLogin());
statement.setString(2, fileHash);
statement.setLong(3, size);
statement.setString(4, exists ? "already_exists" : "upload_url_issued");
statement.executeUpdate();
}
}
}
}
@@ -0,0 +1,50 @@
package server.files;
import com.fasterxml.jackson.databind.ObjectMapper;
import com.fasterxml.jackson.databind.node.ObjectNode;
import jakarta.servlet.http.HttpServlet;
import jakarta.servlet.http.HttpServletRequest;
import jakarta.servlet.http.HttpServletResponse;
import shine.db.dao.UserAccessServersCurrentDAO;
import shine.db.entities.UserAccessServerRouteEntry;
import java.io.IOException;
import java.util.regex.Pattern;
/** Публичный resolver файловых доменов на основе синхронизированной PostgreSQL-проекции Solana. */
public final class UserFileServerServlet extends HttpServlet {
private static final ObjectMapper JSON = new ObjectMapper();
private static final Pattern LOGIN = Pattern.compile("^[a-zA-Z0-9_.-]{1,64}@[a-zA-Z0-9_.-]{1,128}$");
@Override protected void doGet(HttpServletRequest request, HttpServletResponse response) throws IOException {
response.setHeader("Access-Control-Allow-Origin", "*");
response.setHeader("Cache-Control", "no-store");
String login = String.valueOf(request.getParameter("login")).trim();
if (!LOGIN.matcher(login).matches()) {
reply(response, 400, "Invalid login", null); return;
}
try {
UserAccessServerRouteEntry route = UserAccessServersCurrentDAO.getInstance().findPrimaryByUserLogin(login);
if (route == null || route.getServerLogin() == null || route.getServerUrl() == null) {
reply(response, 404, "User access server not found in synchronized data", null); return;
}
reply(response, 200, null, route);
} catch (Exception error) {
getServletContext().log("User file server lookup failed", error);
reply(response, 503, "Server directory temporarily unavailable", null);
}
}
private static void reply(HttpServletResponse response, int status, String error,
UserAccessServerRouteEntry route) throws IOException {
ObjectNode body = JSON.createObjectNode();
if (error != null) body.put("error", error);
else {
body.put("serverLogin", route.getServerLogin());
body.put("serverUrl", route.getServerUrl());
}
response.setStatus(status);
response.setContentType("application/json;charset=UTF-8");
JSON.writeValue(response.getOutputStream(), body);
}
}
@@ -58,10 +58,10 @@ public final class KeyRotationRebuildService {
}
private void registerCandidateSegment(KeyRotationSessionEntry s)throws Exception{try(Connection c=DbController.getInstance().getConnection()){segments.upsert(c,new BlockchainForkSegmentsDAO.Segment(s.getLogin(),forkOf(s.getCandidateBlockchainName()),forkOf(s.getSourceBlockchainName()),s.getForkFromBlock(),s.getForkFromHash(),s.getForkFromBlock()+1,System.currentTimeMillis()));}}
private void replayStaging(KeyRotationSessionEntry s)throws Exception{
SolanaUserPdaCurrentEntry u=users.getByLogin(s.getLogin());long limit=u!=null&&u.getPaidLimitBytes()>0?u.getPaidLimitBytes():100_000L;long cumulative=0;int currentFork=-1;int prevNumber=-1;byte[] prevHash=null;
long cumulative=0;int currentFork=-1;int prevNumber=-1;byte[] prevHash=null;
try(Connection c=DbController.getInstance().getConnection();PreparedStatement ps=c.prepareStatement("SELECT logical_block_number,physical_fork_number,blockchain_key,block_bytes,block_hash FROM key_rotation_rebuild_staging WHERE rotation_session_id=? ORDER BY logical_block_number ASC")){ps.setLong(1,s.getId());try(ResultSet rs=ps.executeQuery()){while(rs.next()){
int n=rs.getInt(1),f=rs.getInt(2);String key=rs.getString(3);byte[] raw=rs.getBytes(4),hash=rs.getBytes(5);String bch=s.getLogin()+"-"+String.format("%03d",f);
if(f!=currentFork){BlockchainStateEntry st=new BlockchainStateEntry();st.setBlockchainName(bch);st.setLogin(s.getLogin());st.setBlockchainKey(key);st.setSizeLimit(limit);st.setFileSizeBytes(cumulative);st.setLastBlockNumber(prevNumber);st.setLastBlockHash(prevHash);st.setUpdatedAtMs(System.currentTimeMillis());states.insertIfMissing(st);currentFork=f;}
if(f!=currentFork){SolanaUserPdaCurrentEntry forkOwner=users.getByBlockchainName(bch);long limit=forkOwner==null?0L:forkOwner.getPaidLimitBytes();BlockchainStateEntry st=new BlockchainStateEntry();st.setBlockchainName(bch);st.setLogin(s.getLogin());st.setBlockchainKey(key);st.setSizeLimit(limit);st.setFileSizeBytes(cumulative);st.setLastBlockNumber(prevNumber);st.setLastBlockHash(prevHash);st.setUpdatedAtMs(System.currentTimeMillis());states.insertIfMissing(st);currentFork=f;}
String target=bch;BlockchainResyncGuard.withBypass(target,()->{Net_AddBlock_Handler.ArweaveImportResult r=addBlock.addBlockFromReplay(target,raw);if(!r.ok())throw new IllegalStateException("canonical replay rejected #"+n+": "+r.reasonCode());});
cumulative+=raw.length;prevNumber=n;prevHash=hash;
}}}
@@ -370,7 +370,7 @@ public final class PeriodicBlockchainSyncService {
state.setBlockchainName(currentUser.getBlockchainName());
state.setLogin(currentUser.getLogin());
state.setBlockchainKey(currentUser.getBlockchainKey());
state.setSizeLimit(currentUser.getPaidLimitBytes() > 0 ? currentUser.getPaidLimitBytes() : 100_000L);
state.setSizeLimit(currentUser.getPaidLimitBytes());
state.setFileSizeBytes(existingState == null ? 0L : existingState.getFileSizeBytes());
state.setLastBlockNumber(existingState == null ? -1 : existingState.getLastBlockNumber());
state.setLastBlockHash(existingState == null ? null : existingState.getLastBlockHash());
@@ -18,6 +18,24 @@
</encoder>
</appender>
<!-- Отдельный журнал ошибок браузера: без дублирования в app.log. -->
<appender name="CLIENT_ERRORS" class="ch.qos.logback.core.rolling.RollingFileAppender">
<file>${LOG_DIR}/client-errors.log</file>
<rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
<fileNamePattern>${LOG_DIR}/client-errors.%d{yyyy-MM-dd}.%i.log.gz</fileNamePattern>
<maxFileSize>10MB</maxFileSize>
<maxHistory>14</maxHistory>
<totalSizeCap>150MB</totalSizeCap>
</rollingPolicy>
<encoder>
<pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level %msg%n</pattern>
</encoder>
</appender>
<logger name="client.frontend" level="error" additivity="false">
<appender-ref ref="CLIENT_ERRORS" />
</logger>
<appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
<encoder>
<pattern>%highlight(%-5level) %cyan(%logger{20}) - %msg%n</pattern>
@@ -0,0 +1,27 @@
package server.files;
import org.junit.jupiter.api.Test;
import static org.junit.jupiter.api.Assertions.*;
class R2PrepareServletTest {
@Test
void acceptsCanonicalBase58PiecesRootsOf32Bytes() {
assertTrue(R2PrepareServlet.validPiecesRoot("11111111111111111111111111111111"));
assertTrue(R2PrepareServlet.validPiecesRoot("4vJ9JU1bJJE96FWSJKvHsmmFADCg4gpZQff4P3bkLKi"));
assertTrue(R2PrepareServlet.validPiecesRoot("JEKNVnkbo3jma5nREBBJCDoXFVeKkD56V3xKrvRmWxFG"));
}
@Test
void rejectsNonBase58AndWrongSizeRoots() {
assertFalse(R2PrepareServlet.validPiecesRoot(null));
assertFalse(R2PrepareServlet.validPiecesRoot(""));
assertFalse(R2PrepareServlet.validPiecesRoot("A".repeat(42) + "_"));
assertFalse(R2PrepareServlet.validPiecesRoot("A".repeat(42) + "-"));
assertFalse(R2PrepareServlet.validPiecesRoot("O".repeat(44)));
assertFalse(R2PrepareServlet.validPiecesRoot("1".repeat(31)));
assertFalse(R2PrepareServlet.validPiecesRoot("1".repeat(33)));
assertFalse(R2PrepareServlet.validPiecesRoot("A".repeat(45)));
}
}
+35
View File
@@ -0,0 +1,35 @@
# TODO — DM-вложения: один объект Cloudflare R2 на один файл
**Статус:** отложено, **не реализовано**. 17.11.2026. Не вносить изменения в рабочий код без отдельного решения.
## Что хотим
Перейти от хранения DM-вложения как набора отдельных зашифрованных объектов и отдельного манифеста к схеме **«одно вложение пользователя = один зашифрованный объект R2»** (корзина `shine-dm`). Это касается и голосовых вложений, если они используют тот же механизм.
Сейчас (после патча DM 64 МиБ): исходный файл до 500 МиБ шифруется клиентом по 64 МиБ с AES-256-GCM; каждый блок записывается отдельным объектом в R2, плюс зашифрованный манифест. Например, 500 МиБ = 8 блоков + 1 манифест = 9 объектов.
## Предполагаемая будущая схема (обсудить до реализации)
1. **Оставить логическое шифрование частями**, например по 64 МиБ, чтобы не держать исходный файл на 500 МиБ целиком в памяти. Каждый блок шифруется/аутентифицируется независимо, как и сейчас; соблюдать уникальность nonce/IV и корректную аутентификацию метаданных.
2. **Небольшой файл:** обычный `PutObject` (один объект). **Крупный файл:** S3 Multipart Upload в R2 (`CreateMultipartUpload` → `UploadPart` → `CompleteMultipartUpload`; при сбое `AbortMultipartUpload`). При Multipart каждый зашифрованный блок может стать частью *одного* конечного объекта. Java-сервер только управляет разрешениями и завершением загрузки, байты файла по-прежнему идут из браузера напрямую в R2.
3. **Убрать отдельный объект-манифест для нового формата.** Сведения для расшифровки и границ блоков положить в защищённые метаданные E2EE DM либо в аутентифицированный заголовок единого объекта. Определить строгую версию формата (условно DM-file v4), смещения блоков, размер последнего блока, формат nonce/тегов и правила проверки целостности. Старые форматы не менять.
4. **ID объекта:** рассмотреть `Base58(32 криптографически случайных байт)`, чтобы знать имя до начала загрузки, вместо `Base58(SHA-256(ciphertext))`. 32 *байта*, не 32 бита. Случайный ID не является проверкой целостности: AES-GCM и аутентифицированные метаданные обязаны обеспечивать целостность каждого блока и файла в целом. Не допускать перезаписи существующего ID.
5. **Получение:** по возможности один GET с потоковой обработкой и расшифровкой по 64 МиБ; либо HTTP Range. Обязательно проверить Firefox, Safari, Android/iOS PWA, CORS и память при скачивании/сохранении большого файла. Несколько Range-запросов остаются несколькими платными операциями чтения, даже когда объект один.
6. **Сохранить:** E2EE (ключи не поступают на сервер/R2), прямую загрузку, федерацию/access-server отправителя, лимит 500 МиБ на первом этапе, срок хранения 14 дней, работу старых DM v1/v2/v3 (включая v3 по 8 и по 64 МиБ), существующие пользовательские сценарии. Не менять бинарный контейнер обычного DM без отдельной необходимости.
7. **Сервер/API и устойчивость:** нужны новые подписанные операции Multipart, привязка `uploadId` к пользователю/файлу/лимитам, валидация частей и `ETag`, запрет чужого `Complete`/`Abort`, ограничение числа операций, очистка незавершённых загрузок, повтор неудачной части, тесты ошибок и документация. Проверить, что штатное удаление через 14 дней распространяется на итоговый объект.
## Экономика R2 — не обещать экономии заранее
Для **Standard** на 17.11.2026: Class A (записи) — $4,50/млн, Class B (чтения) — $0,36/млн, хранение — $0,015/ГБ-месяц; бесплатный месячный лимит — 1 млн A, 10 млн B, 10 ГБ-месяц. Стоимость определяется операциями и объёмом, а не непосредственно числом объектов.
Пример для **500 МиБ**, без повторов/HEAD/дополнительных операций:
| Вариант | Class A при загрузке | Class B при одном полном скачивании |
| --- | ---: | ---: |
| Отдельные 8 блоков по 64 МиБ + манифест (текущее) | 9 PUT | 9 GET |
| Один объект через Multipart: 8 частей + start + complete | 10 | 1 GET при едином запросе; до 8–9 при Range |
| Один обычный PUT целого объекта | 1 | 1 GET; но потоковая загрузка прямо из PWA требует отдельной проверки совместимости |
Multipart **не гарантирует снижение платы за запись**, хотя уменьшает число конечных объектов. Один потоковый PUT теоретически сокращает операции записи, но нельзя считать его надёжно работающим в браузерах без прототипа и тестов совместимости. Общий объём хранения почти тот же. Сначала собрать реальные метрики числа вложений/размеров/чтений и расходов, затем сравнить стоимость, сложность и устойчивость.
**Документы для будущего изменения:** `docs/Personal_Messages/Файлы_DM_v3_R2.md`, `docs/Personal_Messages/README.md`, `docs/API/18_DM_File_Storage_API.md`, клиент `shine-UI/js/services/dm-file-service.js`, серверный API и тесты. Этот TODO — план, **не описание текущей реализации**.
+2 -2
View File
@@ -1,2 +1,2 @@
client.version=1.20.41
server.version=1.16.23
client.version=1.20.67
server.version=1.16.33
+7 -8
View File
@@ -33,13 +33,12 @@ call.ice.turn.sharedSecret=
# The deployment script copies allowed-email-domains.txt alongside shine-server.jar.
freeRegistration.email.allowedDomainsFile=allowed-email-domains.txt
# R2 public attachment direct uploads.
# These values belong only in the private server application.properties,
# never in Git or the browser bundle.
# R2 public attachment direct uploads (keep credentials in server environment)
r2.publicBucket=shine-files
r2.endpoint=
r2.accessKeyId=
r2.secretAccessKey=
# R2_ENDPOINT=https://<account>.r2.cloudflarestorage.com
# R2_ACCESS_KEY_ID=...
# R2_SECRET_ACCESS_KEY=...
# Environment variables R2_ENDPOINT, R2_ACCESS_KEY_ID and
# R2_SECRET_ACCESS_KEY override the three properties above.
# R2 DM encrypted attachments (publicly downloadable ciphertext, 14-day lifecycle)
r2.dmBucket=shine-dm
# Configure R2 credentials via R2_ENDPOINT, R2_ACCESS_KEY_ID, R2_SECRET_ACCESS_KEY
+2 -1
View File
@@ -5,7 +5,8 @@
- Все вопросы деплоя SHiNE решать через эту папку `deploy/`.
- Скрипты лежат в `deploy/scripts/`.
- Production-серверы: `shineup.me` и `server2.shineup.me`.
- Test/devnet серверы: `t1.shineup.me`, `t2.shineup.me`, `t3.shineup.me`, `t4.shineup.me`.
- Test/devnet серверы: `t1.shineup.me`, `t2.shineup.me`, `t3.shineup.me`.
- Отдельный общий тестовый сервер: `test.shineup.me`. На нём уже работают тестовые пользователи; не использовать его для очистки, пересоздания или экспериментального деплоя без отдельного подтверждения.
- TURN-серверы: `turn1.shineup.me`, `turn2.shineup.me`, `turn3.shineup.me`.
- В deploy-документах и скриптах использовать домены, а не IP.
+2 -4
View File
@@ -12,7 +12,7 @@ Production:
- `t1.shineup.me`;
- `t2.shineup.me`;
- `t3.shineup.me`;
- `t4.shineup.me`.
- `test.shineup.me` — общий рабочий тестовый сервер с тестовыми пользователями; не очищать и не пересоздавать без отдельного подтверждения.
В документации и скриптах использовать домены, а не IP. SSH-пользователь — `player`.
@@ -46,8 +46,6 @@ bash deploy/scripts/test_t2_server.sh
bash deploy/scripts/test_t2_ui.sh
bash deploy/scripts/test_t3_server.sh
bash deploy/scripts/test_t3_ui.sh
bash deploy/scripts/test_t4_server.sh
bash deploy/scripts/test_t4_ui.sh
```
Не путать `server2.shineup.me` и `t2.shineup.me`.
@@ -65,6 +63,6 @@ bash deploy/scripts/test_t4_ui.sh
| `t1.shineup.me` | `player@t1.shineup.me` | `/home/player/t1/server` | `shine-t1` | 7101 |
| `t2.shineup.me` | `player@t2.shineup.me` | `/home/player/t2/server` | `shine-t2` | 7102 |
| `t3.shineup.me` | `player@t3.shineup.me` | `/home/player/t3/server` | `shine-t3` | 7103 |
| `t4.shineup.me` | `player@t4.shineup.me` | `/home/player/t4/server` | `shine-t4` | 7104 |
| `test.shineup.me` | `player@t4.shineup.me` | `/home/player/t4/server` | `shine-test` | 7104 |
Источники истины для деталей и backup: `deploy/AGENTS.md`, `deploy/README.md`, `deploy/backup/README.md` и сами скрипты `deploy/scripts/`.
+1 -1
View File
@@ -6,7 +6,7 @@
- целевой стандарт для SHiNE: `PostgreSQL 18.x`;
- текущий факт на production `shineup.me` и `server2.shineup.me` на дату `2026-07-28`: `PostgreSQL 18.4`;
- текущий факт на test/devnet `t1` / `t2` / `t3` / `t4` на дату `2026-07-28`: `PostgreSQL 18.4`.
- текущий факт на test/devnet `t1` / `t2` / `t3` / `test.shineup.me` на дату `2026-07-28`: `PostgreSQL 18.4`.
## Цель
+22
View File
@@ -187,3 +187,25 @@ etag: ...
- никакие имена пользователей или MIME не входят в path;
- `/files/<sha256>` публичен: это вложение публичного сообщения;
- удаление сообщения не должно автоматически удалять объект из `public-files`, потому что тот же SHA-256 может использоваться другими сообщениями или пользователями.
## Независимые R2 у access-серверов (16.11.2026)
Для `https://node2.example.net` организуйте отдельные публичные DNS-домены:
`https://files.node2.example.net` и `https://dm-files.node2.example.net`.
Оба должны указывать на R2-корзины **этого** оператора (отдельные от
R2 основного SHiNE), а не на Java `/files` и `/dm-files` legacy.
На Java-сервере владельца задайте:
```properties
# Публичные адреса файлов вычисляются автоматически из server-PDA:
# https://files.node2.example.net
# https://dm-files.node2.example.net
```
Дополнительные переменные `R2_PUBLIC_BASE_URL` и `R2_DM_PUBLIC_BASE_URL` не нужны: домены всегда определяются по server-PDA текущего сервера.
Оставшиеся `R2_ENDPOINT`, `R2_ACCESS_KEY_ID`, `R2_SECRET_ACCESS_KEY`,
`r2.publicBucket`, `r2.dmBucket` также должны указывать на его собственные
корзины/ключи. Публичные R2 требуют GET/HEAD/Range и браузерного CORS,
DM R2 — также lifecycle на 14 дней. На access-сервере просмотрщика
маршрут `GET /api/files/user-server` должен проксироваться к Jetty до SPA
fallback. Это не меняет Solana PDA и не переносит старые объекты при миграции
пользователя.
+3 -4
View File
@@ -13,12 +13,13 @@
- Основной production: `shineup.me`.
- Второй production: `server2.shineup.me`.
- Test/devnet стенд: `t1.shineup.me`, `t2.shineup.me`, `t3.shineup.me`, `t4.shineup.me`.
- Test/devnet стенд: `t1.shineup.me`, `t2.shineup.me`, `t3.shineup.me`.
- Общий рабочий тестовый сервер: `test.shineup.me`. На нём уже работают тестовые пользователи; не очищать и не пересоздавать без отдельного подтверждения.
Краткое текущее состояние на `2026-07-28`:
- оба production уже на `PostgreSQL 18.4` в отдельных Docker-контейнерах `shine-postgres`;
- весь test/devnet стенд `t1`-`t4` тоже уже на `PostgreSQL 18.4`;
- test/devnet стенд `t1`-`t3` и общий `test.shineup.me` уже на `PostgreSQL 18.4`;
- тестовые контуры используют общий Docker-контейнер `shine-test-postgres`;
- production использует Helius mainnet, test/devnet использует Helius devnet;
- актуальные подробности по всем шести серверам смотреть в `PRODUCTION_SERVERS.md` и `TEST_SERVERS.md`.
@@ -82,8 +83,6 @@ Test/devnet wrappers:
- `scripts/test_t2_ui.sh`
- `scripts/test_t3_server.sh`
- `scripts/test_t3_ui.sh`
- `scripts/test_t4_server.sh`
- `scripts/test_t4_ui.sh`
## Примеры
+2 -1
View File
@@ -7,7 +7,8 @@
Создать DNS-запись домена:
- production: `shineup.me` или `server2.shineup.me`;
- test/devnet: `t1.shineup.me` ... `t4.shineup.me`.
- test/devnet: `t1.shineup.me`, `t2.shineup.me`, `t3.shineup.me`.
- общий рабочий тестовый сервер: `test.shineup.me`; не очищать и не пересоздавать без отдельного подтверждения.
После смены физического сервера достаточно обновить DNS.
+1 -1
View File
@@ -9,6 +9,6 @@ handle @solana_rpc {
}
```
Порт `7070` приведён для основного сервера из резервной конфигурации. У t1/t2/t3/t4 используйте фактический локальный Java-порт (например, 7102). Не заменяйте существующие настройки сервера целиком этой вставкой.
Порт `7070` приведён для основного сервера из резервной конфигурации. У t1/t2/t3 и `test.shineup.me` используйте фактический локальный Java-порт (например, 7102). Не заменяйте существующие настройки сервера целиком этой вставкой.
Далее: `caddy validate --config /etc/caddy/Caddyfile`, перезагрузите Caddy и проверьте `POST https://<ваш-сервер>/solana-rpc` с JSON-RPC `getVersion`.
+21 -11
View File
@@ -1,17 +1,20 @@
# Test/devnet серверы SHiNE
Отдельный test/devnet стенд состоит из четырёх независимых SHiNE-инстансов:
Основной test/devnet стенд состоит из трёх независимых SHiNE-инстансов:
- `t1.shineup.me`
- `t2.shineup.me`
- `t3.shineup.me`
- `t4.shineup.me`
Отдельно работает общий тестовый сервер:
- `test.shineup.me` — бывший T4, с уже работающими тестовыми пользователями. Не очищать и не пересоздавать без отдельного подтверждения.
Это не production. Все deploy-цели задаются через домены.
Текущее фактическое состояние на `2026-07-28`:
- все четыре тестовых контура `t1` / `t2` / `t3` / `t4` уже работают без `SQLite`;
- `t1`, `t2`, `t3` и `test.shineup.me` работают без `SQLite`;
- все четыре контура используют `PostgreSQL 18.4`;
- PostgreSQL на test-хосте общий для всех четырёх контуров и запущен в Docker-контейнере `shine-test-postgres`;
- все четыре контура используют один и тот же Helius devnet RPC/WS endpoint;
@@ -25,6 +28,13 @@
- Solana WS: `wss://devnet.helius-rpc.com/?api-key=YOUR_HELIUS_API_KEY`
- Приведённые Helius URLs предназначены **только для приватных серверных конфигов**. `YOUR_HELIUS_API_KEY` — плейсхолдер. Не передавайте такой URL напрямую в публичный UI: посетители увидят ключ.
- Caddy config: `/etc/caddy/Caddyfile`
- На t2 маршрут `GET /api/files/user-server` направлен в Jetty `127.0.0.1:7102`
перед SPA fallback; `/dm-files/*` также направлен в Jetty для legacy DM.
Проверка: HTTP-ответ на неизвестный login — JSON с кодом 404, не HTML с кодом 200.
- Для новых R2-вложений отдельно требуются публичные DNS/Cloudflare custom domains
`files.t2.shineup.me` и `dm-files.t2.shineup.me`. На 17.11.2026 они не
разрешаются в DNS, поэтому скачивание новых вложений остаётся недоступным
до настройки этих доменов у владельца зоны и корзин R2.
- Общий PostgreSQL container: `shine-test-postgres`
- PostgreSQL image: `postgres:18`
- PostgreSQL engine version на `2026-07-28`: `18.4`
@@ -37,7 +47,7 @@
| `t1.shineup.me` | `server_t1` | `/home/player/t1/server` | `/home/player/t1/UI` | `7101` | `shine-t1.service` | `shine_t1_db` | `shine_t1` |
| `t2.shineup.me` | `server_t2` | `/home/player/t2/server` | `/home/player/t2/UI` | `7102` | `shine-t2.service` | `shine_t2_db` | `shine_t2` |
| `t3.shineup.me` | `server_t3` | `/home/player/t3/server` | `/home/player/t3/UI` | `7103` | `shine-t3.service` | `shine_t3_db` | `shine_t3` |
| `t4.shineup.me` | `server_t4` | `/home/player/t4/server` | `/home/player/t4/UI` | `7104` | `shine-t4.service` | `shine_t4_db` | `shine_t4` |
| `test.shineup.me` | `test_server@shine` | `/home/player/t4/server` | `/home/player/t4/UI` | `7104` | `shine-test.service` | `shine_test_db` | `shine_t2` |
## Deploy
@@ -51,7 +61,7 @@
DEPLOY_SOLANA_ENDPOINT="https://t1.shineup.me/solana-rpc" bash deploy/scripts/test_t1_ui.sh
```
Для остальных стендов замените `t1` на `t2`, `t3`, `t4`. Не вставляйте URL с личным ключом Helius в `DEPLOY_SOLANA_ENDPOINT`: значение будет опубликовано в `shine-UI/js/deploy-config.js` на сайте.
Для остальных стендов замените `t1` на `t2` или `t3`. Для общего тестового сервера используйте `test.shineup.me`; не выполняйте на нём очистку или пересоздание. Не вставляйте URL с личным ключом Helius в `DEPLOY_SOLANA_ENDPOINT`: значение будет опубликовано в `shine-UI/js/deploy-config.js` на сайте.
```bash
bash deploy/scripts/test_t1_server.sh
@@ -63,8 +73,8 @@ DEPLOY_SOLANA_ENDPOINT="https://t2.shineup.me/solana-rpc" bash deploy/scripts/te
bash deploy/scripts/test_t3_server.sh
DEPLOY_SOLANA_ENDPOINT="https://t3.shineup.me/solana-rpc" bash deploy/scripts/test_t3_ui.sh
bash deploy/scripts/test_t4_server.sh
DEPLOY_SOLANA_ENDPOINT="https://t4.shineup.me/solana-rpc" bash deploy/scripts/test_t4_ui.sh
bash deploy/scripts/test_shineupme_server.sh
DEPLOY_SOLANA_ENDPOINT="https://test.shineup.me/solana-rpc" bash deploy/scripts/test_shineupme_ui.sh
```
## Проверка
@@ -73,13 +83,13 @@ DEPLOY_SOLANA_ENDPOINT="https://t4.shineup.me/solana-rpc" bash deploy/scripts/te
curl -I https://t1.shineup.me
curl -I https://t2.shineup.me
curl -I https://t3.shineup.me
curl -I https://t4.shineup.me
curl -I https://test.shineup.me
```
На сервере:
```bash
sudo systemctl --no-pager --full status caddy shine-t1 shine-t2 shine-t3 shine-t4
sudo systemctl --no-pager --full status caddy shine-t1 shine-t2 shine-t3 shine-test
sudo docker ps --format 'table {{.Names}}\t{{.Image}}\t{{.Status}}'
```
@@ -89,6 +99,6 @@ sudo docker ps --format 'table {{.Names}}\t{{.Image}}\t{{.Status}}'
Отдельный нюанс по web push:
- у `t1`, `t2`, `t3`, `t4` в UI уже есть одинаковый встроенный `VAPID` public key;
- то есть `t3` и `t4` используют тот же web push клиентский код, что и `t1` / `t2`;
- у `t1`, `t2`, `t3` и `test.shineup.me` в UI уже есть одинаковый встроенный `VAPID` public key;
- то есть `t3` и `test.shineup.me` используют тот же web push клиентский код, что и `t1` / `t2`;
- если позже понадобится разделить push-ключи по тестовым контурам, это нужно делать отдельным UI deploy с новым `DEPLOY_WEBPUSH_VAPID_PUBLIC`.
+27
View File
@@ -0,0 +1,27 @@
#!/usr/bin/env bash
set -euo pipefail
# test.shineup.me использует /etc/shine/shine-test.env. Не вызываем
# deploy_server.sh: тот пересоздаёт unit без EnvironmentFile.
SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
ROOT_DIR="$(cd "$SCRIPT_DIR/../.." && pwd)"
REMOTE_HOST="player@t4.shineup.me"
REMOTE_SERVER_DIR="/home/player/t4/server"
REMOTE_SERVICE_NAME="shine-test"
LOCAL_JAR="$ROOT_DIR/SHiNE-server/build/libs/shine-server.jar"
echo "==> Building server jar"
(cd "$ROOT_DIR" && ./gradlew shadowJar)
if [[ ! -s "$LOCAL_JAR" ]]; then
echo "ERROR: server jar not found: $LOCAL_JAR" >&2
exit 1
fi
echo "==> Deploy server to test.shineup.me ($REMOTE_HOST)"
ssh -o BatchMode=yes -o ConnectTimeout=20 "$REMOTE_HOST" "echo SSH OK" >/dev/null
rsync -az --timeout=120 "$LOCAL_JAR" "$ROOT_DIR/allowed-email-domains.txt" \
"$REMOTE_HOST:$REMOTE_SERVER_DIR/"
ssh "$REMOTE_HOST" "sudo systemctl restart '$REMOTE_SERVICE_NAME'; sudo systemctl --no-pager --full status '$REMOTE_SERVICE_NAME'"
echo "Всё хорошо: сервер test.shineup.me обновлён и сервис $REMOTE_SERVICE_NAME перезапущен"
+6 -7
View File
@@ -2,20 +2,19 @@
set -euo pipefail
# Use an explicit public RPC gateway URL. Never commit an Helius API key.
# Recommended: https://t4.shineup.me/solana-rpc (only if the proxy is configured).
if [[ -z "${DEPLOY_SOLANA_ENDPOINT:-}" ]]; then
echo "ERROR: DEPLOY_SOLANA_ENDPOINT is required for t4 UI deploy." >&2
echo "Set it to a working public RPC gateway (prefer your /solana-rpc proxy)." >&2
echo "ERROR: DEPLOY_SOLANA_ENDPOINT is required for test.shineup.me UI deploy." >&2
echo "Set it to a working public RPC gateway (prefer https://test.shineup.me/solana-rpc)." >&2
exit 1
fi
REMOTE_HOST="player@t4.shineup.me" \
REMOTE_UI_DIR="/home/player/t4/UI" \
EXPECTED_CADDY_UI_ROOT="/home/player/t4/UI" \
EXPECTED_CADDY_SITE="t4.shineup.me" \
DEPLOY_SERVER_LOGIN="server_t4" \
DEPLOY_SERVER_ADDRESS="t4.shineup.me" \
EXPECTED_CADDY_SITE="test.shineup.me" \
DEPLOY_SERVER_LOGIN="test_server@shine" \
DEPLOY_SERVER_ADDRESS="test.shineup.me" \
DEPLOY_SOLANA_CLUSTER="devnet" \
DEPLOY_SOLANA_ENDPOINT="$DEPLOY_SOLANA_ENDPOINT" \
TARGET_URL="https://t4.shineup.me" \
TARGET_URL="https://test.shineup.me" \
bash "$(dirname "$0")/deploy_ui.sh"
+24 -8
View File
@@ -1,11 +1,27 @@
#!/usr/bin/env bash
set -euo pipefail
REMOTE_HOST="player@t2.shineup.me" \
TARGET_DOMAIN="t2.shineup.me" \
REMOTE_SERVER_DIR="/home/player/t2/server" \
REMOTE_DM_FILES_DIR="/home/player/test-dm-files" \
REMOTE_PUBLIC_FILES_DIR="/home/player/test-public-files" \
REMOTE_SERVICE_NAME="shine-t2" \
SERVER_PORT="7102" \
bash "$(dirname "$0")/deploy_server.sh"
# t2.shineup.me использует /etc/shine/shine-t2.env. Не вызываем
# deploy_server.sh: тот пересоздаёт unit без EnvironmentFile.
SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
ROOT_DIR="$(cd "$SCRIPT_DIR/../.." && pwd)"
REMOTE_HOST="player@t2.shineup.me"
REMOTE_SERVER_DIR="/home/player/t2/server"
REMOTE_SERVICE_NAME="shine-t2"
LOCAL_JAR="$ROOT_DIR/SHiNE-server/build/libs/shine-server.jar"
echo "==> Building server jar"
(cd "$ROOT_DIR" && ./gradlew shadowJar)
if [[ ! -s "$LOCAL_JAR" ]]; then
echo "ERROR: server jar not found: $LOCAL_JAR" >&2
exit 1
fi
echo "==> Deploy server to t2.shineup.me ($REMOTE_HOST)"
ssh -o BatchMode=yes -o ConnectTimeout=20 "$REMOTE_HOST" "echo SSH OK" >/dev/null
rsync -az --timeout=120 "$LOCAL_JAR" "$ROOT_DIR/allowed-email-domains.txt" \
"$REMOTE_HOST:$REMOTE_SERVER_DIR/"
ssh "$REMOTE_HOST" "sudo systemctl restart '$REMOTE_SERVICE_NAME'; sudo systemctl --no-pager --full status '$REMOTE_SERVICE_NAME'"
echo "Всё хорошо: сервер t2.shineup.me обновлён и сервис $REMOTE_SERVICE_NAME перезапущен"
-11
View File
@@ -1,11 +0,0 @@
#!/usr/bin/env bash
set -euo pipefail
REMOTE_HOST="player@t4.shineup.me" \
TARGET_DOMAIN="t4.shineup.me" \
REMOTE_SERVER_DIR="/home/player/t4/server" \
REMOTE_DM_FILES_DIR="/home/player/test-dm-files" \
REMOTE_PUBLIC_FILES_DIR="/home/player/test-public-files" \
REMOTE_SERVICE_NAME="shine-t4" \
SERVER_PORT="7104" \
bash "$(dirname "$0")/deploy_server.sh"
+18
View File
@@ -630,3 +630,21 @@
- `SendSignal` нужен для доверенных межсессионных сигналов одного пользователя, включая `remote AddBlock via homeserver session`.
- `GetCallIceConfig` нужен для WebRTC-звонков и требует авторизации.
- `ClientErrorLog`, `ClientDebugLog`, `CallDeliveryReport` используются для диагностики клиента и звонков.
## GET `/api/files/user-server?login=<user@namespace>` (16.11.2026)
Публичный, read-only resolver файлового сервера пользователя. Работает на
access-сервере просмотрщика, без сессии; читает локальную синхронизированную
PostgreSQL-проекцию Solana через `UserAccessServersCurrentDAO.findPrimaryByUserLogin()`.
Отдельный Solana RPC на каждый просмотр вложения не выполняется.
Пример ответа 200:
```json
{"serverLogin":"node2@shine","serverUrl":"node2.example.net"}
```
404 — пользователь/маршрут не найдены; 400 — некорректный логин;
503 — база/справочник недоступны. Все ответы `Cache-Control: no-store`,
`Access-Control-Allow-Origin: *`; клиент хранит маршрут только в RAM.
DNS-имя `serverUrl` используется для построения
`https://files.<hostname>/<PR>` и `https://dm-files.<hostname>/<FileID>`.
Для нового типа R2 нет дополнительных полей в блокчейне.
+4 -3
View File
@@ -275,9 +275,10 @@
### MessageNode (дополнение)
- `MessageNode` расширяет формат сообщения из `GetChannelMessages` и дополнительно содержит:
- `channelInfo` — мета-информация о канале (если применимо);
- `rawBlockB64` — сырой `block_bytes` текущего блока в Base64.
- Поле `rawBlockB64` присутствует у узлов во всех частях ответа `GetMessageThread`: `focus`, `ancestors[]`, `descendants[]`.
- В `GetChannelMessages` поле `rawBlockB64` **не добавляется** (лента канала без сырого блока, чтобы не раздувать ответ).
- `channelInfo` не содержит бинарной записи. Для полного оригинала используется существующая публичная операция `GetBlockchainBlock` (поля `blockchainName`, `blockNumber`, ответ `blockBytesB64`).
- `rawBlockB64` больше **не отправляется** в обычном `GetMessageThread` — ни для focus, ни для ancestors/descendants, что экономит трафик.
- В `GetChannelMessages` полный бинарный блок также не передаётся.
- В обоих ответах `MessageItem` содержит `arweaveDataItemId` (Base64URL SHA-256 подписи, 43 символа), `arweavePublishPending`, `arweavePublishedAtMs`, `signedDataItemBytes`, `attachmentMetadataValid` (серверная проверка синтаксиса маркеров `v=2`; исходный текст остаётся неизменным). Эти же поля возвращаются **для каждого элемента `versions[]`**, поскольку каждая редакция — отдельный DataItem. `arweavePublishedAtMs` означает регистрацию отправки сервисом, а не независимую проверку шлюза. Поля могут быть `null`, если metadata отсутствует. URL полезных данных: `https://arweave.net/raw/<arweaveDataItemId>`; полный подписанный ANS-104 возвращается по `GetBlockchainBlock`, но это ответ сервера SHiNE, не доказательство извлечения оболочки из Arweave.
- И в `GetChannelMessages`, и в `GetMessageThread` каждое сообщение теперь содержит:
- `repliesCount` — число дочерних сообщений типа `TEXT_REPLY`;
- `ratingsCount` — число дочерних сообщений типа `TEXT_RATING`.
@@ -1,5 +1,7 @@
# Временное Test API для бесплатной загрузки аватаров в Arweave
> Актуальный формат публичных аватаров SHiNE — `<S:ava;v=2;sz=...;pr=BASE58[;ar=TXID]>`. PR вычисляется по BitTorrent v2 из байтов загруженного изображения; SHA256/hex в новых записях аватаров не применяется. Этот документ описывает только старый тестовый транспортный API Arweave и не является спецификацией идентификатора.
> Статус: **временное тестовое решение**.
> Все операции из этого файла начинаются с `Test...`, чтобы это было видно сразу и в коде, и в UI.
+41 -3
View File
@@ -1,8 +1,12 @@
# HTTP API зашифрованных файлов личных сообщений
> **Текущий протокол DM v3 (2026-11):** новые вложения отправляются напрямую в R2 `shine-dm` после `POST /api/dm-files/prepare`; скачиваются по `https://dm-files.<домен access-сервера отправителя>/<Base58(SHA-256(ciphertext))>`. Новые файлы шифруются по 64 МиБ AES-256-GCM (старые v3 по 8 МиБ читаются), список объектов находится в зашифрованном манифесте; BitTorrent v2 используется только в старых DM v2. Ниже разделы `PUT /dm-files/{fileId}` и `GET /dm-files/{fileId}` описывают **legacy** локальный сервер для v1/v2, а не новый R2. Полный текущий контракт см. `docs/Personal_Messages/Файлы_DM_v3_R2.md`.
> **Статистика v42:** сервер при успешной выдаче presigned URL или обнаружении уже существующего шифротекста добавляет запись в `dm_file_uploads` (`user_login`, `file_hash`, `file_size_bytes`, `requested_at`, `disposition`). Каждая зашифрованная часть/манифест — отдельный объект, имена и MIME исходного файла не сохраняются. **Запись не доказывает успешный PUT.** Шифрование, DM-протокол и клиент не изменяются.
## 1. Назначение
Файлы личных сообщений хранятся только на access-сервере отправителя и только в зашифрованном виде.
Ранее файлы DM хранились только на access-сервере отправителя. **Новые DM v3** хранятся в Cloudflare R2 `shine-dm`, а legacy `/dm-files` продолжает обслуживать старые файлы v1/v2.
HTTP API не получает исходное имя файла, MIME-тип или ключ расшифрования.
Клиент:
@@ -11,8 +15,8 @@ HTTP API не получает исходное имя файла, MIME-тип
2. шифрует файл в браузере;
3. считает `SHA-256(ciphertext)`;
4. переводит 32-byte hash в Base58 — это `fileId` и имя файла на диске сервера;
5. загружает ciphertext на свой access-сервер;
6. помещает URL, key, IV, исходное имя/MIME/размер в `<S:file...>` внутри plaintext DM;
5. для нового v3 загружает ciphertext напрямую в R2 (ниже описан legacy v1/v2);
6. помещает ID ciphertext, key, IV, исходное имя/MIME/размер в `<S:file...>` (новый v3 без URL) внутри plaintext DM;
7. обычный механизм E2EE DM шифрует эту техническую вставку отдельно для отправителя и получателя.
Следствие: сервер файлов не знает AES-key и не может расшифровать вложение.
@@ -111,3 +115,37 @@ Caddy/Nginx должен проксировать `/dm-files/*` в тот же J
- encrypted root manifest — ссылки на страницы + BitTorrent v2 root metadata.
Никаких новых доверенных серверных операций для v2 не требуется: сервер по-прежнему только проверяет подпись PUT, длину и `Base58(SHA-256(ciphertext))`.
## 9. Новый R2 API: `POST /api/dm-files/prepare` (DM v3)
Новые зашифрованные вложения загружаются браузером прямо в R2. Клиент посылает JSON `{ "fileId": "Base58_SHA256(ciphertext)", "size": 12345 }` и подписанные заголовки `X-Shine-Session-Id`, `X-Shine-Time-Ms`, `X-Shine-Signature`. Строка Ed25519-подписи: `DM_R2_PREPARE_V1:{sessionId}:{fileId}:{size}:{timeMs}`. Сервер подтверждает существование объекта или выдаёт `uploadUrl` и `requiredHeaders` с условием `If-None-Match: *`.
Максимальный размер одного ciphertext-объекта для R2 DM v3 — **64 МиБ + 16 байт** (67 108 880 байт). Новые вложения используют куски по 64 МиБ, а старые v3 с 8 МиБ продолжают читаться по `chunkSize` из зашифрованного манифеста. Максимальный размер исходного вложения остаётся 500 МиБ. Legacy `dm.files.maxBytes` не меняется. Подписанный PUT действителен 30 минут. Загрузка не идёт через Java. Новый URL скачивания: `https://dm-files.<домен access-сервера отправителя>/<fileId>`; GET публичный, но объект содержит только AES-GCM ciphertext. R2 объект содержит `Content-Type: application/octet-stream`; исходный MIME хранится внутри зашифрованного `<S:file;v=3...>`.
Доступ к R2 требует настроек `r2.dmBucket=shine-dm` и серверных `R2_ENDPOINT`, `R2_ACCESS_KEY_ID`, `R2_SECRET_ACCESS_KEY`. Рекомендуется lifecycle rule **14 дней**. Кэш CDN допускается и может продлить доступность ciphertext после удаления из R2. Сервер не гарантирует соответствие загруженных байтов hash: читающий клиент проверяет `Base58(SHA-256(ciphertext))`. Полный формат DM v3 описан в `docs/Personal_Messages/Файлы_DM_v3_R2.md`.
## 10. Федеративное R2-хранилище (16.11.2026)
У каждого access-сервера свои две корзины R2. Новый DM v3 не сохраняет полный URL в
технической вставке `<S:file>`: передаются `id` (Base58 SHA-256 ciphertext),
ключи/IV и необходимые метаданные, а также новое поле `at` — время завершения
загрузки в миллисекундах Unix. Имя файлового домена вычисляется по отправителю:
`dm-files.<DNS-имя access-сервера>`. Клиент узнаёт адрес через общий `GET
/api/files/user-server?login=<senderLogin>` на своём access-сервере (из
синхронизированной PostgreSQL-проекции Solana). В RAM кэшируется соответствие
логин → сервер; при ошибке файла допускается один повторный поиск в час на
пользователя. Для DM v3 с ранее сохранённым `url` этот URL по-прежнему читается.
Формат бинарного E2EE-контейнера не меняется.
Сервер-владелец R2 получает DNS-адрес из собственной server-PDA в синхронизированной
PostgreSQL по `server.SHiNE.login`. `POST /api/dm-files/prepare` автоматически возвращает
`fileUrl` в формате `https://dm-files.<домен>/<id>` для проверки конфликтов при PUT.
Отдельный R2 public URL в конфигурации не нужен. Публичный адрес файла
должен поддерживать CORS GET/HEAD, а корзина R2 — прямой браузерный доступ.
Для **новых R2 DM v3** после 14 дней от `at` клиент не делает скачивание и
показывает сообщение об истечении срока. Для ранних v3 без `at` используется
время сообщения. Это UX-гарантия клиента, а не физическое удаление: Cloudflare
R2 lifecycle необходимо настроить отдельно. Старые локальные DM v1/v2 не
помечаются истёкшими, поскольку для них не настроен R2 lifecycle.
+32 -129
View File
@@ -1,149 +1,52 @@
# HTTP API публичных файлов каналов
# Публичные вложения SHiNE: Cloudflare R2 и legacy API
## 1. Назначение
## Действующий формат (15.11.2026)
Публичное вложение может храниться не в Arweave, а на текущем сервере доступа автора.
Файловый слой намеренно максимально простой: он хранит только байты, адресованные их SHA-256.
Новые публичные файлы и аватары используют **BitTorrent v2 Pieces Root**, закодированный **Base58** (32 байта; строка обычно 43–44 символа). Идентификатор не зависит от имени и MIME. Клиент вычисляет корень по подготовленным байтам. Содержимое файла **не проходит через Java**.
Канонический URL:
- R2 bucket: `shine-files`.
- Публичный GET: `https://files.<домен access-сервера автора>/<PR>` (ключ объекта = `PR`, без расширения).
- Предпросмотр публичных изображений и видео использует прямой URL. Картинки `loading="lazy"`; публичные видео получают `src` только у видимой области через `IntersectionObserver` и запрашивают метаданные после входа в область. В старом браузере используется обычная загрузка metadata.
- Отдельных preview-файлов нет. Скачивание/просмотр медиаконтента выполняет сам браузер (в том числе HTTP Range, если доступен).
- Тип определяется по `mm`, затем по расширению `nm`; HTTP `Content-Type` объекта задаётся при PUT. Неизвестные файлы — `application/octet-stream`.
- HTML, SVG и похожие активные типы отображаются как обычные файловые карточки. Перед открытием **из публичного интерфейса** показывается предупреждение с возможностью отмены. Это не серверная санитаризация и не гарантия безопасности прямого URL.
Формат публичного вложения (версия тега остаётся 1):
```text
/files/<sha256>
<S:att;v=1;nm=photo.jpg;sz=123456;pr=BASE58_ROOT;mm=image/jpeg>
```
`sha256` — lowercase hex, ровно 64 символа.
При использовании Arweave дополнительно передаётся `;ar=TXID` — существующая загрузка Arweave/Turbo не меняется. Источник выбирается по `ar` (если есть), иначе R2 по `pr`. Не добавлять `storage=r2` в постоянные записи. Общее описание — `docs/Blockchain/15_TEXT_Attachments.md`.
На диске сервер хранит один глобальный объект:
Новые аватары: `<S:ava;v=2;sz=N;pr=BASE58_ROOT[;ar=TXID]>`. SHA-256 hex остаётся лишь в исторических файловых маршрутах, **новые аватары SHA-256 не создают**. Старые аватары v1 не мигрируются автоматически (v41 сбрасывает старые ссылки каналов).
```text
<public.files.storageDir>/<sha256>
## Выдача разрешения на загрузку
`POST /api/files/prepare` (JSON):
```json
{"pr":"BASE58_ROOT","size":123456,"mm":"image/jpeg"}
```
Имя пользователя, исходное имя файла, расширение, MIME и ссылка на сообщение в файловом хранилище не нужны. Одинаковые байты, загруженные разными пользователями, дедуплицируются в один объект.
Сессионная Ed25519-подпись обязательна. Заголовки:
## 2. Конфигурация Java-сервера
- `X-Shine-Session-Id`
- `X-Shine-Time-Ms`
- `X-Shine-Signature`
```properties
public.files.enabled=true
public.files.storageDir=data/public-files
public.files.maxBytes=536870912
```
Подписываемая строка `PUBLIC_R2_PREPARE_V1:{sessionId}:{pr}:{size}:{mm}:{timeMs}`.
Для production рекомендуется задать `public.files.storageDir` абсолютным путём, который одновременно доступен Java для записи и Caddy для чтения.
Сервер проверяет авторизацию, Base58 32-байтного PR, размер (≤500 МиБ), MIME, выполняет S3 `HeadObject`. Если объект уже существует с тем же размером — возвращает `exists:true`; если нет — `uploadUrl`, `requiredHeaders`, `fileUrl`. Браузер делает один **Presigned PUT** прямо в S3 Endpoint R2 с обязательными подписанными заголовками, включая `If-None-Match: *` для защиты от перезаписи. Действие не использует R2 credential в браузере.
Например:
Java **не проверяет реальный Pieces Root содержимого** и не гарантирует строгий объём через один заявленный клиентом `size`; нет Multipart, квот или автоматической проверки фактического PUT после выдачи URL. Неверный PR у первоначального объекта может нарушать дедупликацию — это известный компромисс MVP.
```text
/home/player/shine-public-files
```
Конфигурация сервера: `R2_ENDPOINT`, `R2_ACCESS_KEY_ID`, `R2_SECRET_ACCESS_KEY`, `r2.publicBucket=shine-files`. CORS корзины должен разрешать origin PWA и PUT с подписанными заголовками. Ключи — только на сервере.
## 3. PUT `/files/<sha256>`
## Исторический локальный API SHA-256
Загружает immutable public file. PUT требует активную пользовательскую сессию.
Старый `PublicFileServlet` обслуживает `/files/<64 lowercase hex SHA-256>` на локальном диске (`public.files.storageDir`). Для старых файлов может продолжать работать GET/HEAD/PUT с проверкой SHA-256 и HTTP Range. Новые `pr`-файлы туда **не загружаются**. Детали legacy передавать только при поддержке исторических данных, не использовать этот API в новых тегах.
Заголовки:
## Учёт разрешений R2 (PostgreSQL v42)
```text
Content-Type: application/octet-stream
X-Shine-Session-Id: <active session id>
X-Shine-Time-Ms: <unix time ms>
X-Shine-Content-Length: <file bytes>
X-Shine-Signature: <Ed25519 signature, Base64>
```
Подписываемая строка UTF-8:
```text
PUBLIC_FILE_UPLOAD_V1:{sessionId}:{sha256}:{size}:{timeMs}
```
Сервер потоково принимает байты, заново считает SHA-256 и принимает объект только если:
```text
SHA256(received bytes) == sha256 из URL
```
Если корректный объект уже существует и размер совпадает, PUT идемпотентно отвечает `alreadyExists=true`.
## 4. GET и HEAD (включая HTTP Range)
Java servlet обслуживает `GET /files/<sha256>` и `HEAD /files/<sha256>`.
Проверка SHA-256 **при чтении не выполняется**: хеш проверяется при исходном PUT,
файл immutable, а скачивание не должно требовать предварительного прочтения всех байтов.
Проверка корректности при повторном PUT уже имеющегося объекта сохранена.
Полный GET, как и прежде, возвращает `200 OK` и `Content-Length` всего файла.
HEAD всегда возвращает метаданные **полного объекта** без тела и без обхода
всего файла по байтам (Range в HEAD игнорируется).
Для `GET` с одним диапазоном:
```http
Range: bytes=0-262143
```
Ответ:
```http
HTTP/1.1 206 Partial Content
Accept-Ranges: bytes
Content-Range: bytes 0-262143/<общий размер>
Content-Length: 262144
ETag: "<sha256>"
```
Поддерживаются формы `bytes=START-END`, `bytes=START-` и `bytes=-SUFFIX`.
Для составных или неудовлетворяемых диапазонов сервер возвращает `416` +
`Content-Range: bytes */<общий размер>`. `If-Range` поддерживает точный
совпадающий ETag; при несовпадении возвращается полный `200`.
Остальные заголовки:
```http
Cache-Control: public, max-age=31536000, immutable
Cross-Origin-Resource-Policy: cross-origin
Access-Control-Allow-Origin: *
```
Тип для MP4, WebM, Ogg и AVI Java определяет по первым байтам файла.
Неизвестные типы остаются `application/octet-stream`. Протокол `S:att`
не меняется, имя файла/тип на сервере не сохраняются.
При прямой выдаче Caddy (`file_server`) Range обеспечивает Caddy, а не Java.
Следует проверить `Content-Type` (у файлов с именем SHA-256 нет расширения),
а также корректность ответа `206` через публичный домен, особенно с CDN.
Если нужен корректный MIME по сигнатуре, используйте HTTP reverse_proxy к Java
из инструкции `deploy/PUBLIC_FILES_CADDY_CLOUDFLARE.md`.
## 5. Связь с `S:att`
```text
<S:att;v=1;nm=photo.jpg;sz=12345;sha256=<64 hex>>
```
означает public file на текущем сервере доступа автора.
```text
<S:att;v=1;nm=photo.jpg;sz=12345;sha256=<64 hex>;ar=<txId>>
```
означает Arweave.
Адрес сервера доступа в блок не записывается. При чтении клиент определяет текущий access server автора через его PDA и строит:
```text
https://<current-access-server>/files/<sha256>
```
## 6. Preview
В UI видео со storage=server получает прямую ссылку `/files/<sha256>` (без полного `fetch` в Blob): браузер сам запрашивает диапазоны, читает длительность и загружает стартовый кадр. Размер берётся из `sz` вложения. Для Arweave частичная загрузка зависит от gateway.
Отдельных preview-файлов сейчас нет. `preAr`, `preSha256`, `previewAr`, `previewSha256` не являются частью текущего протокола.
## R2 direct upload (MVP, 2026-11)
New public attachments use BitTorrent v2 `pr` (base64url 43 characters), `mm` (optional MIME) and `v=1`. Avatars retain the original SHA-256 `/files/<sha256>` API. The client signs `PUBLIC_R2_PREPARE_V1:{sessionId}:{pr}:{size}:{mm}:{timeMs}` with its Ed25519 session key, submits JSON `{pr,size,mm}` to `POST /api/files/prepare` and provides `X-Shine-Session-Id`, `X-Shine-Time-Ms` and `X-Shine-Signature`. The endpoint returns `exists`, `fileUrl`, and for missing objects `uploadUrl` and `requiredHeaders`. The browser uploads the original Blob directly to the S3 endpoint, not the Java server. A signature does not certify the hash of uploaded content. The public GET URL is `https://files.shineup.me/<pr>`.
Configuration: `R2_ENDPOINT`, `R2_ACCESS_KEY_ID`, `R2_SECRET_ACCESS_KEY`, `r2.publicBucket=shine-files` (or `r2.endpoint`, `r2.accessKeyId`, `r2.secretAccessKey` in trusted server config). Never publish keys. Configure browser CORS to permit signed PUT headers including `If-None-Match`. Max size: 500 MiB. Single PUT only, no multipart in this MVP.
В `public_file_uploads` пишется событие после успешной авторизации и решения S3: логин, PR, заявленный размер, `requested_at`, `disposition` (`upload_url_issued` или `already_exists`). **Это журнал выдачи разрешения/повторного использования, а не доказательство завершённого PUT.** Повторные попытки фиксируются отдельными строками. Лимитов и блокировок по журналу пока нет. Параллельная таблица DM описана в `docs/API/18_DM_File_Storage_API.md`.
+20
View File
@@ -35,3 +35,23 @@ flowchart LR
## Ограничения этой карты
Схема показывает связи компонентов, но не обещает доступность каждой функции на каждом контуре. Документы с названиями `TODO`, `Черновик`, `PROPOSED` и исторические отчёты не описывают действующий контракт. Если карта расходится с профильной спецификацией или кодом, расхождение нужно проверить и исправить по [правилам сопровождения](CONTRIBUTING_DOCS.md).
## Федеративные публичные и DM-файлы (16.11.2026)
- Публичные PR/Base58-файлы и аватарки ищутся на
`https://files.<access-домен автора>/<PiecesRoot>`; в публикации нет
дополнительного поля домена. Arweave и legacy `/files/<sha256>` не меняются.
- Новый DM v3 по отправителю определяется на `dm-files.<access-домен>`, а
в технической вставке сохраняется идентификатор, но не URL. Исторические DM
v3 с URL читаются. Про шифрование и срок хранения см.
`docs/Personal_Messages/Файлы_DM_v3_R2.md`.
- Access-домен клиента определяется через `GET /api/files/user-server?login=`.
Java использует `UserAccessServersCurrentDAO.findPrimaryByUserLogin()`:
синхронизированную PostgreSQL-проекцию Solana. Платный аккаунт — первый
access server пользовательской PDA, FREE_CERT — namespace default server.
Ответ `{serverLogin, serverUrl}`; клиент формирует домены сам.
- Client-cache исключительно в RAM, без TTL/IndexedDB. Одновременные обращения
объединяются; после ошибки файла повторный lookup не чаще раза в час на автора.
Успешная загрузка не запускает periodic validation.
- Смена access-сервера **не переносит** старые объекты R2: миграция файлов
должна быть выполнена отдельно до обновления маршрута пользователя.
@@ -17,7 +17,7 @@ Payload включает:
```text
<S:title;v=1;Название канала>
<S:ava;v=1;sz=248193;sha256=3f2c8a...;ar=AbCdEf...>
<S:ava;v=2;sz=248193;pr=JEKNVnkbo3jma5nREBBJCDoXFVeKkD56V3xKrvRmWxFG;ar=AbCdEf...>
Описание канала.
```
+26 -3
View File
@@ -1,4 +1,4 @@
# TECH блоки (`type=0`, `version=1`)
# TECH блоки (`type=0`; версия 1, а для HEADER также 2)
TECH-тип покрывает системные записи пользовательской цепочки. Все TECH DataItem имеют подписанный индексный тег:
@@ -12,7 +12,30 @@ t=tech
### `subType=0` — `HEADER_COMPAT`
Стартовый блок цепочки (`block #0`). Payload содержит tag `SHiNE`, login владельца и `initialBlockchainKey32`.
Стартовый блок цепочки (`block #0`). Новый клиент создаёт `HEADER v2`, а старые `HEADER v1` продолжают читаться.
Формат `HEADER v1`:
```text
[5] ASCII "SHiNE"
[1] loginLength (uint8)
[N] login UTF-8
[32] initialBlockchainKey32
```
Формат `HEADER v2`, строго в указанном порядке:
```text
[5] ASCII "SHiNE"
[1] loginLength (uint8)
[N] login UTF-8
[15] ASCII "license:CC0-1.0"
[32] initialBlockchainKey32
```
В `v2` строка `license:CC0-1.0` записывается **буквально**, без отдельного поля длины, и должна полностью совпадать. Наличие префикса `license:` обязательно. Запись является частью подписанного блока. Любые другие строки лицензии и дополнительные байты запрещены.
`HEADER v1` остаётся исторически допустимым и не означает автоматически принятую CC0. Существующие блоки #0 не переписываются. Все новые цепочки создаются с `HEADER v2`.
Поле `login` хранит **точное неизменяемое написание идентичности при регистрации**: для новой регистрации `login@namespace` соответствует `[A-Za-z0-9_]+@[a-z0-9_]+`, длина не более 30 байт. Регистр локальной части сохраняется побайтно из Solana PDA или сертификата Arweave; `@namespace` остаётся строчным. `AlexSmith@shine` и `alexsmith@shine` идентифицируют одного человека (по lower-case), но только первый вариант допустим в его HEADER, если именно так он зарегистрирован. `@` не меняет бинарную структуру HEADER: `[loginLength:uint8][login UTF-8 bytes]`. При копировании префикса для следующих fork первый HEADER не меняется. Исторические legacy `[A-Za-z0-9_]+` по-прежнему декодируются, но в новую регистрацию не допускаются.
@@ -22,7 +45,7 @@ AddBlock сверяет HEADER #0 с точным именем в `user_identity
HEADER сам не хранит line-prefix, но является root TECH-линии.
После успешной регистрации и автоматического входа клиент вызывает `ensureBlockchainHeader(login, storagePwd)` один раз в общем завершении регистрации (как Solana, так и Arweave). При отсутствии блока №0 клиент создаёт и подписывает HEADER и отправляет его через обычный `AddBlock`. Неудачная отправка **не отменяет** уже подтверждённую регистрацию: существующая логика создания первого пользовательского блока проверит и при необходимости создаст HEADER перед ним. Дополнительной проверки при каждом входе нет. Формат блоков и серверный API не изменены.
После успешной регистрации и автоматического входа клиент вызывает `ensureBlockchainHeader(login, storagePwd)` один раз в общем завершении регистрации (как Solana, так и Arweave). При отсутствии блока №0 клиент создаёт и подписывает HEADER и отправляет его через обычный `AddBlock`. Неудачная отправка **не отменяет** уже подтверждённую регистрацию: существующая логика создания первого пользовательского блока проверит и при необходимости создаст HEADER перед ним. Дополнительной проверки при каждом входе нет. Схема `HEADER v2` расширена константой лицензии; сетевой API AddBlock не меняется.
### `subType=1` — `TECH_CREATE_CHANNEL`
+5 -3
View File
@@ -103,7 +103,7 @@ Login/fork для edit не подписываются: edit может ссыл
- Такой edit трактуется как логическое удаление содержимого сообщения.
- Для удаления отдельного сообщения используется именно edit-блок; отдельного `DELETE`-подтипа сообщения нет. `TEXT_CHANNEL_DELETE=92` относится только к soft-delete всего канала.
## Вложения в текстовых сообщениях (`S:att v=1`)
## Вложения в текстовых сообщениях (`S:att v=1` и `v=2`)
Для `TEXT_POST`, `TEXT_REPLY`, `TEXT_EDIT_POST` и `TEXT_EDIT_REPLY` клиент может хранить вложения как технические строки в начале обычного `text`.
@@ -127,8 +127,8 @@ Arweave-вложение:
Обязательные поля:
- `v=1`
- `nm` - имя файла, закодированное через `encodeURIComponent`
- `v=1` для исторических записей, `v=2` для новых
- `nm` - имя файла: для `v=1` старое `encodeURIComponent`, для `v=2` UTF-8 с экранированием только `%`, `<`, `>`, `=`, `;`
- `sz` - размер файла в байтах
- `sha256` - SHA-256 исходного файла в hex
@@ -151,4 +151,6 @@ Arweave-вложение:
- старые клиенты без поддержки вложений могут показывать технические строки как обычный текст;
- пустой пользовательский текст допустим, если перед ним есть хотя бы один валидный attach-блок.
В `v=2` при структурированном чтении проверяется уникальность полей, допустимость кодирования и значений. Безопасное текстовое представление и файловые URL должны дополнительно валидироваться на клиенте и сервере.
Сам файл всегда хранится вне блокчейна. В блокчейне остаются имя, размер, SHA-256 и, только для Arweave-вложения, `ar`.
+23 -118
View File
@@ -1,132 +1,37 @@
# Вложения в TEXT-сообщениях (`S:att v=1`)
# Вложения в TEXT-сообщениях (`S:att;v=1` и `v=2`)
Документ фиксирует текущий формат вложений в текстовых блоках SHiNE.
Технический префикс в UTF-8 `text` для `TEXT_POST`, `TEXT_REPLY`, `TEXT_EDIT_POST`, `TEXT_EDIT_REPLY`. Бинарный формат TEXT не меняется. До 10 вложений в начале сообщения, затем обычный текст; порядок сохраняется.
## Область применения
Формат применяется к UTF-8 полю `text` в TEXT-блоках:
- `TEXT_POST`
- `TEXT_REPLY`
- `TEXT_EDIT_POST`
- `TEXT_EDIT_REPLY`
Бинарный формат `TextBody` не меняется. Вложения являются техническим префиксом внутри обычного текста.
## Общий вид
Arweave-вложение:
## Канонический формат (2026-11, v=2)
```text
<S:att;v=1;nm=report.pdf;sz=845221;sha256=0123456789abcdef0123456789abcdef0123456789abcdef0123456789abcdef;ar=AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA>
<S:att;v=2;nm=photo.jpg;sz=248193;pr=BASE58_ROOT;mm=image/jpeg>
<S:att;v=2;nm=video.mp4;sz=15000000;pr=BASE58_ROOT;mm=video/mp4;ar=TXID>
Текст публикации
```
Public file на сервере доступа автора:
- `v` — версия: **2** для новых публикаций, старые `v=1` остаются читаемыми.
- `nm` — UTF-8 имя файла без массового URL-кодирования. В `v=2` только служебные символы кодируются однобайтовыми ASCII-последовательностями: `%`→`%25`, `;`→`%3B`, `=`→`%3D`, `<`→`%3C`, `>`→`%3E`. Управляющие символы в именах не допускаются. Фактическая нормализация клиента заменяет `\` и `/` на `_` (старое правило).
- Пример: `Водопад.mp4` записывается как `Водопад.mp4`; `Лето;фильм=1.mp4` — как `Лето%3Bфильм%3D1.mp4`.
- Парсер v=2 отвергает неизвестные и повторные ключи, неверное экранирование, ошибочный MIME, некорректную длину/идентификатор. Сервер/импортёр не должны доверять метаданным клиента и обязаны проверять формат при структурированном чтении. Блокчейн и исходный `text` хранятся побайтово неизменными.
- `sz` — размер подготовленных байтов в десятичном виде.
- `pr` — **BitTorrent v2 Pieces Root (32 байта), Base58**, не SHA-256 целого файла; текущий стандарт новых вложений.
- `mm` — необязательный MIME, в формате `type/subtype`; неизвестный — `application/octet-stream`.
- `ar` — необязательный Arweave Transaction ID, нативный формат Arweave.
- `sha256` — исторический lowercase hex SHA-256 для старых тегов/объектов; новые записи его не создают.
```text
<S:att;v=1;nm=report.pdf;sz=845221;sha256=0123456789abcdef0123456789abcdef0123456789abcdef0123456789abcdef>
```
`ar` присутствует → получить файл через Arweave gateway. Нет `ar`, есть `pr` → `https://files.<домен access-сервера автора>/<pr>`. Исторический `sha256` без `pr`/`ar` → прежний `/files/<sha256>` access-сервера автора. `storage=r2` и абсолютные URL в тег не записываются.
Несколько вложений идут подряд в самом начале текста:
Идентификаторы новых аватаров — тоже **Base58(PR)**, но формат аватара отдельный: `<S:ava;v=2;sz=N;pr=ROOT[;ar=TXID]>`. Формат v1/SHA-256 аватаров больше не создаётся; миграция v41 не конвертирует старые значения.
```text
<S:att;v=1;nm=photo.jpg;sz=248193;sha256=aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa>
<S:att;v=1;nm=report.pdf;sz=845221;sha256=cccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccc;ar=DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD>
Текст сообщения
```
## Отображение и безопасность
После последнего attach-блока идёт обычный пользовательский текст. Пользовательский текст может быть пустым, если есть хотя бы одно валидное вложение.
Клиент берёт тип по `mm` (при его наличии), иначе пытается использовать расширение `nm`. Для HTTP-открытия URL без расширения R2 также хранит `Content-Type` в метаданных объекта. Изображения загружаются `loading="lazy"`; публичные видео не получают `src`, пока не приблизились к экрану (`IntersectionObserver` с fallback). Встроенное отображение использует исходный файл, дополнительных preview-объектов нет.
Клиент SHiNE ограничивает одно сообщение максимум 10 вложениями и сохраняет порядок attach-блоков.
HTML, SVG, XHTML, JavaScript, XML по расширению или MIME выводятся карточками с подтверждением перед переходом из UI. Пользователь может отменить открытие; прямые ссылки R2/Arweave обходят это предупреждение. Это не изменение доступа, криптографии или правила хранения и **не даёт защиты от вредоносного содержимого на уровне HTTP**.
## Поля
Публичные вложения сохраняются на R2 либо в Arweave без автоматического удаления; DM-вложения используют отдельный протокол, см. `docs/Personal_Messages/Файлы_DM_v3_R2.md`. Редактирование текста сохраняет технические attach-блоки и не переносит объекты между хранилищами.
Обязательные поля:
## Совместимость
- `v=1` - версия формата attach-блока;
- `nm` - имя файла, закодированное через `encodeURIComponent`;
- `sz` - размер файла в байтах;
- один из идентификаторов файла: `pr` — pieces root BitTorrent v2 (base64url, 43 символа) для новых вложений; `sha256` — hex SHA-256 (64 символа) для совместимости со старыми.
Опциональные поля:
- `ar` - короткий Arweave Transaction ID, 43 символа, без gateway URL;
- `mm` - MIME типа `image/jpeg` или `video/mp4`; если отсутствует, UI использует расширение `nm`.
Источник определяется следующим образом:
- `ar` присутствует -> Arweave;
- `ar` отсутствует, но есть `pr` -> публичный Cloudflare R2 (`https://files.shineup.me/<pr>`);
- `ar` и `pr` отсутствуют, есть `sha256` -> старое файловое хранилище сервера доступа автора.
Адрес сервера автора, URL файла и login автора в attach-блок не записываются: автор уже известен из подписанного блока. Старые файлы разрешаются через сервер доступа, новые R2 — по `pr`.
## Preview
Отдельные preview-файлы в текущем протоколе **не поддерживаются и пока не нужны**.
Клиент не должен создавать или использовать поля `preAr`, `preSha256`, `previewAr`, `previewSha256`. Для изображения или видео используется исходный файл вложения.
Если такие поля встречаются в экспериментальных старых данных, текущая реализация может их игнорировать; они не являются частью канонического `S:att v=1`.
## Хранение файла
Сам файл всегда находится вне блокчейна.
### Arweave
Если присутствует `ar`, файл читается через настроенный Arweave gateway по указанному `txId`.
### Cloudflare R2 (новые публичные файлы)
Если `ar` отсутствует и указан `pr`, клиент использует прямой адрес `https://files.shineup.me/<pr>`. Браузер запрашивает исходное медиа напрямую; сервер Java в отдаче файла не участвует. При видео браузер может запрашивать только метаданные и нужные фрагменты через HTTP Range.
### Сервер доступа (старые вложения с SHA-256)
Если `ar` и `pr` отсутствуют, клиент:
1. определяет текущий сервер доступа автора сообщения;
2. запрашивает файл по стандартному пути `/files/<sha256>`;
3. использует прежний формат ссылок для совместимости с существующими сообщениями.
URL или домен конкретного сервера в блокчейн не записывается. Поэтому смена сервера доступа не требует изменения старых сообщений.
## Создание вложения в UI
UI предлагает два способа хранения публичных вложений: `Cloudflare R2` (через пункт сервера доступа) и `Arweave`. Отдельные preview-файлы не создаются.
После загрузки в R2 формируется `S:att v=1` с `pr` и `mm`, без `ar`. Для Arweave используется механизм Arweave/Turbo; дополнительно записывается `ar`.
Журнал загрузок Arweave хранится только в `sessionStorage` текущего браузера и не является частью блокчейна.
## Отображение
Клиент при чтении сообщения:
1. читает валидные attach-блоки только из начала текста;
2. скрывает технические attach-строки;
3. определяет источник по наличию `ar`;
4. получает Arweave-файл по `txId`, R2-файл по `pr` либо старый server-файл по `/files/<sha256>`;
5. определяет тип вложения по `mm` (если указан), иначе по расширению `nm`;
6. изображение отображает из исходного файла;
7. видео отображает из исходного файла и открывает HTML5-плеер;
8. обычный файл показывает как карточку с именем, размером и скачиванием;
9. при перелистывании останавливает воспроизводящееся видео;
10. битый attach-блок игнорирует, не ломая остальное сообщение.
## Редактирование
При редактировании сообщения UI сохраняет существующие attach-блоки и меняет только пользовательский текст. Удаление сообщения выполняется через edit-блок с пустым текстом, как описано в `11_TEXT_Blocks.md`.
## Совместимость и ограничения
- полный URL в поле `ar` не используется;
- для старых `sha256`-вложений MIME не записывался, тип UI определяется по расширению `nm`;
- старые текстовые префиксы `<SHiNE:attach ...>` и `<S:attach ...>` могут продолжать читаться как совместимые формы;
- отдельные preview-поля не входят в текущий протокол;
- `width`, `height`, `duration` и `thumbnail` не записываются отдельными полями; новые вложения могут содержать `mm` (MIME).
## MVP R2 (2026-11): новые публичные вложения
Для **новых** публичных вложений использовать `<S:att;v=1;nm=video.mp4;sz=12345;pr=BASE64URL;mm=video/mp4>`; при загрузке в Arweave добавляется `;ar=TXID`. `pr` — 32-байтный BitTorrent v2 pieces root в base64url без padding (43 символа), а не SHA-256 файла. `mm` необязателен; отсутствие означает `application/octet-stream`. Новое публичное вложение без `ar` скачивается с `https://files.shineup.me/<pr>`. `storage=r2` отсутствует. Новые аватары **не изменяются**: SHA-256 и старый API `/files/<sha256>` остаются. Существующий формат чтения `sha256` оставлен для ранее созданных данных и уже загруженных транзакций Arweave. Публичные изображения и видео показываются внутри сообщения из исходного файла (`<img>` / `<video preload="metadata">`) и открываются в общем просмотрщике; PDF, архивы и другие файлы остаются карточками. Тип определяется по `mm`, если он указан и не равен `application/octet-stream`, иначе — по расширению `nm`. Если браузер не может декодировать файл, сохраняется карточка для скачивания (если HEAD-запрос недоступен, показывается ошибка файла). Клиент не скачивает медиа целиком через JavaScript для предпросмотра. UI личных зашифрованных файлов не меняется.
Существующий `v=1` использует `encodeURIComponent`/`decodeURIComponent`. Новые записи создаются в `v=2`, уже записанные блоки не переписываются. Парсер терпимо читает старое поле `sha256` и префиксы `<SHiNE:attach>`/`<S:attach>`, если данные сохранились. Массовая миграция не выполняется. Экспериментальные `preAr`, `preSha256`, `previewAr`, `previewSha256`, `width`, `duration`, `thumbnail` не входят в протокол.
+7 -7
View File
@@ -19,14 +19,14 @@
```text
<S:title;v=1;Название канала>
<S:ava;v=1;sz=248193;sha256=3f2c8a...;ar=AbCdEf...>
<S:ava;v=2;sz=248193;pr=JEKNVnkbo3jma5nREBBJCDoXFVeKkD56V3xKrvRmWxFG;ar=AbCdEf...>
Описание канала.
```
Поддерживаемые теги:
- `<S:title;v=1;...>` — человекочитаемое имя канала.
- `<S:ava;v=1;sz=...;sha256=...;ar=...>` — аватар канала в Arweave.
- `<S:ava;v=2;sz=...;pr=...;ar=...>` — аватар канала: PR/Base58 в R2 либо PR/Base58 + нативный Arweave TX ID (`ar` — необязательное поле).
## Правила
@@ -43,7 +43,7 @@
- В `title` запрещены `<`, `>`, `;`, табуляция, перевод строки и `\0`.
- Длина описания — максимум 250 Unicode code points.
- `avatar.ar` — Arweave transaction id из 43 символов.
- `avatar.sha256` — 64 hex-символа.
- `avatar.pr` — Base58 от 32 байт BitTorrent v2 Pieces Root (без hex и Base64URL).
- `avatar.sz` — положительный размер файла в байтах.
Если meta-блок невалиден, сервер не применяет его целиком.
@@ -60,8 +60,8 @@
Команда `/.desc` больше не используется и не применяется сервером. Описание канала меняется только через `TEXT_CHANNEL_META`.
## Совместимость
## Версии
- Новый UI пишет сокращённые теги `<S:title ...>` и `<S:ava ...>`.
- Серверное чтение поддерживает и старые теги `<SHiNE:title ...>` / `<SHiNE:avatar ...>`.
- Для размера аватара чтение поддерживает и старое поле `size`, и новое поле `sz`.
- Новый UI пишет `<S:ava;v=2;sz=...;pr=...>` с **регистрозависимым** Base58. Старые аватары v1 с SHA-256/hex не отображаются и не мигрируются автоматически.
- При перестроении индекса старый тег v1 пропускается, но сам старый канал и его текст сохраняются.
- Поле `ar` при наличии остаётся оригинальным Arweave Transaction ID (Base64URL), его не перекодируем.
@@ -0,0 +1,10 @@
# Публичные идентификаторы содержимого SHiNE (15.11.2026)
- **Публичные вложения и новые аватарки:** 32-байтный BitTorrent v2 Pieces Root, текстовая форма — канонический Bitcoin Base58. Это не обычный SHA-256 файла для файлов больше 16 КиБ. Блоки/корень считаются по правилам BitTorrent v2. Base58 чувствителен к регистру: запрещено `.toLowerCase()`.
- **Хранилище:** все публичные объекты, включая аватарки, в корне R2 корзины `shine-files` на access-сервере автора: ключ `<PR>`, URL `https://files.<домен access-сервера автора>/<PR>`. Папок `avatars/` нет. Прямая загрузка браузером через `POST /api/files/prepare` + presigned PUT. Подготовка аватара: WebP/JPEG, максимум 768 px, затем вычисление PR от фактически загружаемых байтов.
- **User profile avatar:** `<S:ava;v=2;sz=12345;pr=<Base58>>`; **channel avatar:** тот же тег в метаданных. В случае Arweave добавляется `;ar=<original Arweave TX ID>`. Arweave TX ID не перекодируется (остается Base64URL).
- **Старый аватар SHA-256/hex (`v=1`) не поддерживается** и не переносится. Старые аватары перестанут отображаться без повторной загрузки/перепубликации профиля. Старые каналы не удаляются: старый тег аватара при перестроении индекса пропускается.
- **DM:** зашифрованные объекты — SHA-256/Base58 в своей корзине. Никаких изменений в этом патче.
- **На будущее для SHA-256-ID:** если вновь вводится публичный объект, идентифицируемый обычным SHA-256, его текстовая форма — `Base58(SHA-256(bytes))`, без hex; тип хеша обозначается отдельно (`sha256` против `btv2-pr`). SHA-256 и Merkle PR нельзя путать даже при одинаковой длине.
- **База данных:** колонка `channel_names_state.ava_sha256` переименовывается в `ava_pr` в миграции v41, прежние значения очищаются; необходим бэкап БД перед выкладкой. Старые поля API `avaSha256` / `avatarSha256` заменены на `avaPr` / `avatarPr`.
- **Безопасность:** одно имя `<PR>` не означает, что Cloudflare самостоятельно проверил Merkle-корень: при работе с недоверенным загрузчиком требуется независимо проверять соответствие содержимого PR. В существующей системе presigned PUT проверяет авторизацию, но не доказывает PR содержимого.
+5
View File
@@ -1,3 +1,8 @@
## 2026-11-19 — Компактные имена вложений в `S:att v=2`
- `S:att;v=2` записывает UTF-8 имена непосредственно и %-кодирует только служебные символы; `v=1` остаётся читаемым, бинарный Frame не изменён.
- Парсер клиента проверяет имена, повторные поля, MIME и идентификаторы. Сервер передаёт исходный текст неизменным и не считает маркеры вложений достоверными без их разбора.
## 2026-11-08 — Минимальная длина имени нового канала в TECH_CREATE_CHANNEL
- Для создания блока `TECH_CREATE_CHANNEL (type=0/subType=1/version=1)` введён протокольный минимум `channelName`: **4 символа**; максимум остаётся 32.

Some files were not shown because too many files have changed in this diff Show More