WIP: добавить MVP загрузки вложений в Cloudflare R2

Работа ещё не готова: предпросмотр публичных R2-вложений в UI пока не завершён.
This commit is contained in:
AidarKC
2026-11-15 00:48:41 +03:00
parent 97db033eb8
commit 2f5736e67d
16 changed files with 361 additions and 72 deletions
+64
View File
@@ -0,0 +1,64 @@
# SHiNE — патч R2 для публичных вложений (14.11.2026)
**База:** `SHiNE-bundle-2026.11.14-13.22.24.zip`. Это overlay-патч: распаковать **поверх точно этой версии** репозитория, сохраняя пути. Не раскатывать без проверки на тестовом сервере.
## Что изменено
- `S:att;v=1` поддерживает `pr` (BitTorrent v2 pieces root, base64url) и необязательное `mm` (MIME); `ar` сохраняется. Старый `sha256` остаётся читаемым.
- SHA-256 у аватаров и существующий `/files/<sha256>` не меняются.
- Новый `file-preparation-service.js` вычисляет `pr` через существующий аккумулятор порциями 1 МиБ; по окончательному файлу.
- Новый `POST /api/files/prepare` принимает `{pr,size,mm}`, проверяет Ed25519 подпись существующей сессии, возвращает `uploadUrl` / `requiredHeaders` или `exists=true`.
- Клиент напрямую делает один PUT в Cloudflare R2 (без проксирования байтов Java), максимальный размер 500 МиБ, без Multipart.
- Для публичных вложений нет встроенного медиа-превью — только файловые карточки и прямые URL; в DM просмотрщик не меняется.
- Для новых Arweave-вложений считаем `pr` и сохраняем `mm`, но аватары и транзакции прошлых версий остаются на SHA-256.
## Конфигурация Java-сервера
В защищённом окружении процесса Java задать:
```
R2_ENDPOINT=https://<account_id>.r2.cloudflarestorage.com
R2_ACCESS_KEY_ID=<secret>
R2_SECRET_ACCESS_KEY=<secret>
```
И `r2.publicBucket=shine-files` в обычной конфигурации. Убедиться, что используется endpoint юрисдикции, соответствующей bucket. Значения в Git НЕ добавлять.
Cloudflare CORS bucket `shine-files` должен позволять `PUT`, `GET`, `HEAD` с origins SHiNE и с заголовками **Content-Type, If-None-Match** (можно `AllowedHeaders: ["*"]`). Для тестового UI-домена добавить соответствующий origin в Cloudflare CORS; Java API в патче разрешает `https://test.shineup.me` наряду с основным доменом. Custom Domain: `https://files.shineup.me`.
## Запрос подписанного разрешения
```
POST /api/files/prepare
Content-Type: application/json
X-Shine-Session-Id: <sessionId>
X-Shine-Time-Ms: <epoch-ms>
X-Shine-Signature: <Ed25519 signature>
{"pr":"<43-char-base64url>","size":12345,"mm":"video/mp4"}
```
Подпись по UTF-8 строке:
```
PUBLIC_R2_PREPARE_V1:<sessionId>:<pr>:<size>:<mm>:<epoch-ms>
```
От сервера клиент получает `requiredHeaders`: передать **ровно эти заголовки** при PUT в `uploadUrl`. `If-None-Match: *` запрещает перезапись. Ключи API никогда не отправляются клиенту.
## Тесты
```
node scripts/tests/test-r2-file-preparation.mjs
python3 scripts/check_docs.py
./gradlew compileJava test
```
В среде подготовки патча проверки JavaScript и документации прошли. **Java-сборку нельзя было завершить**: Gradle Wrapper хотел скачать Gradle 8.14 с `services.gradle.org`, но сеть контейнера недоступна. Выполнить Gradle-сборку и сквозной тест реального R2 **до production deploy**. Реальный R2 не тестировался.
## Риски, которые остаются в MVP
- Клиент задаёт `pr`; сервер не пересчитывает хеш содержимого. Возможна первоначальная подмена объекта под заявленным ключом; проверка размера и `If-None-Match` не решают эту проблему полностью. Для доверенной дедупликации нужна независимая проверка или механизм карантина.
- Сервер проверяет **заявленный** размер до подписи, но простой Presigned PUT сам по себе не обеспечивает строгий лимит фактически переданных байтов. Обязательно ограничить расходы/злоупотребления в окружении R2; для публичного production это отдельный вопрос безопасности.
- Один PUT при обрыве загружается заново. Multipart пока исключён по согласованию.
- Для тестового домена нужны правильные CORS origins; кэширование Cloudflare необязательно.
@@ -10,5 +10,6 @@ public final class PublicFileApiConfigurator {
public static void register(ServletContextHandler context) {
context.addServlet(new ServletHolder(new PublicFileServlet()), "/files/*");
context.addServlet(new ServletHolder(new R2PrepareServlet()), "/api/files/prepare");
}
}
@@ -336,6 +336,28 @@ public final class PublicFileServlet extends HttpServlet {
return new StoredObjectCheck(Objects.equals(expectedFileId, actual), size);
}
/** Authorize a signed preparation request without exposing the session key. */
static void verifyR2Prepare(HttpServletRequest req, String root, long size, String mime) throws IOException {
String sessionId = req.getHeader("X-Shine-Session-Id");
String timeRaw = req.getHeader("X-Shine-Time-Ms");
String signatureRaw = req.getHeader("X-Shine-Signature");
if (sessionId == null || timeRaw == null || signatureRaw == null) throw new SecurityException("Missing signed session headers");
try {
long timeMs = Long.parseLong(timeRaw);
if (Math.abs(System.currentTimeMillis() - timeMs) > MAX_AUTH_SKEW_MS) throw new SecurityException("Expired signature");
ActiveSessionEntry session = ActiveSessionsDAO.getInstance().getBySessionId(sessionId);
if (session == null || session.getSessionKey() == null || session.getSessionKey().isBlank()) throw new SecurityException("Session not found");
byte[] signature = Base64Ws.decodeLen(signatureRaw, Ed25519Util.SIGNATURE_LEN, "signature");
byte[] publicKey = AuthKeyUtils.parseEd25519PublicKey(session.getSessionKey(), "sessionKey");
String preimage = "PUBLIC_R2_PREPARE_V1:" + sessionId + ':' + root + ':' + size + ':' + mime + ':' + timeMs;
if (!Ed25519Util.verify(preimage.getBytes(StandardCharsets.UTF_8), signature, publicKey)) throw new SecurityException("Invalid signature");
} catch (SQLException e) {
throw new IOException("Session database unavailable", e);
} catch (RuntimeException e) {
throw new SecurityException("Invalid upload authorization", e);
}
}
private UploadAuth readAndVerifyUploadAuth(HttpServletRequest req, String fileId) throws AuthFailure {
String sessionId = requiredHeader(req, HEADER_SESSION_ID);
String timeRaw = requiredHeader(req, HEADER_TIME_MS);
@@ -0,0 +1,114 @@
package server.files;
import com.fasterxml.jackson.databind.JsonNode;
import com.fasterxml.jackson.databind.ObjectMapper;
import com.fasterxml.jackson.databind.node.ObjectNode;
import jakarta.servlet.http.HttpServlet;
import jakarta.servlet.http.HttpServletRequest;
import jakarta.servlet.http.HttpServletResponse;
import software.amazon.awssdk.auth.credentials.AwsBasicCredentials;
import software.amazon.awssdk.auth.credentials.StaticCredentialsProvider;
import software.amazon.awssdk.regions.Region;
import software.amazon.awssdk.services.s3.S3Client;
import software.amazon.awssdk.services.s3.model.HeadObjectRequest;
import software.amazon.awssdk.services.s3.model.PutObjectRequest;
import software.amazon.awssdk.services.s3.presigner.S3Presigner;
import software.amazon.awssdk.services.s3.presigner.model.PutObjectPresignRequest;
import utils.config.AppConfig;
import java.io.IOException;
import java.net.URI;
import java.time.Duration;
import java.util.Map;
import java.util.regex.Pattern;
/** Only signs single-object uploads. File contents never pass through SHiNE. */
public final class R2PrepareServlet extends HttpServlet {
private static final ObjectMapper JSON = new ObjectMapper();
private static final Pattern ROOT = Pattern.compile("^[A-Za-z0-9_-]{43}$");
private static final Pattern MIME = Pattern.compile("^[a-zA-Z0-9!#$&^_.+-]+/[a-zA-Z0-9!#$&^_.+-]+$");
private static final long MAX_BYTES = 500L * 1024L * 1024L;
@Override protected void doOptions(HttpServletRequest req, HttpServletResponse resp) {
cors(req, resp); resp.setStatus(204);
}
@Override protected void doPost(HttpServletRequest req, HttpServletResponse resp) throws IOException {
cors(req, resp);
try {
if (req.getContentLengthLong() > 4096) { fail(resp, 413, "Request too large"); return; }
JsonNode input = JSON.readTree(req.getInputStream());
if (input == null) { fail(resp, 400, "Missing JSON body"); return; }
String root = input.path("pr").asText("");
String mime = input.path("mm").asText("application/octet-stream").trim();
long size = input.path("size").asLong(-1);
if (!ROOT.matcher(root).matches() || size < 1 || size > MAX_BYTES || !MIME.matcher(mime).matches() || mime.length() > 127) {
fail(resp, 400, "Invalid root, size or MIME"); return;
}
// The same authenticated session signing pattern as /files, with a distinct domain separator.
try { PublicFileServlet.verifyR2Prepare(req, root, size, mime); }
catch (SecurityException e) { fail(resp, 401, "Unauthorized"); return; }
String endpoint = setting("R2_ENDPOINT", "r2.endpoint");
String accessKey = setting("R2_ACCESS_KEY_ID", "r2.accessKeyId");
String secret = setting("R2_SECRET_ACCESS_KEY", "r2.secretAccessKey");
String bucket = AppConfig.getInstance().getParam("r2.publicBucket");
if (bucket == null || bucket.isBlank()) bucket = "shine-files";
if (endpoint == null || accessKey == null || secret == null) { fail(resp, 503, "R2 is not configured"); return; }
var creds = StaticCredentialsProvider.create(AwsBasicCredentials.create(accessKey, secret));
var httpEndpoint = URI.create(endpoint);
ObjectNode out = JSON.createObjectNode();
out.put("fileUrl", "https://files.shineup.me/" + root);
try (S3Client s3 = S3Client.builder().region(Region.of("auto")).endpointOverride(httpEndpoint)
.credentialsProvider(creds).forcePathStyle(true).build()) {
try {
var head = s3.headObject(HeadObjectRequest.builder().bucket(bucket).key(root).build());
if (head.contentLength() != size) { fail(resp, 409, "Existing object size mismatch"); return; }
out.put("exists", true);
} catch (software.amazon.awssdk.services.s3.model.S3Exception e) {
if (e.statusCode() != 404) throw e;
out.put("exists", false);
// Signature binds Content-Type and the no-overwrite condition. No permanent API key in browser.
var put = PutObjectRequest.builder().bucket(bucket).key(root).contentType(mime)
.ifNoneMatch("*").build();
try (S3Presigner presigner = S3Presigner.builder().region(Region.of("auto"))
.endpointOverride(httpEndpoint).credentialsProvider(creds).serviceConfiguration(
software.amazon.awssdk.services.s3.S3Configuration.builder().pathStyleAccessEnabled(true).build()).build()) {
var signed = presigner.presignPutObject(PutObjectPresignRequest.builder()
.signatureDuration(Duration.ofMinutes(30)).putObjectRequest(put).build());
out.put("uploadUrl", signed.url().toString());
ObjectNode headers = out.putObject("requiredHeaders");
for (Map.Entry<String, java.util.List<String>> entry : signed.signedHeaders().entrySet()) {
if (!entry.getKey().equalsIgnoreCase("host")) headers.put(entry.getKey(), String.join(",", entry.getValue()));
}
}
}
}
respond(resp, 200, out);
} catch (Exception e) {
getServletContext().log("R2 prepare failure", e);
fail(resp, 503, "R2 upload preparation failed");
}
}
private static String setting(String env, String property) {
String value = System.getenv(env);
if (value == null || value.isBlank()) value = AppConfig.getInstance().getParam(property);
return value == null || value.isBlank() ? null : value.trim();
}
private static void cors(HttpServletRequest req, HttpServletResponse resp) {
String origin = req.getHeader("Origin");
if ("https://shineup.me".equals(origin) || "https://www.shineup.me".equals(origin)
|| "https://test.shineup.me".equals(origin) || "https://t2.shineup.me".equals(origin)) {
resp.setHeader("Access-Control-Allow-Origin", origin); resp.setHeader("Vary", "Origin");
}
resp.setHeader("Access-Control-Allow-Methods", "POST, OPTIONS");
resp.setHeader("Access-Control-Allow-Headers", "Content-Type, X-Shine-Session-Id, X-Shine-Time-Ms, X-Shine-Signature");
}
private static void fail(HttpServletResponse response, int status, String message) throws IOException {
var json = JSON.createObjectNode(); json.put("error", message); respond(response, status, json);
}
private static void respond(HttpServletResponse response, int status, ObjectNode json) throws IOException {
response.setStatus(status); response.setContentType("application/json;charset=UTF-8");
JSON.writeValue(response.getOutputStream(), json);
}
}
+2 -2
View File
@@ -1,2 +1,2 @@
client.version=1.20.39
server.version=1.16.22
client.version=1.20.40
server.version=1.16.23
+11
View File
@@ -32,3 +32,14 @@ call.ice.turn.sharedSecret=
# Email verification for free registration: requires the separate allowlist file.
# The deployment script copies allowed-email-domains.txt alongside shine-server.jar.
freeRegistration.email.allowedDomainsFile=allowed-email-domains.txt
# R2 public attachment direct uploads.
# These values belong only in the private server application.properties,
# never in Git or the browser bundle.
r2.publicBucket=shine-files
r2.endpoint=
r2.accessKeyId=
r2.secretAccessKey=
# Environment variables R2_ENDPOINT, R2_ACCESS_KEY_ID and
# R2_SECRET_ACCESS_KEY override the three properties above.
+3
View File
@@ -55,6 +55,9 @@ dependencies {
implementation 'org.eclipse.jetty.websocket:websocket-jetty-server:11.0.20'
implementation 'org.bouncycastle:bcprov-jdk18on:1.78.1' // шифрование
implementation 'software.amazon.awssdk:s3:2.30.38'
implementation 'software.amazon.awssdk:auth:2.30.38'
implementation 'software.amazon.awssdk:apache-client:2.30.38'
implementation 'com.fasterxml.jackson.core:jackson-databind:2.17.1' // json
// implementation 'org.slf4j:slf4j-api:2.0.9'
+7
View File
@@ -140,3 +140,10 @@ https://<current-access-server>/files/<sha256>
В UI видео со storage=server получает прямую ссылку `/files/<sha256>` (без полного `fetch` в Blob): браузер сам запрашивает диапазоны, читает длительность и загружает стартовый кадр. Размер берётся из `sz` вложения. Для Arweave частичная загрузка зависит от gateway.
Отдельных preview-файлов сейчас нет. `preAr`, `preSha256`, `previewAr`, `previewSha256` не являются частью текущего протокола.
## R2 direct upload (MVP, 2026-11)
New public attachments use BitTorrent v2 `pr` (base64url 43 characters), `mm` (optional MIME) and `v=1`. Avatars retain the original SHA-256 `/files/<sha256>` API. The client signs `PUBLIC_R2_PREPARE_V1:{sessionId}:{pr}:{size}:{mm}:{timeMs}` with its Ed25519 session key, submits JSON `{pr,size,mm}` to `POST /api/files/prepare` and provides `X-Shine-Session-Id`, `X-Shine-Time-Ms` and `X-Shine-Signature`. The endpoint returns `exists`, `fileUrl`, and for missing objects `uploadUrl` and `requiredHeaders`. The browser uploads the original Blob directly to the S3 endpoint, not the Java server. A signature does not certify the hash of uploaded content. The public GET URL is `https://files.shineup.me/<pr>`.
Configuration: `R2_ENDPOINT`, `R2_ACCESS_KEY_ID`, `R2_SECRET_ACCESS_KEY`, `r2.publicBucket=shine-files` (or `r2.endpoint`, `r2.accessKeyId`, `r2.secretAccessKey` in trusted server config). Never publish keys. Configure browser CORS to permit signed PUT headers including `If-None-Match`. Max size: 500 MiB. Single PUT only, no multipart in this MVP.
+5
View File
@@ -121,3 +121,8 @@ UI предлагает два способа хранения: `Сервер д
- старые текстовые префиксы `<SHiNE:attach ...>` и `<S:attach ...>` могут продолжать читаться как совместимые формы;
- отдельные preview-поля не входят в текущий протокол;
- MIME type, width, height, duration и thumbnail не записываются в блокчейн отдельными полями.
## MVP R2 (2026-11): новые публичные вложения
Для **новых** публичных вложений использовать `<S:att;v=1;nm=video.mp4;sz=12345;pr=BASE64URL;mm=video/mp4>`; при загрузке в Arweave добавляется `;ar=TXID`. `pr` — 32-байтный BitTorrent v2 pieces root в base64url без padding (43 символа), а не SHA-256 файла. `mm` необязателен; отсутствие означает `application/octet-stream`. Новое публичное вложение без `ar` скачивается с `https://files.shineup.me/<pr>`. `storage=r2` отсутствует. Новые аватары **не изменяются**: SHA-256 и старый API `/files/<sha256>` остаются. Существующий формат чтения `sha256` оставлен для ранее созданных данных и уже загруженных транзакций Arweave. Предпросмотр изображений и видео **публичных вложений** в MVP отключён (файловая карточка); UI личных зашифрованных файлов не изменяется.
@@ -0,0 +1,13 @@
import assert from 'node:assert/strict';
import { preparePublicFile, fileMime } from '../../shine-UI/js/services/file-preparation-service.js';
assert.equal(fileMime(new File(['x'], 'clip.mp4', { type: '' })), 'video/mp4');
assert.equal(fileMime(new File(['x'], 'mystery', { type: '' })), 'application/octet-stream');
for (const size of [1, 16384, 16385, 1048576, 1048577, 2097152]) {
const blob = new File([new Uint8Array(size)], 'data.bin');
const prepared = await preparePublicFile(blob);
assert.equal(prepared.size, size);
assert.match(prepared.pr, /^[A-Za-z0-9_-]{43}$/);
assert.equal((await preparePublicFile(blob)).pr, prepared.pr);
}
console.log('R2 client preparation smoke tests OK');
@@ -1,3 +1,4 @@
import { preparePublicFile } from '../services/file-preparation-service.js';
import { formatDateTime, formatNumber } from '../i18n/format.js';
import { t, th } from '../i18n/index.js';
import {
@@ -250,6 +251,7 @@ export function openArweaveAttachmentManager({
let selectedUploadTransport = String(uploadTransport || '').trim().toLowerCase() === 'arweave' ? 'arweave' : 'turbo';
let selectedFile = null;
let selectedSha256 = '';
let selectedPrepared = null;
let priceInfo = null;
let balanceInfo = null;
let autoOpenedFileDialogOnce = false;
@@ -633,6 +635,7 @@ export function openArweaveAttachmentManager({
selectedUploadTransport = 'arweave';
selectedFile = null;
selectedSha256 = '';
selectedPrepared = null;
priceInfo = null;
balanceInfo = null;
await showUpload();
@@ -642,6 +645,7 @@ export function openArweaveAttachmentManager({
selectedUploadTransport = 'turbo';
selectedFile = null;
selectedSha256 = '';
selectedPrepared = null;
priceInfo = null;
balanceInfo = null;
await showUpload();
@@ -708,6 +712,7 @@ export function openArweaveAttachmentManager({
fileEl?.addEventListener('change', async () => {
selectedFile = fileEl.files?.[0] || null;
selectedSha256 = '';
selectedPrepared = null;
priceInfo = null;
balanceInfo = null;
uploadBtn.disabled = true;
@@ -724,6 +729,7 @@ export function openArweaveAttachmentManager({
}
const buffer = await selectedFile.arrayBuffer();
selectedSha256 = await sha256HexFromArrayBuffer(buffer);
if (!isAvatarMode) selectedPrepared = await preparePublicFile(selectedFile);
if (turboMode) {
await refreshTurboStateForCurrentFile(mainMetaEl, errorEl, uploadBtn);
} else {
@@ -774,7 +780,9 @@ export function openArweaveAttachmentManager({
...normalizedExtraUploadTags,
],
});
const prepared = isAvatarMode ? null : (selectedPrepared || await preparePublicFile(selectedFile));
finish(resolve, {
...(prepared ? { pr: prepared.pr, mm: prepared.mm } : {}),
name: isAvatarMode ? t('screens.arweave_attachment_manager.text_032') : (initialName || selectedFile.name || 'file'),
size: selectedFile.size,
sha256: selectedSha256,
@@ -160,6 +160,7 @@ export function openChannelAttachmentManager({
const uploadFile = isAvatarMode ? await prepareAvatarImageFile(selectedFile) : selectedFile;
const item = await uploadPublicFile({
file: uploadFile,
purpose: isAvatarMode ? 'avatar' : 'attachment',
login: cleanLogin,
sessionId: state.session.sessionId,
wsUrl: state.entrySettings.shineServer,
+1 -43
View File
@@ -8,7 +8,6 @@ import { state } from '../state.js';
import { toUserMessage } from '../services/ui-error-texts.js';
import { renderUserAvatar } from './avatar-image.js';
import { openAuthRequiredModal } from '../services/auth-required-modal.js';
import { resolvePublicFileUrl } from '../services/public-file-service.js';
import { openHistoryLayer } from '../router.js';
const drafts = new Map();
@@ -18,24 +17,7 @@ function draftKey(key) {
return `${login}:${String(key || 'editor')}`;
}
// Превью вложения в редакторе: картинки и видео – миниатюрой (как в Threads), остальное – строкой с именем.
const previewUrls = new Map();
function attachmentKind(item) {
const name = String(item?.name || '').toLowerCase();
if (/\.(jpe?g|png|gif|webp|avif|heic|bmp)$/.test(name)) return 'image';
if (/\.(mp4|webm|mov|m4v|ogv)$/.test(name)) return 'video';
return 'file';
}
function attachmentPreviewUrl(item, login) {
const key = item?.ar ? `ar:${item.ar}` : `sha:${item?.sha256 || ''}`;
if (!previewUrls.has(key)) {
previewUrls.set(key, item?.ar
? Promise.resolve(`${String(state.entrySettings.arweaveServer || 'https://arweave.net').replace(/\/$/, '')}/${item.ar}`)
: resolvePublicFileUrl({ sha256: item?.sha256, authorLogin: login, solanaEndpoint: state.entrySettings.solanaServer, fallbackServerLogin: state.entrySettings.shineServerLogin }).catch(() => ''));
}
return previewUrls.get(key);
}
// MVP: вложения показываются только строкой с именем, без запросов миниатюр.
function attachmentLabel(item) {
const name = String(item?.name || t('screens.channel_editor.text_012'));
const size = Number(item?.size || 0);
@@ -260,30 +242,6 @@ export function openChannelEditor({
draftMark.hidden = !clearButton.hidden;
attachmentsBox.replaceChildren();
attachments.forEach((item, index) => {
const kind = attachmentKind(item);
if (kind !== 'file') {
const thumb = document.createElement('div');
thumb.className = `channel-editor__thumb channel-editor__thumb--${kind}`;
thumb.title = attachmentLabel(item);
const media = document.createElement(kind === 'image' ? 'img' : 'video');
if (kind === 'image') media.alt = String(item?.name || t('screens.channel_editor.text_016'));
else { media.muted = true; media.preload = 'metadata'; media.playsInline = true; }
void attachmentPreviewUrl(item, login).then((url) => { if (url && media.isConnected !== false) media.src = url; });
const remove = document.createElement('button');
remove.type = 'button';
remove.className = 'channel-editor__thumb-remove';
remove.setAttribute('aria-label', t('screens.channel_editor.text_021', { value1: item?.name || '' }));
remove.innerHTML = iconHtml('close');
remove.disabled = inFlight;
remove.addEventListener('click', () => {
attachments.splice(index, 1);
saveDraft();
sync();
});
thumb.append(media, remove);
attachmentsBox.append(thumb);
return;
}
const card = document.createElement('div');
card.className = 'channel-editor__attachment';
const label = document.createElement('span');
+35 -26
View File
@@ -42,27 +42,25 @@ function normalizeName(name) {
export function normalizeAttachment(input = {}) {
const txId = String(input.ar || input.txId || '').trim();
const sha256Hex = String(input.sha256 || input.sha256Hex || '').trim().toLowerCase();
const pr = String(input.pr || '').trim();
const mm = String(input.mm || '').trim();
const size = Number(input.sz || input.size || input.sizeBytes || 0);
const name = normalizeName(input.nm || input.name || input.fileName || 'file');
if (txId && !validateArweaveTxId(txId)) throw new Error(t('remaining.attachment_errors.invalid_arweave_transaction_id'));
if (!validateSha256Hex(sha256Hex)) throw new Error(t('remaining.attachment_errors.invalid_file_sha_256'));
if (!/^[A-Za-z0-9_-]{43}$/.test(pr) && !validateSha256Hex(sha256Hex)) throw new Error('Некорректный идентификатор файла');
if (pr && !/^[A-Za-z0-9_-]{43}$/.test(pr)) throw new Error('Некорректный Pieces Root');
if (mm && (!/^[a-z0-9!#$&^_.+-]+\/[a-z0-9!#$&^_.+-]+$/i.test(mm) || mm.length > 127)) throw new Error('Некорректный MIME');
if (!Number.isInteger(size) || size <= 0) throw new Error(t('remaining.attachment_errors.invalid_file_size'));
const out = {
v: 1,
name,
size,
sha256: sha256Hex,
ar: txId,
uploadedAtMs: Number(input.uploadedAtMs || 0) || Date.now(),
};
return out;
return { v: 1, name, size, sha256: sha256Hex, pr, mm, ar: txId, uploadedAtMs: Number(input.uploadedAtMs || 0) || Date.now() };
}
export function buildAttachmentBlock(attachment) {
const item = normalizeAttachment(attachment);
const encodedName = encodeURIComponent(item.name);
const id = item.pr ? `;pr=${item.pr}` : `;sha256=${item.sha256}`;
const mmPart = item.mm ? `;mm=${item.mm}` : '';
const arPart = item.ar ? `;ar=${item.ar}` : '';
return `<S:att;v=1;nm=${encodedName};sz=${item.size};sha256=${item.sha256}${arPart}>`;
return `<S:att;v=1;nm=${encodedName};sz=${item.size}${id}${mmPart}${arPart}>`;
}
export function composeMessageWithAttachments(text, attachments = []) {
@@ -103,6 +101,8 @@ export function parseMessageAttachments(rawText) {
nm: decodeURIComponent(String(fields.nm || fields.name || 'file')),
sz: fields.sz || fields.size,
sha256: fields.sha256,
pr: fields.pr,
mm: fields.mm,
ar: fields.ar,
}));
} catch {
@@ -365,23 +365,14 @@ async function resolveAttachmentDisplayUrl(item, options = {}) {
const serverUrl = await resolvePublicFileUrl({
sha256: item.sha256,
pr: item.pr,
authorLogin: options.authorLogin,
solanaEndpoint: options.solanaEndpoint,
fallbackServerLogin: options.fallbackServerLogin,
});
const kind = getAttachmentKind(item);
// Видео подключаем напрямую. Иначе fetch + Blob + полный SHA-256 сначала
// скачает ВСЕ байты и браузер не сможет запрашивать Range для просмотра.
if (kind === 'video' || kind === 'file') return { url: serverUrl, objectUrl: false };
// Для изображений сохраняем прежнюю проверку SHA-256 после скачивания.
const response = await fetch(serverUrl);
if (!response.ok) throw new Error(`HTTP ${response.status} ${serverUrl}`);
const buffer = await response.arrayBuffer();
const actualSha = await sha256HexFromArrayBuffer(buffer);
if (actualSha !== item.sha256) throw new Error(t('remaining.attachment_error.hash_mismatch', { actual: actualSha, expected: item.sha256, url: serverUrl }));
const blob = new Blob([buffer], { type: mimeTypeForAttachment(item, kind) });
return { url: URL.createObjectURL(blob), sourceUrl: serverUrl, objectUrl: true };
if (item.pr) return { url: serverUrl, objectUrl: false };
// Public MVP: direct URL, no image downloads, media viewer or full SHA checks.
return { url: serverUrl, objectUrl: false };
}
export function createAttachmentCarouselElement(attachments = [], {
@@ -410,6 +401,23 @@ export function createAttachmentCarouselElement(attachments = [], {
wrap.addEventListener('click', (event) => event.stopPropagation());
if (!items.length) return wrap;
// Public attachments are a simple file list. The DM renderer supplies resolveUrl
// and retains its separate encrypted-file carousel/viewer unchanged.
if (!resolveUrl) {
wrap.className = 'message-attachments message-attachment-list';
const options = { gateway, authorLogin, solanaEndpoint, fallbackServerLogin };
for (const item of items) {
const slot = document.createElement('div');
slot.className = 'message-attachment-item';
slot.textContent = t('remaining.attachments.loading_file');
wrap.append(slot);
void resolveAttachmentDisplayUrl(item, options)
.then(({ url }) => slot.replaceChildren(createFileCard({ item, url, messageTimestampMs, slide: slot })))
.catch(() => slot.replaceChildren(createUnavailableBlock(messageTimestampMs, attachmentStorage(item))));
}
return wrap;
}
let index = 0;
let pointerStartX = 0;
let renderGeneration = 0;
@@ -486,9 +494,10 @@ export function createAttachmentCarouselElement(attachments = [], {
void getResolved(currentIndex)
.then(({ url }) => {
if (generation !== renderGeneration || currentIndex !== index || !wrap.isConnected) return;
slide.replaceChildren(kind === 'file'
slide.replaceChildren(!resolveUrl
? createFileCard({ item, url, messageTimestampMs, slide })
: createMediaSlide({ item, url, kind, messageTimestampMs, slide, onOpen: () => openViewer(currentIndex) }));
: (kind === 'file' ? createFileCard({ item, url, messageTimestampMs, slide })
: createMediaSlide({ item, url, kind, messageTimestampMs, slide, onOpen: () => openViewer(currentIndex) })));
})
.catch((error) => {
if (generation !== renderGeneration || currentIndex !== index || !wrap.isConnected) return;
@@ -0,0 +1,22 @@
import { bytesToBase64Url } from './crypto-utils.js';
import { computeTorrentV2PieceRoot, TorrentV2PieceAccumulator, TORRENT_V2_PIECE_BYTES } from './torrent-v2-service.js';
export const R2_MAX_FILE_BYTES = 500 * 1024 * 1024;
const mimeByExtension = { mp4: 'video/mp4', webm: 'video/webm', jpg: 'image/jpeg', jpeg: 'image/jpeg', png: 'image/png', webp: 'image/webp', gif: 'image/gif', pdf: 'application/pdf', mp3: 'audio/mpeg', zip: 'application/zip', txt: 'text/plain' };
export function fileMime(file) {
const extension = String(file?.name || '').toLowerCase().split('.').pop();
const value = String(file?.type || mimeByExtension[extension] || 'application/octet-stream').trim();
return /^[a-z0-9!#$&^_.+-]+\/[a-z0-9!#$&^_.+-]+$/i.test(value) && value.length <= 127 ? value : 'application/octet-stream';
}
export async function preparePublicFile(file, { onProgress = null } = {}) {
if (!(file instanceof Blob) || !file.size) throw new Error('Выберите непустой файл');
const accumulator = new TorrentV2PieceAccumulator();
for (let offset = 0; offset < file.size; offset += TORRENT_V2_PIECE_BYTES) {
const bytes = new Uint8Array(await file.slice(offset, offset + TORRENT_V2_PIECE_BYTES).arrayBuffer());
const piece = await computeTorrentV2PieceRoot(bytes, { padToPieceLength: file.size > TORRENT_V2_PIECE_BYTES });
await accumulator.addPieceRoot(piece);
onProgress?.(Math.min(file.size, offset + bytes.byteLength), file.size);
}
const root = await accumulator.finalize();
return { file, name: String(file.name || 'file'), size: file.size, mm: fileMime(file), pr: bytesToBase64Url(root) };
}
+52 -1
View File
@@ -1,4 +1,5 @@
import { t } from '../i18n/index.js';
import { preparePublicFile, R2_MAX_FILE_BYTES } from './file-preparation-service.js';
import { importPkcs8Ed25519, signBase64 } from './crypto-utils.js';
import { sha256HexFromArrayBuffer, validateSha256Hex } from './arweave-file-service.js';
import { loadSessionMaterial } from './key-vault.js';
@@ -73,7 +74,8 @@ async function createUploadContext({ login, sessionId, wsUrl }) {
};
}
export async function uploadPublicFile({ file, login, sessionId, wsUrl, onStatus = null } = {}) {
export async function uploadPublicFile({ file, login, sessionId, wsUrl, onStatus = null, purpose = 'attachment' } = {}) {
if (purpose !== 'avatar') return uploadR2PublicFile({ file, login, sessionId, wsUrl, onStatus });
if (!(file instanceof File)) throw new Error(t('remaining.file_upload.no_file_selected'));
if (Number(file.size || 0) <= 0) throw new Error(t('remaining.file_upload.cannot_upload_an_empty_file'));
@@ -155,11 +157,13 @@ export async function uploadPublicFile({ file, login, sessionId, wsUrl, onStatus
}
export async function resolvePublicFileUrl({
pr,
sha256,
authorLogin,
solanaEndpoint,
fallbackServerLogin = '',
} = {}) {
if (pr) return publicR2Url(pr);
// Сначала – сервер, к которому подключены сейчас (у большинства читателей он же сервер автора),
// затем сервер сборки по умолчанию; только потом ищем сервер автора через его PDA.
const nearbyBases = [...new Set([state.entrySettings?.shineServerHttp, DEFAULT_SHINE_SERVER_HTTP]
@@ -185,3 +189,50 @@ export async function resolvePublicFileUrl({
accessServerCache.set(cacheKey, { atMs: Date.now(), httpBase: resolved.httpBase });
return publicFileUrl(resolved.httpBase, sha256);
}
/** Uploads one public attachment directly from the browser to Cloudflare R2. */
async function uploadR2PublicFile({ file, login, sessionId, wsUrl, onStatus }) {
if (!(file instanceof File) || file.size < 1) throw new Error('Выберите непустой файл');
if (file.size > R2_MAX_FILE_BYTES) throw new Error('Превышен лимит 500 МиБ');
onStatus?.('Подготовка файла…');
const prepared = await preparePublicFile(file);
const context = await createUploadContext({ login, sessionId, wsUrl });
const timeMs = Date.now();
const preimage = `PUBLIC_R2_PREPARE_V1:${context.sessionId}:${prepared.pr}:${prepared.size}:${prepared.mm}:${timeMs}`;
const signature = await signBase64(context.privateKey, preimage);
onStatus?.('Проверка файла в R2…');
const response = await fetch(`${context.serverBase}/api/files/prepare`, {
method: 'POST',
headers: {
'Content-Type': 'application/json',
'X-Shine-Session-Id': context.sessionId,
'X-Shine-Time-Ms': String(timeMs),
'X-Shine-Signature': signature,
},
body: JSON.stringify({ pr: prepared.pr, size: prepared.size, mm: prepared.mm }),
});
if (!response.ok) throw new Error((await readErrorMessage(response)) || `R2 prepare HTTP ${response.status}`);
const payload = await response.json();
if (!payload.exists) {
if (!payload.uploadUrl) throw new Error('Сервер не предоставил адрес загрузки');
onStatus?.('Загрузка в Cloudflare R2…');
const put = await fetch(payload.uploadUrl, {
method: 'PUT',
headers: payload.requiredHeaders || { 'Content-Type': prepared.mm, 'If-None-Match': '*' },
body: file,
});
if (!put.ok && put.status !== 412) throw new Error(`Cloudflare R2: HTTP ${put.status}`);
if (put.status === 412) {
const check = await fetch(payload.fileUrl, { method: 'HEAD', cache: 'no-store' });
if (!check.ok || Number(check.headers.get('Content-Length')) !== file.size) throw new Error('Конфликт при загрузке объекта R2');
}
}
return { v: 1, name: prepared.name, size: prepared.size, pr: prepared.pr, mm: prepared.mm,
ar: '', uploadedAtMs: Date.now(), alreadyExists: Boolean(payload.exists) };
}
export function publicR2Url(pr) {
const root = String(pr || '').trim();
if (!/^[A-Za-z0-9_-]{43}$/.test(root)) throw new Error('Некорректный Pieces Root');
return `https://files.shineup.me/${root}`;
}