Исправить отображение публичных медиа-вложений

Добавить предпросмотр изображений и видео из R2 и Arweave; неподдерживаемые форматы оставить доступными как файлы.
This commit is contained in:
AidarKC
2026-11-15 02:24:15 +03:00
parent 2f5736e67d
commit 3ecec25fce
6 changed files with 247 additions and 34 deletions
+1 -1
View File
@@ -1,2 +1,2 @@
client.version=1.20.40
client.version=1.20.41
server.version=1.16.23
+22 -18
View File
@@ -46,18 +46,20 @@ Public file на сервере доступа автора:
- `v=1` - версия формата attach-блока;
- `nm` - имя файла, закодированное через `encodeURIComponent`;
- `sz` - размер файла в байтах;
- `sha256` - SHA-256 исходного файла в hex, 64 символа.
- один из идентификаторов файла: `pr` — pieces root BitTorrent v2 (base64url, 43 символа) для новых вложений; `sha256` — hex SHA-256 (64 символа) для совместимости со старыми.
Опциональное поле:
Опциональные поля:
- `ar` - короткий Arweave Transaction ID, 43 символа, без gateway URL.
- `ar` - короткий Arweave Transaction ID, 43 символа, без gateway URL;
- `mm` - MIME типа `image/jpeg` или `video/mp4`; если отсутствует, UI использует расширение `nm`.
Источник определяется только наличием `ar`:
Источник определяется следующим образом:
- `ar` присутствует -> Arweave;
- `ar` отсутствует -> public file текущего сервера доступа автора.
- `ar` отсутствует, но есть `pr` -> публичный Cloudflare R2 (`https://files.shineup.me/<pr>`);
- `ar` и `pr` отсутствуют, есть `sha256` -> старое файловое хранилище сервера доступа автора.
Адрес сервера доступа, URL файла и login автора в attach-блок не записываются: автор уже известен из подписанного блока, а актуальный сервер доступа определяется отдельно.
Адрес сервера автора, URL файла и login автора в attach-блок не записываются: автор уже известен из подписанного блока. Старые файлы разрешаются через сервер доступа, новые R2 — по `pr`.
## Preview
@@ -75,23 +77,25 @@ Public file на сервере доступа автора:
Если присутствует `ar`, файл читается через настроенный Arweave gateway по указанному `txId`.
### Сервер доступа
### Cloudflare R2 (новые публичные файлы)
Если `ar` отсутствует, клиент:
Если `ar` отсутствует и указан `pr`, клиент использует прямой адрес `https://files.shineup.me/<pr>`. Браузер запрашивает исходное медиа напрямую; сервер Java в отдаче файла не участвует. При видео браузер может запрашивать только метаданные и нужные фрагменты через HTTP Range.
### Сервер доступа (старые вложения с SHA-256)
Если `ar` и `pr` отсутствуют, клиент:
1. определяет текущий сервер доступа автора сообщения;
2. запрашивает файл по стандартному пути `/files/<sha256>`;
3. при необходимости проверяет полученные байты по `sha256` из блока.
Физическое хранилище сервера является content-addressed: один и тот же SHA-256 должен соответствовать одному набору байтов. Это позволяет дедуплицировать одинаковые файлы разных пользователей.
3. использует прежний формат ссылок для совместимости с существующими сообщениями.
URL или домен конкретного сервера в блокчейн не записывается. Поэтому смена сервера доступа не требует изменения старых сообщений.
## Создание вложения в UI
UI предлагает два способа хранения: `Сервер доступа` и `Arweave`. По умолчанию выбран сервер доступа. Отдельные preview-файлы не создаются.
UI предлагает два способа хранения публичных вложений: `Cloudflare R2` (через пункт сервера доступа) и `Arweave`. Отдельные preview-файлы не создаются.
После успешной загрузки на сервер доступа формируется тот же `S:att v=1`, но без поля `ar`. Для Arweave используется существующий механизм Arweave/Turbo и добавляется `ar`.
После загрузки в R2 формируется `S:att v=1` с `pr` и `mm`, без `ar`. Для Arweave используется механизм Arweave/Turbo; дополнительно записывается `ar`.
Журнал загрузок Arweave хранится только в `sessionStorage` текущего браузера и не является частью блокчейна.
@@ -102,8 +106,8 @@ UI предлагает два способа хранения: `Сервер д
1. читает валидные attach-блоки только из начала текста;
2. скрывает технические attach-строки;
3. определяет источник по наличию `ar`;
4. получает Arweave-файл по `txId` либо server-файл по `/files/<sha256>` текущего сервера доступа автора;
5. определяет тип вложения по расширению `nm`;
4. получает Arweave-файл по `txId`, R2-файл по `pr` либо старый server-файл по `/files/<sha256>`;
5. определяет тип вложения по `mm` (если указан), иначе по расширению `nm`;
6. изображение отображает из исходного файла;
7. видео отображает из исходного файла и открывает HTML5-плеер;
8. обычный файл показывает как карточку с именем, размером и скачиванием;
@@ -117,12 +121,12 @@ UI предлагает два способа хранения: `Сервер д
## Совместимость и ограничения
- полный URL в поле `ar` не используется;
- MIME type не записывается, тип UI определяется по расширению `nm`;
- для старых `sha256`-вложений MIME не записывался, тип UI определяется по расширению `nm`;
- старые текстовые префиксы `<SHiNE:attach ...>` и `<S:attach ...>` могут продолжать читаться как совместимые формы;
- отдельные preview-поля не входят в текущий протокол;
- MIME type, width, height, duration и thumbnail не записываются в блокчейн отдельными полями.
- `width`, `height`, `duration` и `thumbnail` не записываются отдельными полями; новые вложения могут содержать `mm` (MIME).
## MVP R2 (2026-11): новые публичные вложения
Для **новых** публичных вложений использовать `<S:att;v=1;nm=video.mp4;sz=12345;pr=BASE64URL;mm=video/mp4>`; при загрузке в Arweave добавляется `;ar=TXID`. `pr` — 32-байтный BitTorrent v2 pieces root в base64url без padding (43 символа), а не SHA-256 файла. `mm` необязателен; отсутствие означает `application/octet-stream`. Новое публичное вложение без `ar` скачивается с `https://files.shineup.me/<pr>`. `storage=r2` отсутствует. Новые аватары **не изменяются**: SHA-256 и старый API `/files/<sha256>` остаются. Существующий формат чтения `sha256` оставлен для ранее созданных данных и уже загруженных транзакций Arweave. Предпросмотр изображений и видео **публичных вложений** в MVP отключён (файловая карточка); UI личных зашифрованных файлов не изменяется.
Для **новых** публичных вложений использовать `<S:att;v=1;nm=video.mp4;sz=12345;pr=BASE64URL;mm=video/mp4>`; при загрузке в Arweave добавляется `;ar=TXID`. `pr` — 32-байтный BitTorrent v2 pieces root в base64url без padding (43 символа), а не SHA-256 файла. `mm` необязателен; отсутствие означает `application/octet-stream`. Новое публичное вложение без `ar` скачивается с `https://files.shineup.me/<pr>`. `storage=r2` отсутствует. Новые аватары **не изменяются**: SHA-256 и старый API `/files/<sha256>` остаются. Существующий формат чтения `sha256` оставлен для ранее созданных данных и уже загруженных транзакций Arweave. Публичные изображения и видео показываются внутри сообщения из исходного файла (`<img>` / `<video preload="metadata">`) и открываются в общем просмотрщике; PDF, архивы и другие файлы остаются карточками. Тип определяется по `mm`, если он указан и не равен `application/octet-stream`, иначе — по расширению `nm`. Если браузер не может декодировать файл, сохраняется карточка для скачивания (если HEAD-запрос недоступен, показывается ошибка файла). Клиент не скачивает медиа целиком через JavaScript для предпросмотра. UI личных зашифрованных файлов не меняется.
+1 -1
View File
@@ -1,4 +1,4 @@
import { th } from '../i18n/index.js';
import { t, th } from '../i18n/index.js';
// Полноэкранный просмотр фото и видео из вложений: листание, «Скачать».
// Закрывается крестиком, Esc, смахиванием вниз или переходом назад.
import { iconHtml } from './ui-icon.js';
+55 -14
View File
@@ -125,6 +125,15 @@ export function getAttachmentExtension(name) {
}
export function getAttachmentKind(attachment = {}) {
// Для новых публичных файлов доверяем mm: имя файла может не иметь расширения
// или не совпадать с MIME, записанным при загрузке в R2/Arweave.
// Для старых вложений (и зашифрованных DM) остаётся проверка расширения.
const mime = String(attachment.mm || '').trim().toLowerCase();
if (mime && mime !== 'application/octet-stream') {
if (mime.startsWith('image/')) return 'image';
if (mime.startsWith('video/')) return 'video';
return 'file';
}
const ext = getAttachmentExtension(attachment.name);
if (IMAGE_EXTENSIONS.has(ext)) return 'image';
if (VIDEO_EXTENSIONS.has(ext)) return 'video';
@@ -231,12 +240,16 @@ function formatVideoDuration(seconds) {
: `${String(minutes).padStart(2, '0')}:${secondsPart}`;
}
function createMediaSlide({ item, url, kind, messageTimestampMs, slide, onOpen }) {
function createMediaSlide({ item, url, kind, messageTimestampMs, slide, onOpen, onError = null }) {
const frame = document.createElement('div');
frame.className = `message-attachment-media-frame message-attachment-media-frame--${kind}`;
frame.role = 'button';
frame.tabIndex = 0;
frame.title = kind === 'video' ? t('remaining.attachments.open_video') : t('remaining.attachments.open_image');
const handleError = () => {
if (onError) onError();
else replaceWithUnavailable(slide, messageTimestampMs, attachmentStorage(item));
};
frame.addEventListener('click', (event) => {
event.stopPropagation();
onOpen?.();
@@ -265,21 +278,20 @@ function createMediaSlide({ item, url, kind, messageTimestampMs, slide, onOpen }
if (kind === 'image') {
const img = document.createElement('img');
img.className = 'message-attachment-media';
img.src = url;
img.alt = item.name;
img.loading = 'lazy';
bindImageLayout(img);
img.addEventListener('error', () => replaceWithUnavailable(slide, messageTimestampMs, attachmentStorage(item)), { once: true });
img.addEventListener('error', handleError, { once: true });
img.src = url;
frame.append(img);
} else {
const video = document.createElement('video');
video.className = 'message-attachment-media';
video.src = url;
video.preload = 'metadata';
video.muted = true;
video.playsInline = true;
video.addEventListener('error', () => replaceWithUnavailable(slide, messageTimestampMs, attachmentStorage(item)), { once: true });
video.addEventListener('loadeddata', () => frame.classList.add('is-loaded'), { once: true });
video.addEventListener('error', handleError, { once: true });
video.addEventListener('loadedmetadata', () => frame.classList.add('is-loaded'), { once: true });
// Размер известен из S:att, длительность появляется после получения метаданных.
// <video> сам запрашивает небольшие диапазоны через HTTP Range, без fetch всего файла.
@@ -297,6 +309,7 @@ function createMediaSlide({ item, url, kind, messageTimestampMs, slide, onOpen }
try { video.currentTime = Math.min(0.05, video.duration); } catch { /* зависит от кодека */ }
}
}, { once: true });
video.src = url;
const play = document.createElement('span');
play.className = 'message-attachment-play';
play.textContent = '▶';
@@ -370,8 +383,8 @@ async function resolveAttachmentDisplayUrl(item, options = {}) {
solanaEndpoint: options.solanaEndpoint,
fallbackServerLogin: options.fallbackServerLogin,
});
if (item.pr) return { url: serverUrl, objectUrl: false };
// Public MVP: direct URL, no image downloads, media viewer or full SHA checks.
// Прямая ссылка для R2 (pr) или совместимого старого SHA-256 сервера.
// Отображение в <img>/<video> не требует полной загрузки через JS.
return { url: serverUrl, objectUrl: false };
}
@@ -401,20 +414,48 @@ export function createAttachmentCarouselElement(attachments = [], {
wrap.addEventListener('click', (event) => event.stopPropagation());
if (!items.length) return wrap;
// Public attachments are a simple file list. The DM renderer supplies resolveUrl
// and retains its separate encrypted-file carousel/viewer unchanged.
// Публичные вложения отображаются списком: медиа — непосредственно в сообщении,
// остальные файлы — карточками. DM по-прежнему используют отдельную карусель
// и переданный извне resolveUrl (расшифровка на устройстве).
if (!resolveUrl) {
wrap.className = 'message-attachments message-attachment-list';
const options = { gateway, authorLogin, solanaEndpoint, fallbackServerLogin };
for (const item of items) {
const resolvedUrls = new Map();
const openPublicViewer = (selectedIndex) => {
const media = items.flatMap((entry, i) => {
const kind = getAttachmentKind(entry);
const url = resolvedUrls.get(i);
return url && (kind === 'image' || kind === 'video')
? [{ i, kind, url, name: entry.name }]
: [];
});
const viewerIndex = media.findIndex((entry) => entry.i === selectedIndex);
if (viewerIndex >= 0) openMediaViewer(media, viewerIndex);
};
items.forEach((item, index) => {
const slot = document.createElement('div');
slot.className = 'message-attachment-item';
slot.textContent = t('remaining.attachments.loading_file');
wrap.append(slot);
void resolveAttachmentDisplayUrl(item, options)
.then(({ url }) => slot.replaceChildren(createFileCard({ item, url, messageTimestampMs, slide: slot })))
.catch(() => slot.replaceChildren(createUnavailableBlock(messageTimestampMs, attachmentStorage(item))));
}
.then(({ url }) => {
const kind = getAttachmentKind(item);
const content = kind === 'file'
? createFileCard({ item, url, messageTimestampMs, slide: slot })
: createMediaSlide({
item, url, kind, messageTimestampMs, slide: slot,
onOpen: () => openPublicViewer(index),
// Если формат/кодек не поддерживается браузером, файл всё ещё
// можно открыть или скачать через обычную карточку.
onError: () => slot.replaceChildren(createFileCard({ item, url, messageTimestampMs, slide: slot })),
});
resolvedUrls.set(index, url);
slot.replaceChildren(content);
})
.catch(() => {
slot.replaceChildren(createUnavailableBlock(messageTimestampMs, attachmentStorage(item)));
});
});
return wrap;
}
@@ -11,6 +11,20 @@
max-width: min(100%, 34rem);
}
/* Одинаковая ширина медиа в публичных постах и зашифрованных DM. */
.message-attachment-list {
max-width: min(100%, 34rem);
}
.message-attachment-item {
min-width: 0;
}
.message-attachment-list .message-attachment-media-frame {
border: 1px solid var(--border-subtle);
border-radius: 0.8rem;
}
.message-attachment-carousel-viewport {
align-items: center;
@@ -0,0 +1,154 @@
import test from 'node:test';
import assert from 'node:assert/strict';
import { readFile } from 'node:fs/promises';
const source = await readFile(new URL('../js/services/attachment-format.js', import.meta.url), 'utf8');
class TestElement {
constructor(tagName) {
this.tagName = tagName.toUpperCase();
this.className = '';
this.children = [];
this.dataset = {};
this.listeners = {};
this.isConnected = true;
this.classList = {
add: (...values) => { this.className = [...new Set([...this.className.split(' '), ...values])].filter(Boolean).join(' '); },
remove: (...values) => { this.className = this.className.split(' ').filter((x) => !values.includes(x)).join(' '); },
toggle: (value, force) => {
const has = this.className.split(' ').includes(value);
const enabled = force ?? !has;
if (enabled) this.classList.add(value);
else this.classList.remove(value);
return enabled;
},
};
}
append(...nodes) {
for (const node of nodes) {
this.children.push(node);
if (node && typeof node === 'object') node.parentElement = this;
}
}
replaceChildren(...nodes) { this.children = []; this.append(...nodes); }
addEventListener(name, callback) { (this.listeners[name] ||= []).push(callback); }
setAttribute(name, value) { (this.attributes ||= {})[name] = String(value); }
fire(name, event = {}) {
for (const listener of this.listeners[name] || []) listener({ stopPropagation() {}, preventDefault() {}, ...event });
}
querySelectorAll(tag) {
const result = [];
for (const child of this.children) {
if (child.tagName?.toLowerCase() === tag) result.push(child);
result.push(...(child.querySelectorAll?.(tag) || []));
}
return result;
}
}
function loadRenderer() {
const viewerCalls = [];
const normalized = source
.replace(/^import .*;\s*$/gm, '')
.replace(/^export /gm, '');
const factory = new Function('t', 'th', 'formatNumber', 'openMediaViewer', 'buildArweaveDataUrl',
'validateArweaveTxId', 'validateSha256Hex', 'resolvePublicFileUrl', 'document', 'window', 'fetch',
`${normalized}\nreturn { getAttachmentKind, createAttachmentCarouselElement, parseMessageAttachments };`);
const api = factory(
(key) => key,
() => '<span>FILE</span></div>',
(number) => String(number),
(...args) => viewerCalls.push(args),
({ txId }) => `https://arweave.net/${txId}`,
(id) => /^[A-Za-z0-9_-]{43}$/.test(id),
(id) => /^[a-f0-9]{64}$/.test(id),
async ({ pr, sha256 }) => pr ? `https://files.shineup.me/${pr}` : `https://old.example/files/${sha256}`,
{ createElement: (tag) => new TestElement(tag) },
{ location: { origin: 'https://shineup.me' }, open() {} },
async () => ({ ok: true }),
);
return { ...api, viewerCalls };
}
const settle = () => new Promise((resolve) => setImmediate(resolve));
test('MIME имеет приоритет над расширением, старые файлы определяются по расширению', () => {
const { getAttachmentKind } = loadRenderer();
assert.equal(getAttachmentKind({ name: 'без расширения', mm: 'image/jpeg' }), 'image');
assert.equal(getAttachmentKind({ name: 'clip.bin', mm: 'video/mp4' }), 'video');
assert.equal(getAttachmentKind({ name: 'photo.jpg', mm: 'application/pdf' }), 'file');
assert.equal(getAttachmentKind({ name: 'legacy.webp' }), 'image');
assert.equal(getAttachmentKind({ name: 'legacy.mp4', mm: 'application/octet-stream' }), 'video');
assert.equal(getAttachmentKind({ name: 'archive.zip' }), 'file');
});
test('публичный R2: img/video отображаются в сообщении, PDF остаётся карточкой; просмотрщик открывается', async () => {
const { createAttachmentCarouselElement, viewerCalls } = loadRenderer();
const pr = 'A'.repeat(43);
const wrap = createAttachmentCarouselElement([
{ name: 'photo.jpg', size: 234, pr, mm: 'image/jpeg' },
{ name: 'clip.bin', size: 456, pr, mm: 'video/mp4' },
{ name: 'manual.pdf', size: 567, pr, mm: 'application/pdf' },
]);
assert.match(wrap.className, /message-attachment-list/);
await settle();
const [imageSlot, videoSlot, fileSlot] = wrap.children;
assert.equal(imageSlot.children[0].querySelectorAll('img').length, 1);
assert.equal(imageSlot.children[0].children[0].src, `https://files.shineup.me/${pr}`);
assert.equal(videoSlot.children[0].querySelectorAll('video').length, 1);
assert.equal(videoSlot.children[0].children[0].preload, 'metadata');
assert.match(fileSlot.children[0].className, /message-attachment-file-card/);
imageSlot.children[0].fire('click');
assert.equal(viewerCalls.length, 1);
assert.equal(viewerCalls[0][0].length, 2);
assert.equal(viewerCalls[0][1], 0);
videoSlot.children[0].fire('click');
assert.equal(viewerCalls[1][1], 1);
});
test('публичный Arweave и старые sha256-вложения тоже показывают изображения', async () => {
const { createAttachmentCarouselElement } = loadRenderer();
const wrap = createAttachmentCarouselElement([
{ name: 'arweave.png', size: 90, pr: 'A'.repeat(43), ar: 'B'.repeat(43), mm: 'image/png' },
{ name: 'old.jpeg', size: 91, sha256: 'a'.repeat(64) },
]);
await settle();
assert.equal(wrap.children[0].children[0].children[0].src, `https://arweave.net/${'B'.repeat(43)}`);
assert.equal(wrap.children[1].children[0].children[0].src, `https://old.example/files/${'a'.repeat(64)}`);
});
test('DM сохраняют отдельную карусель с переданным resolveUrl', async () => {
const { createAttachmentCarouselElement } = loadRenderer();
const wrap = createAttachmentCarouselElement([
{ name: 'secret.jpg', size: 123 },
], { resolveUrl: async () => ({ url: 'blob:test-secret', objectUrl: false }) });
assert.match(wrap.className, /message-attachment-carousel/);
await settle();
assert.equal(wrap.querySelectorAll('img').length, 1);
assert.equal(wrap.querySelectorAll('img')[0].src, 'blob:test-secret');
});
test('S:att pr/mm разбирается без изменения формата сообщения', () => {
const { parseMessageAttachments, getAttachmentKind } = loadRenderer();
const pr = 'A'.repeat(43);
const parsed = parseMessageAttachments(`<S:att;v=1;nm=photo.jpg;sz=123456;pr=${pr};mm=image/jpeg>\nКомментарий`);
assert.equal(parsed.attachments.length, 1);
assert.equal(parsed.attachments[0].pr, pr);
assert.equal(parsed.attachments[0].mm, 'image/jpeg');
assert.equal(getAttachmentKind(parsed.attachments[0]), 'image');
assert.equal(parsed.text, 'Комментарий');
});
test('если браузер не может декодировать медиа, остаётся карточка для скачивания', async () => {
const { createAttachmentCarouselElement } = loadRenderer();
const wrap = createAttachmentCarouselElement([{ name: 'bad.png', size: 100, pr: 'A'.repeat(43), mm: 'image/png' }]);
await settle();
wrap.querySelectorAll('img')[0].fire('error');
assert.match(wrap.children[0].children[0].className, /message-attachment-file-card/);
});
test('просмотрщик импортирует t для aria-label диалога', async () => {
const viewer = await readFile(new URL('../js/components/media-viewer.js', import.meta.url), 'utf8');
assert.match(viewer, /import \{ t, th \} from '\.\.\/i18n\/index\.js';/);
});