Поддержать range-загрузку публичных файлов

This commit is contained in:
AidarKC
2026-10-10 16:48:22 +03:00
parent 5e9699613d
commit 4d10096ba2
7 changed files with 278 additions and 35 deletions
@@ -14,11 +14,15 @@ import utils.crypto.Ed25519Util;
import java.io.IOException;
import java.io.InputStream;
import java.nio.ByteBuffer;
import java.nio.channels.FileChannel;
import java.io.OutputStream;
import java.nio.charset.StandardCharsets;
import java.nio.file.AtomicMoveNotSupportedException;
import java.nio.file.FileAlreadyExistsException;
import java.nio.file.Files;
import java.nio.file.LinkOption;
import java.nio.file.StandardOpenOption;
import java.nio.file.Path;
import java.nio.file.StandardCopyOption;
import java.nio.file.attribute.PosixFilePermission;
@@ -37,10 +41,10 @@ import java.util.regex.Pattern;
* имя, расширение, MIME или владельца внутри пути файла. Одинаковые байты всех
* пользователей дедуплицируются в один объект: data/public-files/<sha256>.
*
* В production GET/HEAD /files/<sha256> рекомендуется отдавать Caddy напрямую с
* того же каталога и кэшировать Cloudflare. Этот servlet оставляет GET/HEAD как
* рабочий fallback; PUT всегда проходит через Java, с проверкой session-signature
* и повторным вычислением SHA-256 полученных байтов.
* GET поддерживает HTTP Range для потокового просмотра видео без полной загрузки.
* Проверка SHA-256 выполняется при PUT; GET/HEAD читают метаданные файла без
* повторного хеширования всего содержимого. Caddy также может отдавать immutable
* файлы напрямую, если настроен на корректную выдачу байтовых диапазонов и MIME.
*/
public final class PublicFileServlet extends HttpServlet {
@@ -202,29 +206,118 @@ public final class PublicFileServlet extends HttpServlet {
String fileId = extractFileId(req);
Path target = fileId == null ? null : safeTarget(fileId);
if (target == null || !Files.isRegularFile(target)) {
// Не следуем по символическим ссылкам: без повторной проверки хеша GET не должен
// иметь возможность прочитать посторонний файл из-за подмены пути.
if (target == null || !Files.isRegularFile(target, LinkOption.NOFOLLOW_LINKS)) {
writeError(resp, HttpServletResponse.SC_NOT_FOUND, "FILE_NOT_FOUND", "Файл не найден");
return;
}
StoredObjectCheck stored = verifyStoredObject(target, fileId);
if (!stored.valid()) {
Files.deleteIfExists(target);
writeError(resp, HttpServletResponse.SC_NOT_FOUND, "FILE_NOT_FOUND", "Файл не найден");
return;
}
resp.setStatus(HttpServletResponse.SC_OK);
resp.setContentType("application/octet-stream");
resp.setHeader("Content-Length", Long.toString(stored.size()));
resp.setHeader("ETag", "\"" + fileId + "\"");
long size = Files.size(target);
String etag = "\"" + fileId + "\"";
resp.setHeader("ETag", etag);
resp.setHeader("Accept-Ranges", "bytes");
resp.setHeader("Cache-Control", "public, max-age=31536000, immutable");
resp.setHeader("Cross-Origin-Resource-Policy", "cross-origin");
if (!headOnly) {
try (InputStream in = Files.newInputStream(target); OutputStream out = resp.getOutputStream()) {
in.transferTo(out);
resp.setContentType(detectContentType(target));
// По HTTP заголовок Range относится к GET. Для HEAD отдаём обычные
// метаданные целого объекта, что нужно в том числе проверке вложений в UI.
String rangeHeader = headOnly ? null : req.getHeader("Range");
String ifRange = req.getHeader("If-Range");
if (rangeHeader != null && ifRange != null && !ifRange.trim().equals(etag)) {
rangeHeader = null; // неподтверждённая версия: отправляем обычный 200
}
ByteRange range = null;
if (rangeHeader != null) {
range = parseSingleRange(rangeHeader, size);
if (range == null) {
resp.setStatus(HttpServletResponse.SC_REQUESTED_RANGE_NOT_SATISFIABLE);
resp.setHeader("Content-Range", "bytes */" + size);
resp.setHeader("Content-Length", "0");
return;
}
}
long firstByte = range == null ? 0L : range.start();
long byteCount = range == null ? size : range.length();
resp.setStatus(range == null ? HttpServletResponse.SC_OK : HttpServletResponse.SC_PARTIAL_CONTENT);
resp.setHeader("Content-Length", Long.toString(byteCount));
if (range != null) resp.setHeader("Content-Range", "bytes " + range.start() + "-" + range.end() + "/" + size);
if (headOnly || byteCount == 0) return;
// Файловый канал позиционируется в начале запрошенного участка — не читаем
// все предыдущие байты и не буферизуем видео целиком в памяти.
try (FileChannel channel = FileChannel.open(target, StandardOpenOption.READ, LinkOption.NOFOLLOW_LINKS)) {
channel.position(firstByte);
OutputStream out = resp.getOutputStream();
byte[] buffer = new byte[64 * 1024];
long remaining = byteCount;
while (remaining > 0) {
ByteBuffer chunk = ByteBuffer.wrap(buffer, 0, (int) Math.min(buffer.length, remaining));
int read = channel.read(chunk);
if (read < 0) break; // файл мог быть удалён/усечён во время чтения
if (read == 0) continue;
out.write(buffer, 0, read);
remaining -= read;
}
}
}
// Поддерживается один диапазон (стандартные запросы браузерных <video>).
// Некорректные, составные или не удовлетворяемые диапазоны отвечают 416.
static ByteRange parseSingleRange(String header, long size) {
if (header == null || !header.startsWith("bytes=") || size <= 0) return null;
String value = header.substring("bytes=".length()).trim();
if (value.indexOf(',') >= 0) return null;
int dash = value.indexOf('-');
if (dash < 0 || dash != value.lastIndexOf('-')) return null;
String first = value.substring(0, dash).trim();
String last = value.substring(dash + 1).trim();
if (first.isEmpty() && last.isEmpty()) return null;
try {
if (first.isEmpty()) {
long suffixBytes = Long.parseLong(last);
if (suffixBytes <= 0) return null;
return new ByteRange(size - Math.min(suffixBytes, size), size - 1);
}
long start = Long.parseLong(first);
if (start < 0 || start >= size) return null;
long end = last.isEmpty() ? size - 1 : Long.parseLong(last);
if (end < start) return null;
return new ByteRange(start, Math.min(end, size - 1));
} catch (NumberFormatException ignored) {
return null;
}
}
// Объекты на диске не имеют расширений. Тип распознаём по сигнатуре первых
// байтов; обычные файлы по-прежнему отдаются как application/octet-stream.
private static String detectContentType(Path target) throws IOException {
byte[] signature = new byte[16];
int count;
try (InputStream in = Files.newInputStream(target, LinkOption.NOFOLLOW_LINKS)) {
count = in.read(signature);
}
if (count >= 12 && signature[4] == 'f' && signature[5] == 't'
&& signature[6] == 'y' && signature[7] == 'p') {
return "video/mp4";
}
if (count >= 4 && (signature[0] & 0xff) == 0x1a && (signature[1] & 0xff) == 0x45
&& (signature[2] & 0xff) == 0xdf && (signature[3] & 0xff) == 0xa3) {
return "video/webm";
}
if (count >= 4 && signature[0] == 'O' && signature[1] == 'g'
&& signature[2] == 'g' && signature[3] == 'S') return "video/ogg";
if (count >= 12 && signature[0] == 'R' && signature[1] == 'I'
&& signature[2] == 'F' && signature[3] == 'F'
&& signature[8] == 'A' && signature[9] == 'V'
&& signature[10] == 'I' && signature[11] == ' ') return "video/x-msvideo";
return "application/octet-stream";
}
record ByteRange(long start, long end) {
long length() { return end - start + 1; }
}
private static StoredObjectCheck verifyStoredObject(Path target, String expectedFileId) throws IOException {
@@ -361,8 +454,8 @@ public final class PublicFileServlet extends HttpServlet {
resp.setHeader("Access-Control-Allow-Origin", "*");
resp.setHeader("Access-Control-Allow-Methods", "GET, HEAD, PUT, OPTIONS");
resp.setHeader("Access-Control-Allow-Headers",
"Content-Type, X-Shine-Session-Id, X-Shine-Time-Ms, X-Shine-Content-Length, X-Shine-Signature");
resp.setHeader("Access-Control-Expose-Headers", "Content-Length, ETag");
"Content-Type, Range, If-Range, X-Shine-Session-Id, X-Shine-Time-Ms, X-Shine-Content-Length, X-Shine-Signature");
resp.setHeader("Access-Control-Expose-Headers", "Content-Length, ETag, Accept-Ranges, Content-Range, Content-Type");
resp.setHeader("Vary", "Origin");
}
@@ -0,0 +1,39 @@
package server.files;
import org.junit.jupiter.api.Test;
import static org.junit.jupiter.api.Assertions.*;
class PublicFileRangeTest {
private static void assertRange(String header, long size, long start, long end) {
PublicFileServlet.ByteRange range = PublicFileServlet.parseSingleRange(header, size);
assertNotNull(range);
assertEquals(start, range.start());
assertEquals(end, range.end());
assertEquals(end - start + 1, range.length());
}
@Test
void readsExplicitOpenAndSuffixRanges() {
assertRange("bytes=0-1023", 2048, 0, 1023);
assertRange("bytes=1024-", 2048, 1024, 2047);
assertRange("bytes=-256", 2048, 1792, 2047);
assertRange("bytes=-4096", 2048, 0, 2047);
assertRange("bytes=2047-9999", 2048, 2047, 2047);
assertRange("bytes=0-0", 2048, 0, 0);
assertRange("bytes=0-0", 1, 0, 0);
}
@Test
void rejectsUnsatisfiableAndMalformedRanges() {
for (String header : new String[] {
"bytes=2048-", "bytes=2000-1999", "bytes=-0", "bytes=-", "bytes=0-1,10-20",
"bytes=a-b", "bytes=-9223372036854775808", "bytes=9223372036854775808-",
"items=0-1", "bytes=-1-2", "bytes=0--1"
}) {
assertNull(PublicFileServlet.parseSingleRange(header, 2048), header);
}
assertNull(PublicFileServlet.parseSingleRange("bytes=0-0", 0));
}
}