SHA256
Поддержать range-загрузку публичных файлов
This commit is contained in:
@@ -14,11 +14,15 @@ import utils.crypto.Ed25519Util;
|
||||
|
||||
import java.io.IOException;
|
||||
import java.io.InputStream;
|
||||
import java.nio.ByteBuffer;
|
||||
import java.nio.channels.FileChannel;
|
||||
import java.io.OutputStream;
|
||||
import java.nio.charset.StandardCharsets;
|
||||
import java.nio.file.AtomicMoveNotSupportedException;
|
||||
import java.nio.file.FileAlreadyExistsException;
|
||||
import java.nio.file.Files;
|
||||
import java.nio.file.LinkOption;
|
||||
import java.nio.file.StandardOpenOption;
|
||||
import java.nio.file.Path;
|
||||
import java.nio.file.StandardCopyOption;
|
||||
import java.nio.file.attribute.PosixFilePermission;
|
||||
@@ -37,10 +41,10 @@ import java.util.regex.Pattern;
|
||||
* имя, расширение, MIME или владельца внутри пути файла. Одинаковые байты всех
|
||||
* пользователей дедуплицируются в один объект: data/public-files/<sha256>.
|
||||
*
|
||||
* В production GET/HEAD /files/<sha256> рекомендуется отдавать Caddy напрямую с
|
||||
* того же каталога и кэшировать Cloudflare. Этот servlet оставляет GET/HEAD как
|
||||
* рабочий fallback; PUT всегда проходит через Java, с проверкой session-signature
|
||||
* и повторным вычислением SHA-256 полученных байтов.
|
||||
* GET поддерживает HTTP Range для потокового просмотра видео без полной загрузки.
|
||||
* Проверка SHA-256 выполняется при PUT; GET/HEAD читают метаданные файла без
|
||||
* повторного хеширования всего содержимого. Caddy также может отдавать immutable
|
||||
* файлы напрямую, если настроен на корректную выдачу байтовых диапазонов и MIME.
|
||||
*/
|
||||
public final class PublicFileServlet extends HttpServlet {
|
||||
|
||||
@@ -202,29 +206,118 @@ public final class PublicFileServlet extends HttpServlet {
|
||||
|
||||
String fileId = extractFileId(req);
|
||||
Path target = fileId == null ? null : safeTarget(fileId);
|
||||
if (target == null || !Files.isRegularFile(target)) {
|
||||
// Не следуем по символическим ссылкам: без повторной проверки хеша GET не должен
|
||||
// иметь возможность прочитать посторонний файл из-за подмены пути.
|
||||
if (target == null || !Files.isRegularFile(target, LinkOption.NOFOLLOW_LINKS)) {
|
||||
writeError(resp, HttpServletResponse.SC_NOT_FOUND, "FILE_NOT_FOUND", "Файл не найден");
|
||||
return;
|
||||
}
|
||||
|
||||
StoredObjectCheck stored = verifyStoredObject(target, fileId);
|
||||
if (!stored.valid()) {
|
||||
Files.deleteIfExists(target);
|
||||
writeError(resp, HttpServletResponse.SC_NOT_FOUND, "FILE_NOT_FOUND", "Файл не найден");
|
||||
return;
|
||||
}
|
||||
|
||||
resp.setStatus(HttpServletResponse.SC_OK);
|
||||
resp.setContentType("application/octet-stream");
|
||||
resp.setHeader("Content-Length", Long.toString(stored.size()));
|
||||
resp.setHeader("ETag", "\"" + fileId + "\"");
|
||||
long size = Files.size(target);
|
||||
String etag = "\"" + fileId + "\"";
|
||||
resp.setHeader("ETag", etag);
|
||||
resp.setHeader("Accept-Ranges", "bytes");
|
||||
resp.setHeader("Cache-Control", "public, max-age=31536000, immutable");
|
||||
resp.setHeader("Cross-Origin-Resource-Policy", "cross-origin");
|
||||
if (!headOnly) {
|
||||
try (InputStream in = Files.newInputStream(target); OutputStream out = resp.getOutputStream()) {
|
||||
in.transferTo(out);
|
||||
resp.setContentType(detectContentType(target));
|
||||
|
||||
// По HTTP заголовок Range относится к GET. Для HEAD отдаём обычные
|
||||
// метаданные целого объекта, что нужно в том числе проверке вложений в UI.
|
||||
String rangeHeader = headOnly ? null : req.getHeader("Range");
|
||||
String ifRange = req.getHeader("If-Range");
|
||||
if (rangeHeader != null && ifRange != null && !ifRange.trim().equals(etag)) {
|
||||
rangeHeader = null; // неподтверждённая версия: отправляем обычный 200
|
||||
}
|
||||
ByteRange range = null;
|
||||
if (rangeHeader != null) {
|
||||
range = parseSingleRange(rangeHeader, size);
|
||||
if (range == null) {
|
||||
resp.setStatus(HttpServletResponse.SC_REQUESTED_RANGE_NOT_SATISFIABLE);
|
||||
resp.setHeader("Content-Range", "bytes */" + size);
|
||||
resp.setHeader("Content-Length", "0");
|
||||
return;
|
||||
}
|
||||
}
|
||||
|
||||
long firstByte = range == null ? 0L : range.start();
|
||||
long byteCount = range == null ? size : range.length();
|
||||
resp.setStatus(range == null ? HttpServletResponse.SC_OK : HttpServletResponse.SC_PARTIAL_CONTENT);
|
||||
resp.setHeader("Content-Length", Long.toString(byteCount));
|
||||
if (range != null) resp.setHeader("Content-Range", "bytes " + range.start() + "-" + range.end() + "/" + size);
|
||||
if (headOnly || byteCount == 0) return;
|
||||
|
||||
// Файловый канал позиционируется в начале запрошенного участка — не читаем
|
||||
// все предыдущие байты и не буферизуем видео целиком в памяти.
|
||||
try (FileChannel channel = FileChannel.open(target, StandardOpenOption.READ, LinkOption.NOFOLLOW_LINKS)) {
|
||||
channel.position(firstByte);
|
||||
OutputStream out = resp.getOutputStream();
|
||||
byte[] buffer = new byte[64 * 1024];
|
||||
long remaining = byteCount;
|
||||
while (remaining > 0) {
|
||||
ByteBuffer chunk = ByteBuffer.wrap(buffer, 0, (int) Math.min(buffer.length, remaining));
|
||||
int read = channel.read(chunk);
|
||||
if (read < 0) break; // файл мог быть удалён/усечён во время чтения
|
||||
if (read == 0) continue;
|
||||
out.write(buffer, 0, read);
|
||||
remaining -= read;
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// Поддерживается один диапазон (стандартные запросы браузерных <video>).
|
||||
// Некорректные, составные или не удовлетворяемые диапазоны отвечают 416.
|
||||
static ByteRange parseSingleRange(String header, long size) {
|
||||
if (header == null || !header.startsWith("bytes=") || size <= 0) return null;
|
||||
String value = header.substring("bytes=".length()).trim();
|
||||
if (value.indexOf(',') >= 0) return null;
|
||||
int dash = value.indexOf('-');
|
||||
if (dash < 0 || dash != value.lastIndexOf('-')) return null;
|
||||
String first = value.substring(0, dash).trim();
|
||||
String last = value.substring(dash + 1).trim();
|
||||
if (first.isEmpty() && last.isEmpty()) return null;
|
||||
try {
|
||||
if (first.isEmpty()) {
|
||||
long suffixBytes = Long.parseLong(last);
|
||||
if (suffixBytes <= 0) return null;
|
||||
return new ByteRange(size - Math.min(suffixBytes, size), size - 1);
|
||||
}
|
||||
long start = Long.parseLong(first);
|
||||
if (start < 0 || start >= size) return null;
|
||||
long end = last.isEmpty() ? size - 1 : Long.parseLong(last);
|
||||
if (end < start) return null;
|
||||
return new ByteRange(start, Math.min(end, size - 1));
|
||||
} catch (NumberFormatException ignored) {
|
||||
return null;
|
||||
}
|
||||
}
|
||||
|
||||
// Объекты на диске не имеют расширений. Тип распознаём по сигнатуре первых
|
||||
// байтов; обычные файлы по-прежнему отдаются как application/octet-stream.
|
||||
private static String detectContentType(Path target) throws IOException {
|
||||
byte[] signature = new byte[16];
|
||||
int count;
|
||||
try (InputStream in = Files.newInputStream(target, LinkOption.NOFOLLOW_LINKS)) {
|
||||
count = in.read(signature);
|
||||
}
|
||||
if (count >= 12 && signature[4] == 'f' && signature[5] == 't'
|
||||
&& signature[6] == 'y' && signature[7] == 'p') {
|
||||
return "video/mp4";
|
||||
}
|
||||
if (count >= 4 && (signature[0] & 0xff) == 0x1a && (signature[1] & 0xff) == 0x45
|
||||
&& (signature[2] & 0xff) == 0xdf && (signature[3] & 0xff) == 0xa3) {
|
||||
return "video/webm";
|
||||
}
|
||||
if (count >= 4 && signature[0] == 'O' && signature[1] == 'g'
|
||||
&& signature[2] == 'g' && signature[3] == 'S') return "video/ogg";
|
||||
if (count >= 12 && signature[0] == 'R' && signature[1] == 'I'
|
||||
&& signature[2] == 'F' && signature[3] == 'F'
|
||||
&& signature[8] == 'A' && signature[9] == 'V'
|
||||
&& signature[10] == 'I' && signature[11] == ' ') return "video/x-msvideo";
|
||||
return "application/octet-stream";
|
||||
}
|
||||
|
||||
record ByteRange(long start, long end) {
|
||||
long length() { return end - start + 1; }
|
||||
}
|
||||
|
||||
private static StoredObjectCheck verifyStoredObject(Path target, String expectedFileId) throws IOException {
|
||||
@@ -361,8 +454,8 @@ public final class PublicFileServlet extends HttpServlet {
|
||||
resp.setHeader("Access-Control-Allow-Origin", "*");
|
||||
resp.setHeader("Access-Control-Allow-Methods", "GET, HEAD, PUT, OPTIONS");
|
||||
resp.setHeader("Access-Control-Allow-Headers",
|
||||
"Content-Type, X-Shine-Session-Id, X-Shine-Time-Ms, X-Shine-Content-Length, X-Shine-Signature");
|
||||
resp.setHeader("Access-Control-Expose-Headers", "Content-Length, ETag");
|
||||
"Content-Type, Range, If-Range, X-Shine-Session-Id, X-Shine-Time-Ms, X-Shine-Content-Length, X-Shine-Signature");
|
||||
resp.setHeader("Access-Control-Expose-Headers", "Content-Length, ETag, Accept-Ranges, Content-Range, Content-Type");
|
||||
resp.setHeader("Vary", "Origin");
|
||||
}
|
||||
|
||||
|
||||
@@ -0,0 +1,39 @@
|
||||
package server.files;
|
||||
|
||||
import org.junit.jupiter.api.Test;
|
||||
|
||||
import static org.junit.jupiter.api.Assertions.*;
|
||||
|
||||
class PublicFileRangeTest {
|
||||
|
||||
private static void assertRange(String header, long size, long start, long end) {
|
||||
PublicFileServlet.ByteRange range = PublicFileServlet.parseSingleRange(header, size);
|
||||
assertNotNull(range);
|
||||
assertEquals(start, range.start());
|
||||
assertEquals(end, range.end());
|
||||
assertEquals(end - start + 1, range.length());
|
||||
}
|
||||
|
||||
@Test
|
||||
void readsExplicitOpenAndSuffixRanges() {
|
||||
assertRange("bytes=0-1023", 2048, 0, 1023);
|
||||
assertRange("bytes=1024-", 2048, 1024, 2047);
|
||||
assertRange("bytes=-256", 2048, 1792, 2047);
|
||||
assertRange("bytes=-4096", 2048, 0, 2047);
|
||||
assertRange("bytes=2047-9999", 2048, 2047, 2047);
|
||||
assertRange("bytes=0-0", 2048, 0, 0);
|
||||
assertRange("bytes=0-0", 1, 0, 0);
|
||||
}
|
||||
|
||||
@Test
|
||||
void rejectsUnsatisfiableAndMalformedRanges() {
|
||||
for (String header : new String[] {
|
||||
"bytes=2048-", "bytes=2000-1999", "bytes=-0", "bytes=-", "bytes=0-1,10-20",
|
||||
"bytes=a-b", "bytes=-9223372036854775808", "bytes=9223372036854775808-",
|
||||
"items=0-1", "bytes=-1-2", "bytes=0--1"
|
||||
}) {
|
||||
assertNull(PublicFileServlet.parseSingleRange(header, 2048), header);
|
||||
}
|
||||
assertNull(PublicFileServlet.parseSingleRange("bytes=0-0", 0));
|
||||
}
|
||||
}
|
||||
Reference in New Issue
Block a user