网易云对象存储 HTTP 文件上传

网易数帆的对象存储服务不错,企业用户免费,可以绑定 https 域名等等。官方提供了 SDK 调用对象存储的各种服务,是挺好的挺方便的,不过就是 SDK 依赖臃肿,本人不是很待见,于是改用其 HTTP 接口来简单完成文件上传的服务,可以说是折腾了一把。本文采用 Java 语言完成。

生成授权信息

为鉴别授权,必须在 HTTP 请求头中包含 Authorization 字段,该字段就是授权信息,必须严格遵守其 API 生成授权信息,否则不能访问其服务(只能匿名地部分访问)。生成方法如下(参考了官方文档)。

Authorization = "NOS " + AccessKey + ":" + Signature
Signature =	Base64(HMAC-SHA256(SecretKey,
              HTTP-Verb + "\n"  
              + Content-MD5 + "\n"  
              + Content-Type + "\n"  
              + Date + "\n"  
              + CanonicalizedHeaders 
              + CanonicalizedResource))

说明:

  • HTTP-Verb 表示 HTTP 请求类型,如:PUT,GET,DELETE 等

  • Content-MD5 表示内容数据的 MD5 值,某些 API 该字段非必须

  • Content-Type 表示内容的类型,某些 API 该字段非必须

  • Date 表示此次操作的时间,格式必须符合 RFC1123 的日期格式,示例:Wed, 01 Mar 2009 12:00:00 GMT

  • CanonicalizedHeaders 表示请求中其他重要的 HTTP 头。

  • CanonicalizedResource 表示用户想要访问的 NOS 资源。

其中,Date 和 CanonicalizedResource 不能为空,其余字段如为空,用空字符串""代 替;如果请求中的 Date 时间和 NOS 服务器的时间差正负 15 分钟以上,NOS 服务器将拒绝该服务 ,并返回错误码:AccessDenied。

构建 CanonicalizedHeaders 的方法和构建 CanonicalizedResource 的方法参见下面代码。

/**
 * 生成验证的字符串
 * 
 * @param data
 * @return
 */
private static String getAuthorization(String data) {
	String accessKey = ConfigService.get("uploadFile.ObjectStorageService.NOS.accessKey");
	String secretKey = ConfigService.get("uploadFile.ObjectStorageService.NOS.secretKey");

	String signature = Encode.base64Encode(SymmetriCipher.HMACSHA256(data, secretKey));
	String authorization = "NOS " + accessKey + ":" + signature;

	return authorization;
}

注意如 ConfigService.get("uploadFile.ObjectStorageService.NOS.accessKey") 这里是我们调用配置读取的方法,分别读取了访问 key 和密钥。你可以修改为你自己的 Config 配置系统。

列出所有的桶

这是一个比较简单的任务,请求参数很少,适合测试签名是否通过。具体代码如下,返回 XML 结果。

/**
 * 列出所有的桶
 * 
 * @return XML 结果
 */
public static String listBuk() {
	String now = getDate();
	String canonicalizedHeaders = "", canonicalizedResource = "/";
	String data = "GET\n" + "\n" + "\n" + now + "\n" + canonicalizedHeaders + canonicalizedResource;
	String authorization = getAuthorization(data);
	String xmlResult = HttpBasicRequest.get("http://nos-eastchina1.126.net", false, conn -> {
		conn.addRequestProperty("Authorization", authorization);
		conn.addRequestProperty("Date", now);
		conn.addRequestProperty("Host", "nos-eastchina1.126.net");
	});

	return xmlResult;
}

值得一提的是,我们的 HTTP 请求库采用了自家的 AJAXJS 框架,具体就是通过一个 Java 8 的 lambda 完成了 HTTP 头的设置,如上例的 Authorization、Date、Host 必填字段。详细请参考框架简介

依赖的 getDate() 源码如下。

/**
 * 请求的时间戳,格式必须符合 RFC1123 的日期格式
 * 
 * @return 当前日期
 */
private static String getDate() {
	SimpleDateFormat format = new SimpleDateFormat("EEE, dd MMM yyyy HH:mm:ss z", Locale.US);
	format.setTimeZone(TimeZone.getTimeZone("GMT"));
	return format.format(new Date());
}

创建空文件

在正式上传文件之前,我们看看比较简单的一个例子:创建空文件。话不多说,见源码如下。

/**
 * 创建空文件
 * 
 * @param filename 文件名
 */
public static void createEmptyFile(String filename) {
	String bucket = ConfigService.get("uploadFile.ObjectStorageService.NOS.bucket");
	String now = getDate();
	String canonicalizedHeaders = "", canonicalizedResource = "/" + bucket + "/" + filename;
	String data = "PUT\n" + "\n\n" + now + "\n" + canonicalizedHeaders + canonicalizedResource;
	String authorization = getAuthorization(data);
	
	// 这里改为你的存储空间地址
	HttpBasicRequest.put("https://ajaxjs.nos-eastchina1.126.net/" + filename, new byte[0], conn -> {
		conn.addRequestProperty("Authorization", authorization);
		conn.addRequestProperty("Content-Length", "0");
		conn.addRequestProperty("Date", now);
		conn.addRequestProperty("Host", "ajaxjs.nos-eastchina1.126.net"); // 这里改为你的存储空间地址
	}, null);
}

空文件就是上次字节为 0 的资源。注意存储空间地址可以改为你的配置系统,而不是像这里的写死了。

上传文件

上传文件是本文的重点了,前面所有的尝试都是为了这里的文件上传。

/**
 * 上传文件
 * 
 * @param filePath 文件路径
 * @param filename 文件名,若不指定则按原来的文件名
 */
public static void uploadFile(String filePath, String filename) {
	String bucket = ConfigService.getValueAsString("uploadFile.ObjectStorageService.NOS.bucket");

	File file = new File(filePath);
	if (filename == null)
		filename = file.getName();

	String md5 = calcMD5(file);
	String now = getDate();
	String canonicalizedHeaders = "", canonicalizedResource = "/" + bucket + "/" + filename;
	String data = "PUT\n" + md5 + "\n\n" + now + "\n" + canonicalizedHeaders + canonicalizedResource;
	String authorization = getAuthorization(data);
	
 	// 这里改为你的存储空间地址
	HttpBasicRequest.put("https://ajaxjs.nos-eastchina1.126.net/" + filename, FileHelper.openAsByte(file), conn -> {
		conn.addRequestProperty("Authorization", authorization);
		conn.addRequestProperty("Content-Length", file.length() + "");
//			conn.addRequestProperty("Content-Type", "");
		conn.addRequestProperty("Content-MD5", md5);
		conn.addRequestProperty("Date", now);
		// conn.addRequestProperty("Host", "ajaxjs.nos-eastchina1.126.net");
		// conn.addRequestProperty("x-nos-entity-type", "json");
	}, null);
}

为校验文件完整性,API 允许上传者设置一个 Content-MD5 字段来作校验。具体方法如下几个方法。

/**
 * 计算文件 MD5
 * 
 * @param file
 * @return 返回文件的md5字符串,如果计算过程中任务的状态变为取消或暂停,返回null, 如果有其他异常,返回空字符串
 */
protected static String calcMD5(File file) {
	try (InputStream stream = Files.newInputStream(file.toPath(), StandardOpenOption.READ)) {
		byte[] buf = new byte[8192];
		int len;
		MessageDigest digest = MessageDigest.getInstance("MD5");

		while ((len = stream.read(buf)) > 0)
			digest.update(buf, 0, len);

		return toHexString(digest.digest());
	} catch (IOException | NoSuchAlgorithmException e) {
		e.printStackTrace();
		return "";
	}
}

private static final char[] hexCode = "0123456789ABCDEF".toCharArray();

/**
 * 
 * @param data
 * @return
 */
private static String toHexString(byte[] data) {
	StringBuilder r = new StringBuilder(data.length * 2);

	for (byte b : data) {
		r.append(hexCode[(b >> 4) & 0xF]);
		r.append(hexCode[(b & 0xF)]);
	}

	return r.toString();
}

当然了,文件越大,计算 MD5 时间越长。这点要注意。

指定文件夹

若指定文件夹的话,需要注意构建 CanonicalizedResource 的方法:资源为 /BucketName/ObjectName 含有路径前缀:/BucketName/文件夹路径前缀%2FObjectName;又例如 bucketname 为 file201503,资源路径为/domain/domain.txt,则CanonicalizedResource 为/file201503/domain%2Fdomain.txt

上传的 PUT 的路径也是如此,例如截图中的,
在这里插入图片描述
这里是个例子所以是写死的,实际中当然要修改。

测试

我们通过一个 main 方法简单测试下。

public static void main(String[] args) {
	ConfigService.load("c:\\project\\aj-website-site_config.json");
	System.out.println(listBuk());
	createEmptyFile("test.jpg");
	uploadFile("C:\\project\\ajaxjs-maven-global.xml");
}

完整代码在 https://gitee.com/sp42_admin/ajaxjs/blob/master/ajaxjs-framework/src/main/java/com/ajaxjs/thirdparty/NsoHttpUpload.java

©️2020 CSDN 皮肤主题: 岁月 设计师:pinMode 返回首页