大文件分片上传Java版简单实现

1
     /**
2
       * 上传文件
3
       */
4
      uploadFile() {
5
        let _this = this;
6
        // 1. 获取 input 中被选中的文件
7
        let file = _this.$refs.file.files[0];
8

9

10
        // 2. 生成文件标识，标识多次上传的是不是同一个文件
11
         let key = hex_md5(file.name + file.size + file.type);
12
        let key10 = parseInt(key, 16);
13
        let key62 = Tool._10to62(key10);
14

15
        // 判断文件格式 （非必选，根据实际情况选择是否需要限制文件上传类型）
16
        let suffixs = _this.suffixs;
17
        let fileName = file.name;
18
        let suffix = fileName.substring(fileName.lastIndexOf(".")+1, fileName.length).toLowerCase();
19
        if(!(!suffixs || JSON.stringify(suffixs) === "{}" || suffixs.length === 0)) {
20
            let validateSuffix = false;
21
            for(let s of suffixs) {
22
                if(s.toLocaleLowerCase() === suffix) {
23
                    validateSuffix = true;
24
                    break;
25
                }
26
            }
27
            if(!validateSuffix) {
28
                Toast.warning("文件格式不正确！只支持上传：" + suffixs.join(","));
29
                $("#" + _this0.inputId + "-input").val("");
30
                return;
31
            }
32
        }
33

34
        // 3. 文件分片开始
35
            // 3.1 设置与计算分片必选参数
36
        let shardSize = 20 * 1024 *1024; // 20M为一个分片
37
        let shardIndex = 1;   // 分片索引，1表示第1个分片
38
        let size = file.size; // 文件的总大小
39
        let shardTotal = Math.ceil(size / shardSize); // 总分片数
40

41
            //  3.2 拼接将要传递到参数， use 非必选，这里用来标识文件用途。
42
        let param = {
43
          'shardIndex': shardIndex,
44
          'shardSize': shardSize,
45
          'shardTotal': shardTotal,
46
          'use': _this.use,
47
          'name': file.name,
48
          'suffix': suffix,
49
          'size': file.size,
50
          'key': key62
51
        };
52

53
        //  3.3  传递分片参数，通过递归完成分片上传。
54
        _this.upload(param);
55

56
      },

1
      /**
2
       * 递归上传分片
3
       */
4
      upload(param) {
5
        let _this = this;
6
        let shardIndex = param.shardIndex;
7
        let shardTotal = param.shardTotal;
8
        let shardSize = param.shardSize;
9
        // 3.3.1 根据参数，获取文件分片
10
        let fileShard = _this.getFileShard(shardIndex,shardSize);
11

12

13
        // 3.3.2 将文件分片转为base64进行传输
14
        let fileReader = new FileReader();
15
       // 读取并转化 fileShard 为 base64
16
        fileReader.readAsDataURL(fileShard);
17
        //  readAsDataURL 读取后的回调，
18
            // 将 经过  base64 编码的  分片 整合到 param ，发送给后端，从而上传分片。
19
        fileReader.onload = function (e) {
20
          let base64 = e.target.result;
21
          param.shard = base64;
22
          Loading.show();
23
          _this.$ajax.post(process.env.VUE_APP_SERVER + "/file/admin/big-upload", param).then((res)=> {
24
              Loading.hide();
25
              let resp = res.data;
26
              // 上传结果
27
                // 当前分片索引小于 分片总数，继续执行分派，反之 则表示全部上传成功。
28
              if(shardIndex < shardTotal) {
29
                // 上传下一个分片
30
                param.shardIndex = param.shardIndex + 1;
31
                _this.upload(param);
32
              } else {
33
                  // 文件上传成功后的回调
34
                 _this.afterUpload(resp);
35
              }
36
              $("#" + _this.inputId + "-input").val("");
37
          });
38
        };
39
      },

1
    @PostMapping("/big-upload")
2
    public ResponseDto uploadOfMerge(@RequestBody FileDto fileDto) throws IOException {
3
        log.info("上传文件开始");
4

5

6
        String use = fileDto.getUse();
7
        String key = fileDto.getKey();
8
        String suffix = fileDto.getSuffix();
9
        String shardBase64 = fileDto.getShard();
10
        // 1. 将分片转为 MultipartFile
11
        MultipartFile shard = Base64ToMultipartFile.base64ToMultipart(fileDto.getShard());
12
        //  获取分片要保存到的路径
13
        //  根据use字段获取文件用途，从而上传到不同文件夹下（非必选）
14
        FileUseEnum useEnum = FileUseEnum.getByCode(use);
15
            // 若文件夹不存在则创建
16
        String dir = useEnum.name().toLowerCase();
17
        File fullDir = new File(FILE_PATH + dir);
18
        if (!fullDir.exists()) {
19
            fullDir.mkdir();
20
        }
21

22
        String path = new StringBuffer(dir)
23
                .append(File.separator)
24
                .append(key)
25
                .append(".")
26
                .append(suffix).toString(); // course\6sfSqfOwzmik4A4icMYuUe.mp4
27
        String localPath = new StringBuffer(path)
28
                .append(".")
29
                .append(fileDto.getShardIndex()).toString(); // course\6sfSqfOwzmik4A4icMYuUe.mp4.1
30
        String fullPath = FILE_PATH + localPath;
31
        // 2. 通过 transferTo 保存文件到服务器磁盘
32
        File dest = new File(fullPath);
33
        shard.transferTo(dest);
34
        log.info(dest.getAbsolutePath());
35
        // 3. 将文件分片信息保存/更新到数据库
36
        log.info("保存文件记录开始");
37
        fileDto.setPath(path);
38
        fileService.saveBigFile(fileDto);
39

40
        ResponseDto responseDto = new ResponseDto();
41
        responseDto.setContent(fileDto);
42

43
        // 4. 合并
44
            // 若分片均已上传，将所有分片合并成一个文件。
45
        if (fileDto.getShardIndex().equals(fileDto.getShardTotal())) {
46
            this.merge(fileDto);
47
        }
48
        // 5. 返回分片上传结果
49
        return responseDto;
50
    }

1
 private void merge(FileDto fileDto) {
2
        log.info("合并分片开始");
3
        String path = fileDto.getPath();
4
        Integer shardTotal = fileDto.getShardTotal();
5
        File newFile = new File(FILE_PATH + path);
6
        byte[] byt = new byte[10 * 1024 * 1024];
7
        FileInputStream inputStream = null;   // 分片文件
8
        int len;
9

10
        // 文件追加写入
11
        try (FileOutputStream outputStream = new FileOutputStream(newFile, true);
12
              ) {
13
            for (int i = 0; i < shardTotal; i++) {
14
                // 读取第一个分片
15
                inputStream = new FileInputStream(new File(FILE_PATH + path + "." + (i+1))); // course\6sfSqfOwzmik4A4icMYuUe.mp4.1
16
                while ((len = inputStream.read(byt))!=-1) {
17
                    outputStream.write(byt, 0, len);
18
                }
19
            }
20
        } catch (FileNotFoundException e) {
21
            log.info("文件寻找异常", e);
22
        } catch (IOException e) {
23
            log.info("分片合并异常", e);
24
        } finally {
25
            try {
26
                if(inputStream !=null) {
27
                    inputStream.close();
28
                }
29
                log.info("IO流关闭");
30
            } catch (IOException e) {
31
                log.error("IO流关闭", e);
32
            }
33

34
        }
35
        log.error("合并分片结束");
36

37
        System.gc();
38
        // 删除分片
39
        log.info("删除分片开始");
40
        for (int i = 0; i < shardTotal; i++) {
41
            String filePath = FILE_PATH + path + "." + (i + 1);
42
            File file = new File(filePath);
43
            boolean result = file.delete();
44
            log.info("删除{}，{}", filePath, result ? "成功" : "失败");
45
        }
46
        log.info("删除分片结束");
47
    }

1
check(param) {
2
        let _this = this;
3
        _this.$ajax.get(process.env.VUE_APP_SERVER + "/file/admin/check/" + param.key).then((res)=> {
4
            let resp = res.data;
5
            if(resp.success) {
6
              let obj = resp.content;
7
              if(!obj) {
8
                param.shardIndex = 1;
9
                console.log("没有找到文件记录，从分片1开始上传");
10
                _this.upload(param);
11
              } else if (obj.shardIndex === obj.shardTotal) {
12
                // 已上传分片 = 分片总数，说明已全部上传完，不需要再上传
13
                Toast.success("文件极速秒传成功！");
14
                _this.afterUpload(resp);
15
                $("#" + _this.inputId + "-input").val("");
16
              }else {
17
                param.shardIndex = obj.shardIndex + 1;
18
                console.log("没有找到文件记录，从分片1开始上传");
19
                _this.upload(param);
20
              }
21
            } else {
22
              console.log("文件上传失败");
23
              $("#" + _this.inputId + "-input").val("");
24
            }
25
        });
26
      },