大文件 MD5 SHA 校验时间优化之路

最近研发apk校验服务,很多游戏安装包两三个G,如果整个拿去校验,耗时基本二十多秒,这还仅仅是校验的时间,如果加上下载的时间,等待时间太长了

网上很多方案尝试了一下,不太行

1、fast md5

一个第三方库,csdn有人用过说可以提升40%的速度,然后我去试了一下,本来9秒可以完成的校验,变成了2分多钟,我真是口吐莲花

2、把MD5替换成SHA算法

提升不明显,哪怕从30秒缩短到20几秒,依然接受不了

所以只能寻求其它方案了

分片校验法

很多上传下载大文件,会采用分片的方法去做,这样就可以开启多个任务对同一个文件进行操作,速度提升好几倍

如法炮制,先写个demo尝试一下,看看是否可行

先把文件进行分片,找个几百M的apk测试一下

private fun verifySpilt() {
        filesDir?.let { path ->
            val it = File(path.absolutePath + "/test.apk")
            tvContent?.text = "${path.absolutePath}/test.apk"
            val inputStream = FileInputStream(it)
            var out: FileOutputStream? = null
            val inChannel = inputStream.channel
            var outChannel: FileChannel? = null

            val m = (10 * 1024 * 1024).toLong()
            // 分片数量
            val count = (it.length() / m).toInt()
            Log.e("--==", "count $count")
            for (i in 0..count) {
                // 生成文件的路径
                val tPath = "${path.absolutePath}/test_$i"
                val toFile = File(tPath)
                if (toFile.exists()) {
                    toFile.mkdir()
                }
                Log.e("--==", "to path $tPath")
                try {
                    out = FileOutputStream(toFile)
                    outChannel = out.channel
                    // 从inChannel的m*i处,读取固定长度的数据,写入outChannel
                    if (i != count) inChannel.transferTo(
                        m * i,
                        m,
                        outChannel
                    ) else {
                        // 最后一个文件
                        inChannel.transferTo(m * i, it.length() - m * count, outChannel)
                    }
                } catch (e: IOException) {
                    Log.e("--==", "IOException $e")
                    return
                } finally {
                    out?.close()
                    outChannel?.close()
                    Log.e("--==", "finally close")
                }
            }
            inputStream.close()
            inChannel.close()
        }
    }

对 test.apk 进行分片校验

直接在 demo 工程里面 main方法调用

得到了十来个片段文件

接下来写个校验方法,对其中的片段文件校验,比如分片后,删了这些片段文件在重新生成,md5值是否一致

private fun verify(position: Int) {
        filesDir?.let { path ->
            val it = File(path.absolutePath + "/test1_$position")
            val digest = MessageDigest.getInstance("MD5")
            val fis = FileInputStream(it)
            val channel = fis.channel
            val byteBuffer = channel.map(FileChannel.MapMode.READ_ONLY, 0, it.length())
            digest.update(byteBuffer)
            val bytes = digest.digest()
            tvContent?.text = bytes2HexString(bytes)
            Log.e("--==", "${bytes2HexString(bytes)}")
        }
    }

打印的日志发现一致,说明只要切片的方式一样,是可以进行校验的

然后我改了分片的逻辑,每个片段大小调整了一下,得到5个片段,此时结果肯定就不一致了

其实到这里已经算成型了,居然分片可行,那么一个大文件直接分成10份,同时验证,然后对比结果,速度可不止快了一倍

后面是无聊尝试的结果,肯定是没问题的,否则就要考虑代码的问题了

找个视频加一个新建的text文本,文本里面输入111,然后压缩,得到 test1 的压缩包

然后修改文本变成1111,在压缩,得到 test2 压缩包,在赋值 test1 压缩包 得到 test1_copy 压缩包,一共三个文件

把文件复制到内存目录中测试

结果没问题,毕竟是整个文件直接校验

热门相关:神秘总裁小小妻