聊天广场 个人中心
立刻聊

使用多线程快速批量处理数据

立刻聊 2020-01-01 23:19:35 阅读(2858)

今天打开电脑,我在写代码的时候,突然看到电脑右下角的时间,居然显示为2020年我才又一次深刻的体会到时间过得真的非常快,这都已经好几年了,最新的语音聊天软件还没有开发完成,我记得上个月申请都是三年之前的事情了,而且是已经申请成功了,商标都准备好好几年了,但是代码产品一直没有完成,这与我最近一段时间比较忙碌有关系,但是每天我都会抽时间去写代码,每天都是一个新的进步,其实也不用着急,不用着急,时常被别人抢先了,只要有自己的独特想法,什么时候都不过时。

关于电话聊天软件里面的语音发布功能,我想重点做一下,我不想让用户每次在获取封面的时候都是简便一律的,我想提供给用户更多的数据,让他去选择不一样的背景图片,我还可以给用户加上上传的接口,用户可以选择自己喜欢的照片也可以的,但是这个过程要经过审核才行,以后互联网和软件审核越来越严格,这是一个大势所趋,因为软件里面需要上传照片的地方真的是非常的多,除了个人头像,上传相册,个人的主页封面,照片,语音录制的封面照片,这些都需要经过统一的审核,我目前为止是使用的百度审核接口。

我通过一系列的技术手段获取了一个平台里面的图片数据,然后把他现在的服务器总共有好几万张,这好几万张处理起来也是一个非常复杂的过程,我曾经计算过,如果我推荐信息程序可以让他自动完成每一秒执行一个,也需要持续很久的时间,因为每张照片它的处理过程非常的复杂,首先要获取数据,然后复制图片到新的目录,再把它大小进行调整一下,然后再把这个数据添加进去,再删除旧的数据,这个过程就按照正常的速度三秒左右吧,2万张照片需要6万秒,也就是十六个小时。

虽然这16个小时我可以不用一直在电脑旁边守着,但是这个处理过程太缓慢了,会影响我使用电脑的时间,而且还有一件事情一直在那里忙活着,我总觉得像没完成一样,所以我准备利用所学的知识进行一个批量处理的过程,一方面可以让我快速完成这个任务,提前看到他在电话聊天软件里面的表现,另一方面让我也学习一下,多线程这个部分的内容以后可能会有用的。

其实之前我思考我一些思路总是觉得太复杂,没想到今天晚上我有一点空闲的时间就写了一个,大概我可以发出一个100并发的进程,也就是说这个过程执行完回去处理100个数据,我曾经尝试过处理500个手机,但是不知道为什么服务器头上卡了一下,还以为阿里云服务器把我的IP地址加入黑名单了,后来我连忙用手机打开客户端,发现电话聊天网站和平台可以继续打开,有可能只是那一瞬间网络流量超出了限制,这一点也给我对网络安全提了一个醒,等处理完这些事情之后,我要研究一下网络安全,因为如果以后电话连线软件这边都高了之后,估计有很多人盯上了我,有很多人无聊的时候就会攻击服务器,到时候我要有技术手段应付这些。

但是还有一些照片,我需要进行格式上的筛选,比如它的后缀名,还有一些重复的照片,这些细节我明天要继续处理一下,能做好这些细节之后,我就把作业照片全部转移过去,然后我还需要自己的工作,就是我会把所有的照片都会大概的看一下,发现哪些照片不太符合我的标准,或者他的图片比较简单,我将这些照片删除掉,不会让用户看到他们在展示内容,我还可以选一些比较有代表性的照片放在一个专门的区域,让用户获取他们的概率比较高一点,这样也是为了提高电话聊天平台发布语音的积极性。

其他文章
Copyright © 2009-2021 立刻聊 版权所有