利用Python线程池充分发挥华为云DLS的性能
【摘要】 华为云的配置很高,本文利用Python线程池充分发挥华为云的多线程作用,降低预处理耗时
华为云DLS的配置真的好,根本不是普通开发服务器相比
然而,每张图片都要先从OBS通过网络读到DLS,再用opencv做预处理,特别是网络那里极之耗时。
干脆利用Python线程池充分发挥华为云的性能,话不多说,直接上码
import multiprocessing def imgProc(imagePath): image = cv2.imdecode(np.fromstring(mox.file.read(imagePath, binary=True), np.uint8), cv2.IMREAD_COLOR) ...中间一堆预处理... npimage = img_to_array(image) return npimage pool=multiprocessing.Pool(64) #开64个线程 m=multiprocessing.Manager() data=[] labels=[] asyncdata=[] for imagePath in files: #耗时的才用多线程 npimage = pool.apply_async(imgProc, args=(imagePath,)) asyncdata.append(npimage) #注意:这里不能用get获取结果,否则变成单线程 #不耗时就普通吧 label = imagePath.split(os.path.sep)[-2] labels.append(label) pool.close() pool.join() print("asyncdata len:"+str(len(asyncdata))) #全部做完再取结果 for d in asyncdata: data.append(d.get())
特别要注意get的时机,要等全部做完再get。否则如果在asyncdata.append(npimage)这里get的话,会变成单线程。
效果对比:
从3:52直接降成2:10
当然还是与本地没得比(毕竟是网络IO与磁盘IO是有区别)
(华为云5186张图读取和处理居然比3636张要快,那很明显瓶颈是在网络IO,而不是opencv预处理上)
所以,遇到图片特别多的话,还是先在本地预处理好,尽量做成一个csv,来避免数万次的网络IO带来的延时
(封面图来自https://en.wikipedia.org/wiki/Multithreading_(computer_architecture))
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)