【2020华为云AI实战营】如何在ModelArts上用AI给黑白照片自动上色
【摘要】 陈旧的黑白老照片,尘封的是一段段珍藏的记忆;给旧时光上色,好像那些故事都鲜活了起来。
本文将分享如何在ModelArts上用AI给黑白照片以及视频自动上色。
陈旧的黑白老照片,尘封的是一段段珍藏的记忆;给旧时光上色,好像那些故事都鲜活了起来。
本文将分享如何在ModelArts上用AI给黑白照片以及视频自动上色。
图片效果:
视频效果:
关于Lab色彩模型,一般彩色照片我们都使用RGB色彩模型,而用Lab其中的L代表的是像素的亮度,a的正数代表红色,负端代表绿色;b的正数代表黄色, 负端代表蓝色。Lab既不依赖光线,也不依赖于颜料,包括了人眼可以看见的所有色彩的色彩模式。
这里的L我们会用来做AI模型的输入,来预测剩下的a和b,最后合并L+ab得到一张彩色照片
因为训练量实在太大了,我们会使用论文里(a)提供的已经训练好的模型;模型由Richard Zhang团队应用AlexNet算法在ImageNet130万图片上训练而得并已开源(b)
wget http://eecs.berkeley.edu/~rich.zhang/projects/2016_colorization/files/demo_v2/colorization_release_v2.caffemodel
以下实验中的prototxt以及pts_in_hull.npy均可在b中下载
黑白图片上色
# caffe的prototxt
prototxt = "./model/colorization_deploy_v2.prototxt"
# 模型加载
model = "./model/colorization_release_v2.caffemodel"
# 类簇中心点
points = "./model/pts_in_hull.npy"
# 加载序列化后的黑白模型以及类簇中心点
net = cv2.dnn.readNetFromCaffe(prototxt, model)
pts = np.load(points)
# 将类簇中心点以1x1卷积层的形式加入降维
class8 = net.getLayerId("class8_ab")
conv8 = net.getLayerId("conv8_313_rh")
pts = pts.transpose().reshape(2, 313, 1, 1)
net.getLayer(class8).blobs = [pts.astype("float32")]
net.getLayer(conv8).blobs = [np.full([1, 313], 2.606, dtype="float32")]
2. 接着就是将rgb图片转为Lab
lab = cv2.cvtColor(scaled, cv2.COLOR_RGB2LAB)
# 并resize成224x224
resized = cv2.resize(lab, (224, 224))
# 提取L
L = cv2.split(resized)[0]
# 从mean-centering - 50
L -= 50
3. 预测a和b
net.setInput(cv2.dnn.blobFromImage(L))
ab = net.forward()[0, :, :, :].transpose((1, 2, 0))
ab = cv2.resize(ab, (image.shape[1], image.shape[0]))
4. 生成彩色Lab图片
L = cv2.split(lab)[0]
colorized = np.concatenate((L[:, :, np.newaxis], ab), axis=2)
5. Lab转成RGB
colorized = cv2.cvtColor(colorized, cv2.COLOR_LAB2RGB)
colorized = np.clip(colorized, 0, 1)
colorized = (255 * colorized).astype("uint8")
自此一张黑白照片都上色好了。
以上大家已经学会了给图片上色,那处理视频就简单了。我们只需要将视频逐帧处理再合并,这样一段彩色视频就合成了。
一段60s 30帧的视频大概一共有1800张照片,modelarts上大概需要6分钟左右。
# 加载视频
vs = cv2.VideoCapture(video)
count = 0
success = True
while success:
success, frame = vs.read()
if frame is None:
break
frame = imutils.resize(frame, 500)
# 图片黑白处理
frame = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
frame = cv2.cvtColor(frame, cv2.COLOR_GRAY2RGB)
scaled = frame.astype("float32") / 255.0
# rgb图片转为Lab
lab = cv2.cvtColor(scaled, cv2.COLOR_RGB2LAB)
resized = cv2.resize(lab, (224, 224))
L = cv2.split(resized)[0]
L -= 50
# 预测a和b
net.setInput(cv2.dnn.blobFromImage(L))
ab = net.forward()[0, :, :, :].transpose((1, 2, 0))
ab = cv2.resize(ab, (frame.shape[1], frame.shape[0]))
生成彩色Lab图片
L = cv2.split(lab)[0]
colorized = np.concatenate((L[:, :, np.newaxis], ab), axis=2)
# Lab转成RGB
colorized = cv2.cvtColor(colorized, cv2.COLOR_LAB2BGR)
colorized = np.clip(colorized, 0, 1)
colorized = (255 * colorized).astype("uint8")
cv2.imwrite("./colorized_video_frames/frame%d.jpg" % count, colorized)
count += 1
key = cv2.waitKey(1) & 0xFF
if key == ord("q"):
break
vs.release()
cv2.destroyAllWindows()
最后将处理后的每一帧图片合并成视频就可以了。
pathIn= './colorized_video_frames/'
pathOut = './colorized_videos/color.avi'
fps = 30.0
# 合成
out = cv2.VideoWriter(pathOut,cv2.VideoWriter_fourcc(*'MJPG'), fps, size)
...
a. Colorful Image Colorization: https://richzhang.github.io/colorization/
b. Github Repo: https://github.com/richzhang/colorization
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
评论(0)