影像恋上智能:麒麟9000中的高甜CP创新

作者: 脑极体 来源: 脑极体 2021-01-05 19:18

在移动芯片发展历史上,始终有这样一个趋势:伴随着智能手机的升级,移动SoC的组成模块越来越多,制程上不断挑战摩尔定律极限。

但是看多了几大厂商之间的芯片斗法,见惯了参数不断上升、模块不断增多、制程纳米数不断下降,似乎也是有点乏味。难道移动芯片的创新之路,就没有其他方向可走了吗?

今年大家最关心的移动芯片,毫无疑问是麒麟9000。这款芯片采用了5nm工艺制程,集成153亿晶体管,在性能、AI、拍照等能力上都有大幅创新,各位想必也了解过很多了。但在麒麟9000的创新中,有一项却是跟其他芯片完全不同的。那就是麒麟9000在业界首次实现ISP+NPU融合架构。

移动芯片中的融合架构创新,这个说法大家似乎很少听到,那么理解起来可能也难免生涩。但其实,麒麟9000中的这个创新,不仅将直接带给华为旗舰机,比如Mate 40系列用户以全新的影像体验,还指向着移动芯片与产品能力高度同频、智能与影像能力全面融合,这两个在今天非常核心的行业趋势。

或许可以说,麒麟9000中的ISP邂逅NPU,不仅是一枚芯片,几款手机的事,更是未来智能手机发展中的一种确定性未来。

为了帮助大家理解这个技术创新,咱们今天就换个路子:咱把ISP和NPU想象成偶像剧里的男女主角。这个架构融合就约等于组CP。顺着这个思路,咱们来聊三个问题:

1、 这对CP有什么缘分?

2、 他俩牵手需要跨过哪些障碍?

3、CP成了之后,能给观众发哪些糖?

好,咱们这就开始。

缘分注定多时:ISP与NPU的邂逅

话说,整个一块移动SoC中,一般来说有这么几位成员:CPU、GPU、基带,ISP模块,以及这几年最火热的AI处理单元NPU。

其中ISP是手机拍照的必需品,堪称智能手机时代的江湖老男神;而NPU则是刚刚出道几年的少年侠女,兴致勃勃要闯出一片新天地。

看过电视剧的都知道,男女主就得看着有区别,不在一个路子上,这样邂逅之后才有CP感。ISP和NPU正是如此。虽然ISP和NPU,两大部件看似处在不同的道路上,但它们在目前这个周期中却有相遇的必然性。

一方面,传统的手机端ISP开始面临一系列瓶颈。比如对暗光拍摄的高要求,就为芯片硬件处理性能提出了更高要求。再比如为了解决手机摄影的进光量问题,近两年兴起了RYYB传感器,传统ISP已经无法应对其中Y像素蕴含的色彩信息容量。或许可以说,影像的世界太复杂,传统ISP有点撑不住了。

另一方面,AI算法也在面对越来越丰富的图像处理任务时,通过深度网络对逐个像素特征的学习和表达,大幅提升了画质。所以在今天,图像与视频处理过程中需要大量AI算法的计算,而ISP本身在很多任务上不具备NPU的计算效率,就需要通过ISP与其他模块间的计算传输来支撑复杂的图形图像算法,最终导致要么牺牲算法强度,要么造成处理延迟,都会导致用户体验变差。触摸到天花板的ISP,必须完成一些变革才行。当然,ISP本身也在发生不少变化,比如麒麟9000里采用了新一代的ISP 6.0图像处理器。但这还不够,为了让ISP能够发挥出跟上时代的价值,需要给他安排一场邂逅。

邂逅的对象,就是近几年风头无两的NPU。NPU在移动SoC中正处在高速进化阶段,比如麒麟9000中,华为达芬奇架构升级到了2.0版本,实现了NPU算力的再次翻倍,以148分的成绩刷新了苏黎世联邦理工学院AI Benchmark排行。

而实力雄厚的NPU,正在雄心勃勃瞄准着新机遇。AI处理能力需要与具体的任务和体验结合,才能让用户真正感觉到智能的魅力。而在一系列任务中,图像是与AI结合关系最紧密的一点。而AI计算需要跨越的主要挑战,就是高效和实时化的图像处理。

从这个关系可以看到,ISP需要更强大的AI计算能力来完成突破,NPU则需要与图像处理更紧密的联系来发挥自己的潜力,两者的缘分其实早就注定。

从这点来看,麒麟9000的ISP+NPU融合架构虽然是行业的全新突破,但从产业逻辑上却是一种必然的邂逅。

为了满足这场邂逅的充分必要条件,麒麟9000还需要完成一系列挑战。

嗑CP的准备工作:新架构,新挑战

俗话说,没有世仇的罗密欧与朱丽叶是无聊的,没有挑战的CP感也是乏味的。

ISP+NPU的架构融合,可以有效解决今天手机用户关于摄影的核心需求:一是提升了AI能力,让视频拍摄也可以获得AI支持;二是让华为提出的RYYB传感器更加出色,将摄影的细节色彩还原和暗光拍摄能力再次提升。

但这样的价值却并不容易实现,ISP与NPU的架构融合,还需要克服一系列的技术挑战,在多种高精度因素之间寻求最合适的平衡点。让我们继续磕偶像剧的思路,把ISP和NPU的架构融合挑战,想象成情侣间经常碰到的三个困难场景:

1、性格:性格不合,是很多情侣遇到的第一个问题。而AI的性格就是算法。ISP+NPU融合新架构,首先就是要找到适合这个新架构的算法。要知道,ISP作为影像处理单元,在架构融合之后要给NPU输入非常庞大而复杂的数据。为了能稳定有效地处理这样的数据,NPU需要确保运算中的鲁棒性,还需要提升运行效率。这就需要开发团队最大化让NPU的算法模型与硬件配合,确保NPU和ISP性格合适,相处得来。

2、能力:在ISP+NPU的融合架构里,一个重要目标就是满足视频拍摄时的AI处理。而这需要NPU具备足够强的能力,也就是充沛的计算能效。比如说在如30fps场景下,整个ISP链路必须在33ms内完成单帧计算工作。这就留给AI处理算法的时间很短。如果计算性能不达标,将产生极大的卡顿问题。所以说,NPU足够强劲,能够支撑起足够的计算能效,是新架构面对的第二个挑战。

3、钱包:情侣在一起,不能很快就把家底折腾没了。对于ISP+NPU的新架构来说,就是不能以过度的耗电为代价执行新架构。否则手机的耗电和发热问题会严重影响用户体验。因此架构突破还必须约束在一定的能效范畴内,不能三两下耗光手机电池的“钱包”。

这些因素的相互影响与制约下,麒麟9000的开发团队必须在算力、算法、能耗间取得一个精准的平衡点,才能达成ISP+NPU的创新。

众多技术创新背后,其实都是带着枷锁起舞。麒麟9000的ISP+NPU融合架构也是如此。只有在严苛的平衡条件下,AI计算能力和图像处理能力,才可以由原本的普通合作关系,变成一体化的高甜CP。

一系列用户体验的创新,都由此开始。

影像智能高甜时刻:麒麟9000带给用户的质感

下面我们来回答最重要的一个问题:ISP和NPU这一对,跨过了这么多艰难也要在一起,究竟能给广大观众带来点什么?

事实上,芯片是手机产品与应用的想象力基础,真正的手机创新往往要从芯片开始。我们回到用户的视角中,会发现麒麟9000的架构创新重新打破了我们对手机影像能力的常识界定,并且将近几年备受瞩目的技术路径推到了更成熟的阶段。

对于用户来说,麒麟9000中ISP+NPU的高甜CP,带来了这样几个关于视觉世界的全新质感:

1、 升级:完美支持RYYB色彩。

新的ISP+NPU融合架构,首先实现了用智能计算的新方式,全面支持新型RYYB CFA。这让RYYB的价值被进一步放大,用户体验更加具有一致性。用户直接的感受是,日常拍照的细节和色彩还原将更加逼真,尤其是夜晚拍摄效果将得到又一次巨大升级。

2、开启:视频拍摄真智能。

ISP+NPU融合架构将超强的细节还原、降噪能力带入了视频领域,并且让暗光环境下拍摄的视频更加清晰、细节展现淋漓尽致。在新架构的支持下,麒麟9000可以实现视频拍摄智能化水准,以及实时化效果质量的全面提升。开启了智能视频时代色彩、清晰度、光线捕捉的全新水准。

3、 和谐:计算摄影与整机体验更加适配。

ISP+NPU的融合新架构,让计算摄影这个近几年的核心议题,可以与手机的整体计算、能耗体验更加适配,相互关系更加平衡。在提升摄影、摄像等视觉水准的同时,不以牺牲手机能耗为代价,细水长流,让整体体验更加顺滑。

可以说,ISP+NPU的新架构是对计算摄影新的理解,是一次芯片架构设计创新,让手机影像拍摄能力得到了一次全面升级,在追求所见极致化的路上走得更远。而麒麟9000更深层的产业意义在于,它展现了新一轮的移动芯片变革可能性。在智能手机行业中,芯片一般都是作为基础部件,不会直接考虑手机产品本身的创新需求与方向。这是全球半导体行业分工导致的常态,但在华为这样的全栈终端厂商崛起后,事情开始不断发生改变。

以麒麟9000为例,ISP+NPU的架构融合创新,更加适配华为终端产品采用的RYYB传感器、电影摄像头解决方案、影像智能等一系列新部件、新功能、新的产品方向。这展现出了华为在手机端与移动芯片端协同开发的全新高度。以用户需求和用户体验为导向,芯片开发可以与手机发展高频同步,即使需要跨越很高的融合难度,但最后依然可以把“甜美”的智能影像体验送到用户面前。

另一方面,智能技术与影像能力的融合,也让移动芯片某种程度上反思一味追求多能力、高数值的传统发展定式。

很大可能性上,ISP+NPU的融合架构创新,将是创造更多可能的开始。手机产业的软硬件之间、系统与应用之间的联系正在更加紧密。

在这对CP成功牵手出道背后,我们能看到色彩的创新可能驱动芯片的更迭;AI算法的演进也能带来拍摄体验的升级。集成化、一体化、智能化,构成了未来智能手机的康庄大道。

一条由麒麟9000开启的,高甜的智能+影像之路。


【声明】该文由作者本人上传,其观点仅代表作者本人。亿邦号系信息发布平台,亿邦动力网仅提供信息存储空间服务,如本文涉及侵权 ,请及时联系run@ebrun.com。