影像是全人类的旺盛需求,我们的生活被手机摄像头彻底改变了。极具活力的中国市场引领了手机摄像技术的发展。
表达门槛大大下降。一张图片一个视频胜过千言万语,一键即可分享。2012年4月19日,微信4.0版本推出了朋友圈功能。
这个世界真的有魔镜。智能手机厂家在摄像头上找到了让年轻人追捧的”财富密码“。
后摄从双摄向多摄迅速,实现暗光(夜景)+防抖+广角+HDR+虚化+长焦+变焦+微距+3D深度相机等多种组合功能,还能实现光学变焦和和景深拍摄等。用于自拍的前摄也有双摄了!
借助AI技术,美白瘦脸大眼瘦身长腿,大老爷们甚至可以变装为女人,也实现了智能场景拍摄和不知真假的“P月”。
图注:小视频里,阿纯通过AI成为小美女
扫码支付实现了“无纸支付”,普及到了即使最偏远的乡间。我的钱包比脸还干净,再找不到破开十元/百元后拿回一堆零钞的快感了。
人类历史上第一次有了通过手机直播的战争,影响了老百姓,反过来对战争又有影响。
今天讲述的CMOS图像传感器(简称CIS)芯片便是手机摄像头成像技术的核心。
图注:一颗CIS芯片
图注:手机摄像头模组CCM (Camera Compact Module)结构(OPPO)
图注:iPhone 14 Pro Max的摄像头模组 (源:PBK REVIEWS)
值得骄傲的是,CIS诞生和发展的三十多年里,来自中国的科技工作者们前赴后继,做出了最为关键的贡献。这是一个很长的故事,里面有矢志不渝的坚守,有精诚合作的团队,有惊心动魄的瞬间,也有千载难逢的机缘。
故事发生在爱丁堡大学(1987-95年,东大访问学者王国裕和陆明莹伉俪为最关键研发人员,VVL为意法ST收购),在硅谷(1995年,上交大55届洪筱英创办豪威科技(Omnivision),一些清华留学生合伙创业,为韦尔收购),在西安(1995年,王国裕归国创业,努力至今),在上海(格科微GalaxyCore赵立新、思特威SmartSens徐辰、芯视达CISTA杜峥等创业者们)......
CIS是一颗可以在中国大陆独立发展的芯片,因为都是基于成熟制程(区别于先进制程)。2020年,国际分析机Yole曾指出,中国大陆或有希望首先在CIS领域实现技术独立。2021年,Yole继续指出:China becomes an image sensor land。
如果按数量计算,中国大陆已经排名第一。2020年,全球生产了70亿颗CIS,,七成用于手机。2021年出货13.亿支智能手机,每支配多个摄像头,大家调侃为“浴霸、莲蓬头、花洒、蜂窝煤、麻将牌”,还怕有“密集恐怖症”,连儿童手表也没被摄像头放过。
图注:网友调侃摄像头是麻将牌
传统光学巨头和中国手机厂家合作。徕卡先后和华为、小米(首推上亿像素)合作,OPPO旗下一加携手哈苏,蔡司从与诺基亚合作转向和VIVO合作。他们主要是调校系统。
2020年,CIS市场总金额为207亿美元,2021年为213亿美元。
图注: CIS份额(按金额算)(源:YOLE)
全文1.4万字,长文慎入。
第一章、胶片相机从繁荣到没落
肖像画历史久远,画工毛延寿故意不画出王昭君之美。
1839年8月19日法国画家路易·达盖尔发明了世界上第一台真正的照相机。清末,照相机进入了中国大地。
图注:电影《黄飞鸿》中的十三姨和她的宝贝相机
80年代,我们兄弟俩还在读小学时,父亲任教的九都山学校组织看岳阳楼,这是我们第一次出远门,感受这“浩浩荡荡,横无际涯“。有位小戴老师有相机(海鸥或凤凰),还会暗室冲洗照片。少年的我甚是羡慕,也梦想有个相机,但不知道“何年何月能得偿所望”(星爷鹿鼎记台词)。
图注:岳阳楼黑白仰拍
上世纪末参加工作后,我梦想成真,买过国货,也买过奥林巴斯。不过,胶卷相机的没落也进入了倒计时,有道是:夕阳无限好,只是近黄昏。2003年的最高峰,全球卖出了近十亿个胶卷,从此开始走下坡路,直到归于尘埃。
如今,富士胶卷奇迹般成功地转型医疗材料厂家,柯达胶卷在 2012 年申请破产重组,在新冠疫情中传说获得美国政府贷款进入制药行业。柯达居然还是第一个发明数码相机的厂家,令人不胜唏嘘。
可以马上出照片的“立拍得”还有一些市场,但因为照片品质不高,也就和玩具无异了。
第二章:美国发明CCD和数码相机,日本发扬光大
1、贝尔实验室发明CCD,获得诺贝尔奖
1948年,贝尔实验室(现Nokia Bell Labs)发明了晶体管。1954年,东通工(索尼前身)学习到该技术,并在收音机上发扬光大。这样的故事在CCD上重演了。
1969年,贝尔实验室里发明了电荷耦合元件(Charge-coupled Device,简称 CCD)的发明。CCD作为半导体固态图像传感器,是将“光”的信息转换成“电”的信息的魔术师,实现了用电子捕获光线(光可被电子化捕捉)。两位美国科学家Willard S. Boyle和George E. Smith获得了2009年度的诺贝尔物理学奖。
图注:戴辉于诺基亚贝尔实验室拍摄的原始CCD芯片
2、美国柯达率先做出数码相机
1973年,美国硅谷的Fairchild(仙童科技)制成了商用CCD图像传感器,标志着CCD从实验室走向市场,进入了实用阶段。
图注: 美国仙童科技第一枚商用CCD(1万像素)
1975 年,柯达公司的工程师史蒂文•塞尚(Steven Sasson)使用上述仙童公司(Fairchild)的CCD 元件以及柯达零件仓中的零件,制造了一个 8 磅重的设备,而该设备可提供 1万像素的黑白图像。这是第一部数码相机,取代了只能使用传统底片摄影的功能,开启了影像产品的数字时代。遗憾的是,柯达担心新技术会颠覆其强大的胶卷产业,技术跟进不力。手握着一把好牌,打没了。
图注:柯达发明数码相机
3、日本投入巨大,发扬光大
1973年,索尼的越智成之实现用64像素画了一个粗糙的“S”。曾任索尼的美国分社长、时任索尼公司副社长兼索尼中央研究所的所长岩间慧眼识英雄。1973年11月,CCD立项,成立了以越智为中心的开发团队。巨大投入之后,1978年3月制造出了支持11万像素的芯片。1981年,索尼推出了马维卡(MAVICA)相机,它成为全球第一台向市场发布的数码相机,其传感器的像素达到28万左右。1985年1月,索尼诞生了第一台CCD便携式摄像机M8,这是当时世界上重量最轻的只录摄像机,重量不到1KG。真是漫漫长途啊!
日本的各大公司把握技术革新的时机,占领了数码相机市场,创造出各种品牌数码相机和摄影机。
CCD的生产工艺复杂,只有索尼、富士、柯达、飞利浦、松下和夏普6家厂商可以批量生产,基本上都在日本。索尼累计生产量超越1亿片以上,以50%的市场占有率成为领导厂商。这个数字在当年很了不起,因为数码相机的普及率并不高。
4、数码相机和DV从繁华到没落
进入新世纪后,数码相机浪潮兴起了。我在2001年首次使用奥林巴斯数码相机。之后购入了索尼Cybershot,甚至还有了一幅获奖摄影作品。
图注:夕阳下的船 戴辉04年摄于巴厘岛
2009年之前,先后购入日本JVC的DV(磁带存储)、韩国三星DV(光盘存储)及佳能单反,本准备大展宏图拍点传世佳作,没承想这却成了最后的疯狂。
技术的剧烈变革真是触目惊心。2017年10月,尼康位于无锡的数码相机工厂宣布关闭;2018年5月,奥林巴斯深圳工厂关闭;2022年1月,佳能位于珠海的相机工厂关闭。
值得一提的是,光学巨头奥林巴斯业务目前的八成收入来自医疗设备(内窥镜),瘦死的骆驼比马大。
现在的智能手机,拍照和拍视频很方便,下至幼童上至花甲老人,都玩得很溜。我的DV和单反就一直在床底下蒙尘了,直到再也无法开机。
换个角度来看,被智能手机碾压了的电子产品又何止只有它们?辉煌数十载的日本消费电子品牌们从此没落。
第三章:爱丁堡单片CIS开创了新时代,中国学者伉俪是主要设计者
1、为什么要发展CMOS技术
CMOS(互补金属氧化物半导体Complementary Metal Oxide Semiconductor)目前是世界上最主流的芯片技术路线,CPU、GPU、手机处理器等都广泛采用这个工艺。CMOS工艺跟随着摩尔定律发展,集成度越来越高(如7纳米、5纳米),功耗也越来越低,也可做模数混合。
单片集成是CMOS图像传感器最牛逼的地方。图像传感与图像采集、模数转换、信号处理等后续功能集成实现在单颗芯片上(片上系统SoC),因此数码镜头可以做得体积小、功耗低、成像快、价格便宜。上亿像素的手机已经比比皆是,最近看到居然有两亿像素了。
图注:CCD则输出模拟信号供后续处理,CMOS传感器可直接输出处理后的数据(源:COVENTOR)
图注:CMOS图像传感器单片集成电路(ASIC)示意图
随着机器视觉系统从传统板级式向小型智能系统的发展,CMOS图像传感器(简称CIS)替代了CCD成了最后的大赢家。
早在2006年,曾在索尼从事研发工作的米本和也在所着《CCD/CMOS图像传感器基础与应用》一书的引言中写得很清楚:到 90 年代初,CCD 技术已比较成熟,得到非常广泛的应用。但是随着 CCD 应用范围的扩大,其缺点逐渐暴露出来。首先,CCD 技术芯片技术工艺复杂,不能与标准工艺兼容。其次,CCD 技术芯片需要的功耗大,因此 CCD 技术芯片价格昂贵且使用不便。目前,最引人注目,最有发展潜力的是采用标准的CMOS技术来生产图像传感器,即 CMOS 图像传感器。CMOS 图像传感器芯片采用了 CMOS 工艺,可将图像采集单元和信号处理单元集成到同一块芯片上。由于具有上述特点,它适合大规模批量生产,适用于要求小尺寸、低价格、摄像质量无过高要求的应用,如保安用小型和微型相机、手机、计算机网络视频会议系统、无线手持式视频会议系统、条形码扫描器、传真机、玩具、生物显微计数、某些车用摄像系统等大量商用领域。20 世纪 80 年代,英国爱丁堡大学成功地制造出了世界上第一块单片 CMOS 图像传感器件(备注:ASIC IMAGE SENSOR)。目前,CMOS 图像传感器正在得到广泛的应用,具有很强的市场竞争力和广阔的发展前景。
图注:图像传感发展历程中1990年爱丁堡单片ASIC是关键转折
从CCD图像传感器到CMOS图像传感器(CIS)的关键一跳感觉好像不远,但其实并不容易,正如那金沙江(长江上游)的虎跳峡。我曾在那里徒步几日,若不小心,就可能掉下悬崖。
2、爱丁堡大学开辟CIS新时代,荣获兰克奖
20世纪80年代末,数码相机高达数千美元一台,日本电子业雄霸天下。欧美想逆袭,唯有图谋“弯道超车”。
1989 年,英国爱丁堡大学的Peter Denyer教授、David Renshaw博士,和当时在爱丁堡大学做科研的王国裕和陆明莹联袂发表了一篇论文,报道了CMOS 图像传感器(CIS)的工作。1990年底,芯片流片成功,随后成功演示了世界上第一台单芯片 CMOS 摄像机,从此开创了一个新世界。
图注:爱丁堡大学网(css.eng.ed.ac.uk/history)
爱丁堡大学之后,才有了后来美国、日本、中国跟进的研究和产业行为。
2008年2月4日举行的兰克奖(Rank Prize)颁奖仪式上,四位科研人员因为CMOS图像传感器上的重大贡献而获此殊荣。
图注:左二王国裕、左三、陆明莹、右三Peter Denyer、右二David Renshaw
The Rank Prize是面向世界的光电子和生命科学领域的顶级的科学奖,杂交水稻之父袁隆平和光纤通信之父高锟先生曾获得。
图注:获奖事迹介绍
3、王国裕和陆明莹的国内学习和工作生涯
科技老兵戴辉辗转联系上了王国裕教授,了解到了一个LONG STORY,请听我细细讲起。
王国裕于77年冬天恢复高考后以优异成绩从泰州(当时还属于扬州)考入东南大学(注:1988年以前名为南京工学院)电子工程系半导体与集成电路设计与制造专业(63771班),他的嫡亲兄长于WG前考上了清华大学电机系。陆明莹于南京同期考入,她的父亲是毕业于原民国中央大学和密歇根大学的陆钟祚教授,抗战期间,陆钟祚研制并生产的3000瓦归航机和参与研制并生产的400瓦地-空对讲机均成功地用于中国空军的对日作战。
出生于同年同月(1954年5月)的他们入学时已然24岁了,两人因成绩并驾齐驱而”惺惺相惜“,发展出”地下恋情“。1982年毕业之后,王国裕以优异成绩考上了清华大学微电子所的研究生,陆明莹则在东大继续读研。期间在陆家举行了简单的婚礼,证婚人是钱钟韩(钱钟书堂兄弟)。
84年,双双在东大任青年教师。紧随世界潮流,他们是国内最早一批使用EDA进行集成电路正向设计仿真和推广的科研工作者,王国裕还应邀赴908项目之无锡华晶集团做学术报告。1988年,东南大学出版社出版了他们所著的《SPICE-II通用电路分析程序使用方法及其应用》,这是国内第一部系统介绍EDA应用的书籍,影响了一代芯片设计人。
改革开放后,中国半导体科研界一步到位和国际接轨。王国裕在东大的本科毕业设计就是一颗成功工作的小规模集成电路。研究生就读的清华大学微电子学研究所里有一条集成电路工艺线。王国裕采用SPICE进行正向设计和仿真,并流片得到了运算放大器样品,将“纸上谈兵”变成了完整的实践,后来发表了论文《MOS模拟集成电路的噪声分析和低噪声设计》,老师则有南德恒、李志坚、杨之廉等教授。
特别值得一提的是,王国裕在东大和清华,还有特别威水的地方,那就是各创立了一支管弦乐队,并担任指挥。
图注:王国裕担任黄河大合唱指挥
图注:王国裕和指挥家中央乐团严良堃
插叙一下,科技老兵戴辉曾经也是文艺积极分子,在中山大学担任研究生艺术团团长(兼跑龙套),还去华南理工演出过。
图注:穿越剧之“杜十娘流落到民国”,右一导演陈进
4、中国伉俪加盟爱丁堡团队,选择CIS方向奋斗
在教育部“中英奖学金计划”安排下,王国裕得以在87年11月作为东大访问学者来到了爱丁堡大学。加盟的团队有两位学术领头人,大老板Peter Denyer教授和二老板David Renshaw博士。访问学者没有什么具体任务,比较自由。王国裕把所有课题捋了一遍,选择了CMOS 图像传感器件的项目。这是一个探索性的课题,做过一些零星的研究,但尚未有任何进展和结论。据说日立尝试用CMOS工艺来做但未能做不出来,以至于有一种结论是CMOS工艺不适合做成像器件,必须采用CCD工艺来做。王国裕接手后,一个一个问题进行分析和实验,感觉有希望突破,这让大家都兴奋不已。1989年,陆明莹作为东大访问学者也来到了这里。
这个芯片极具挑战性,设计过程是千难万难,团队四个人三天两头在一起讨论。四个人是天作之合,再难的问题通过讨论总有解决方案。这样的组合和互补作用工作起来特别顺畅,是一次难得的团队协作。大老板挂帅,经常提出有见地的意见,在需要权衡取舍的时候,往往是他一锤定音。二老板是黏合剂和预备队。在设计曝光控制电路时,一度曾卡住,王国裕和二老板苦思冥想数日,一天早晨不约而同地提出解决方案,思路居然一致,所画的电路草图也雷同,真有点不可思议,那天大家都异常兴奋,喜悦难以言表。王国裕是芯片主设计,承担了芯片主要部分如成像阵列和片上放大器的设计,提高放大性能是最关键的任务。王国裕有着特殊的艺术感觉和严谨的工作态度,在东大打下的坚实基础和在清华使用SPICE的经验,都起了很大的作用。数字控制和全电视信号产生部分则是陆明莹完成的,她在算法方面有丰富经验,之前设计电子琴芯片的经验和技巧也派上了大用场。
图注:陆明莹在爱丁堡实验室的工作场景
5、惊心动魄的“搭桥手术”
王国裕回忆了这个故事。
“90年底是一个寒冷的冬季,第一个芯片终于流片回来了,初步测试一下居然没有任何反应,手掌对着芯片移动,输出波形却纹丝不动,就是说这颗芯片是死的。
”对于大家热切的期望,这无疑是当头一盆凉水,我把自己关在一个房间思考,终于想出来一个地方可能错了,某一信号可能反了。赶快打开工作站,找到这一部分版图检查,果然是也。问题找到了,怎样解决呢,总不至于再去流一次片吧,可否在芯片上修复?我们联想到剑桥大学也许可以做这件事。东大的同学崔铮博士当时在剑桥大学做访问学者,几个月前我们去看望他时闲聊到他们有一个新设备,可以做微小尺寸的割断和搭桥,当时并未在意,此刻在这个特殊情况下突然想起来,这是唯一的快速修复芯片错误的办法。当即联系崔铮,立即赶往剑桥,在火车上构思了割断和搭桥的方案,当时并没有成功案例可供参考,他们实验室之前没有做过这样的事情。他们很协助、很帮忙,先割断错误的电路连接,再搭桥实施正确的逻辑功能,相当于对芯片做了一次“搭桥手术”。做完后在现场用示波器做了初步测试,那个波形随着手掌的移动又跳舞了,说明芯片“活”了。暴风雪中,我坐出租车下半夜回到爱丁堡,稍事休息,天亮便去学校。后面的测试便顺风顺水,一气呵成,芯片测试板终于调出了清晰的视频图像,在显示器终端上实时播放,这就构成了最初的CMOS成像演示系统。
“就这样,在这个寒冬,爱丁堡大学研究成功了黑白CMOS单片图像传感器,为256X256(约5万)像素,这是全球首创,引发了热切关注,到实验室来观看实验的人络绎不绝。”
6、引发科研界与媒体剧烈反响
在巴黎举行的欧洲学术会议Euro ASIC 91上,作为主设计师的年轻的中国学者王国裕上台做了学术报告,首次报告了爱丁堡大学的重大技术突破:世界上第一个成功的单片CIS芯片,引起了代表们极大关注,该芯片荣获了这个会议的“最佳电路奖”。
图注:第一颗CIS芯片、91年度的”最佳电路奖“、媒体报道
媒体期待未来有20英镑的数码照相机,并认为会冲击日本电子产品,没想到”一语成谶“。有关创新被后来所有的CMOS摄像芯片沿用和不断更新,并申请了国际专利:“Solid State Image Device”。
无独有偶,王国裕1991年9月撰写的另一篇论文《芯片自动曝光控制技术》获欧洲集成电路年会(ESSCIRC 91)授予的“最佳论文奖”。一个国际学术会议一般只评选一篇获奖论文,他们的论文连续两次获奖,说明了当时学术界的高度评价。自动曝光控制对CMOS成像芯片的广泛应用非常重要,是必须具备的一个功能,是他们首次实现并报告的,其技术上的实现亦有新意,把数字扫描与控制算法巧妙地结合起来,这个算法带动了后来的一系列控制功能的开发,如“白平衡”…. 最终我们看到了现在手机照相那么简便,有很多的编辑功能供用户选用。
7、英国VVL公司大发展,中国人为核心研发人员
1990 年,在大学和风险投资的支持下,爱丁堡大学成立了大学衍生公司 VLSI Vision (VVL),以销售单芯片摄像机设备并开发基于该技术的一系列新型成像设备。
王国裕担任了VVL公司的VLSI设计部经理,1990-1994年间在英国共主持设计成功了8个摄像芯片。1993年3月,设计研发的“单片COMS摄像器件”获苏格兰政府授予的“苏格兰政府奖”,这是一颗彩色CMOS芯片(单片集成电路)。
为寻求晶圆厂代工伙伴的支持,他前往台积电欧洲总部进行汇报。之后台积电启动了CIS项目。
东南大学校长韦钰访问了爱丁堡大学,和他们亲切交流。韦钰的导师就是陆钟祚教授。韦校长平易近人,94年我们班拍毕业照时,她已升任教育部副部长。我们系是她创办的,因此沾光,我们班毕业拍照时,她坐一排正中。
VVL成功上市,并于1998年为意法半导体(ST Microelectronics)所收购,成立了该公司的新成像部门,以应对新兴的手机摄像头大众市场。
8、后注:CMOS成为主流的硅基芯片工艺的过程中,有挺多故事
1976年,中国台湾工研院与美国RCA公司签订《CMOS集成电路技术移转授权合约》,第一块芯片是电子表芯片,从此开始了中国台湾的芯片事业,以至于今天到达世界之巅。1981年,IBM定义PC规格采用的INTEL8086就是用CMOS工艺。1982年 IBM的“Cheetah”原本计划使用Bipolar ECL(逻辑发射极耦合逻辑电路emitter coupled logic)工艺 ,在1984年采用了CMOS技术,IBM的POWER CPU系列也大发展。2006年底,锐迪科微电子推出采用中芯国际 RF CMOS 工艺的FM收音机集成芯片,模数混合,火爆一时,一度成山寨GSM手机标配。2013-14年,卓胜微用台积电的RF-CMOS工艺做GPS低噪放,也是从山寨机起家。ODM公司(如华勤)可以带动很多国产小芯片的验证应用。
第四章、硅谷豪威受爱丁堡影响而创商业奇迹
1、豪威以爱丁堡的VVL公司为榜样建立,目标市场是“电脑眼”
1995年的硅谷,一片欣欣向荣。
移动互联网兴起,PC产业迎来了高速发展的伟大动力。1992年,美国总统候选人比尔·克林顿提出建设信息高速公路,1993年它成为美国政府的建设计划。1995年,中国CERNET(中国教育科研网开通),我们作为最早的中国网民,在中大的实验室里用惠普PC兴奋地上网冲浪,不小心连上了PLAYBOY。九十年代,以兼容PC为核心的电子产业快速发展,电脑城”攒机“是很多人共同的经历,来自中国台湾的主板很有名。
美国硅谷和中国台湾都涌现出了华人芯片创业潮。英伟达成立于93年做PC显卡,MARVELL成立于95年,做硬盘控制芯片。世界十大设计企业之四的联发科(MediaTek)、联咏(Novatek)、瑞昱(Realtek)和奇景(Himax)也都是依赖中国台湾的PC相关产业起家的。
洪筱英(上交大55届)和吴日正(毕业自中国台湾中原大学)从80年开始就是摩托罗拉芯片业务(飞思卡尔)的好同事。Raymond Wu要小17岁,一直称Shaw Hong为“老板”。有一个说法是:两人相处的时间大概比许多夫妻在一起的时间都长。
图注:低调洪筱英在网上唯一的照片
95年,两人结束了第一家联手创办的计算机应用芯片组公司HK Technology。创业未成功,但他们并未丧气,在思索着下一步,要能看到三五年之后的趋势。此时无论是CPU(中央处理器)、存储器,甚至是计算机周边产品都在飞速地进步,若计算机是一个“人”,那么“他”已是四肢健全,头脑灵敏,但独缺眼睛,它看不到外面的东西。没错,技术高、成本低的影像感应器单晶片便成了豪威要走的路,要让产品有好的“眼睛”。创办豪威时,最被质疑的是:“市场在那里?”而他们的答案总是:“我们要创造市场(create market),而不是替代日系的CCD市场(replace market)。”
OmniVision豪威起家的股东就来自中国台湾,陈大同介绍过这个故事:“入伙”之后,另一个Co-Founder,中国台湾来美的 Raymond Wu(注:吴日正),悄悄向俺吐露了一个惊天秘密:公司的启动资金是他“连蒙带骗”来的!当时,全世界只有一家英国创业公司(VVL)在研发CIS。Raymond神通广大,不知从哪儿拿到了他们的工程样品,然后擦去公司印记, 就冒充成了俺们OV公司的“研发样品”。这种“样品” 当然不敢在硅谷露面,于是,Raymond带着它回到台湾, 四处演示。最终,通过一个大学同学,认识了和成陶瓷 HCG(卫生陶瓷厂商)邱家的二少东,Stanley Chui。估计 人家也是马桶做腻了,在Raymond的鼓动下,想玩玩高科技,于是投资200万美元,成立了OmniVision。得知真相, 俺惊出一身冷汗,这上的是哪一条“贼船”呀!但上船容易下船难,还得硬着头皮往下干。来自中国台湾的富鑫、和通等科技创投基金、电脑品牌厂宏碁也陆续投资了豪威。华虹也进行了投资。
2、中国留美学生们一起努力奋斗
豪威的工程师团队里面80%是华人,华人里面80%是留学生,团队创造性极强,干活非常玩命。清华大学微电子所毕业生陈大同作为联合创始人加盟了这家公司,还有何新平、刘军、杨洪利、董其等清华人加入。东大系留学生杜峥等人也加入了。第一件事情就是看论文。
单记章回忆:印象最深的就是在最后测试代码的时候,公司创始人洪筱英先生就坐在我的身后,紧紧盯着电脑的屏幕,洪先生50多岁开始创业,跟我现在创业(注:黑芝麻)时的岁数相当,身上的压力很大,但我无暇感到紧张,因为一旦开始做事,就会全神投入,最后看到结果顺利,洪先生才终于松了一口气。
96年开始,全球有二三十家公司进入这个领域,不乏世界级芯片巨头。
1997年,豪威推出首颗芯片(ASIC),并开始用于电脑眼。
豪威科技成立5年后,尽管一直亏损,但还是于2000年登陆纳斯达克,这就是美国资本市场的魅力。
图注:作者戴辉于豪威LOGO前
3、2001年,京瓷采用OV6630
2001年,日本京瓷的手机照相机附件”the Treva“上,豪威OV6630 CIF芯片得到了应用,11万像素。随后,OV6630也进入了京瓷照相手机。
图注:照相机附件连接手机使用并存储在手机里
2002年,豪威来到中国大陆,到上海松江建立模组厂,洁净车间是食堂改造的,测试则是依靠人工。生产的模组最早是提供给摩托罗拉手机使用。
4、2009年,豪威进入苹果,图片质量接近数码相机
从2007年乔布斯发布智能手机(采用美光2百万像素CIS)开始,苹果就举行年度摄影比赛。
2009年发布的iPhone 3GS采用 豪威的320万像素CIS,还有一个可以自动聚焦的镜头。手机可以拍视频啦,每秒30帧,VGA分辨率(640-by-480 resolution)。
2009年,豪威和台积电合作的BSI(背面照度技术)制程产品成功量产,2010年获得了iPhone 4采用。当年发布的iPhone 4(采用豪威500万像素CIS)的画质相当让人感到满意。记得深南大路上的一溜公交车站广告牌都是美轮美奂的大幅照片,下面写着:“Shot on iPhone”。还加入了前置摄像头,启用FaceTime视频通话功能,这是一个苹果自己的解决方案,而不是当时的3G视频通话标准。
图注:iPhone 4的显示和照相都不错
iPhone 4是一代神机,很多水客从香港带货到深圳。
豪威也一度最高拿下全球50%+的份额,索尼仅7%。豪威也一跃成为了台积电前十大客户之一。
5、索尼和三星受刺激而异军突起
CMOS的大火,让索尼觉得死守CCD肯定不行了,于是也在CMOS芯片加大投入, 并进入苹果,应用在iPhone 4s上,从此索尼崛起。索尼最后使用CCD的消费电子产品是2010年推出的A390数码单反。索尼在2017年3月前逐渐停产CCD传感器,最后一次发货时间为2020年。索尼将全部精力投入到CMOS图像传感器研发当中,退居幕后成为CMOS图像传感器芯片巨头,以至于每年的绝大部分利润皆来自这里。
三星凭借其手机和芯片制造的强大实力,其CIS也随后迅速发展了起来。
第五章、1995年,王国裕归国创业至今
花开两朵,各表一枝。
1、王国裕来到西安创业做CIS,归国创业先锋
1995年初,王国裕归国来到西安交通大学任教授,同时担任西安开元微电子科技有限公司总经理,董事长则由开元集团派任。他很可能是改革开放之后,最早从海外归国创业设计芯片的人。
差不多时候归国的魏少军是王国裕在微电子所的同学,硕士毕业后于85年赴比利时从事芯片设计与科研。95年10月归国加入电信科学技术研究院创立集成电路中心,从研发SIM卡出发,后成为大唐微电子。魏少军目前是清华大学微电子所所长。
1997年,王国裕领衔开发出512X512 彩色CMOS图像传感器,这个进度和英国VVL同步,早于硅谷豪威。作为中国大陆第一个单片CIS,里程碑贡献记录进入了中国集成电路编年史。
百度百科介绍,王国裕开发了国内第一个单片CMOS摄像芯片、国际上第一个高分辨率CMOS摄像芯片(40万像素)、国内第一个同时带有全电视信号输出和数字信号输出的单片CMOS摄像芯片、国内第一个单片CMOS彩色摄像芯片。并以单片CMOS摄像芯片为核心,开发出国内第一个微型摄像头(曾在公交车上大量使用)和国内第一个电脑眼。
2000年,王国裕遇到了无法逾越的门槛。原有的计算机工作站和“指南针”EDA软件由于2000年“时间窗”的问题都不能正常工作了。此外,随着集成电路工艺不断进展,美国公司的几个主流EDA软件已经脱颖而出,原有的“指南针”EDA已经落后。更新这些软硬件需要数千万元。上海华虹(时任电子部部长胡启立兼任华虹集团董事长)愿接盘,但和母公司开元集团没有谈拢。因研发难以为继,王国裕不得不辞去开元微电子总经理职务,专心西安交通大学的教学工作,为中国芯片事业培养学生。“开元”作为知名芯片品牌也后继有人,西交大校友贾斌创立了开元通信研发滤波器等射频器件。
当年中国尚没有对集成电路进行大额风险投资的基金,而芯片又很烧钱,因此这样的结局现在看来是难以避免的。
2、国家成立7个集成电路设计产业化基地
在王国裕等先行之士的大力呼吁下,2001年12月29日科技部批准在上海、北京、西安、无锡、成都、杭州、深圳7个城市批准了国家集成电路设计产业化基地。各基地建立具有一定基础的IC设计技术服务平台,包括EDA工具、MPW流片、IP开发和复用、测试验证、SoC设计服务、人才培养、创新应用推广等服务。
我听过这段故事。深圳基地首任主任张克科(武大人)回忆:深圳是最晚批复但最先推出全方位服务的基地。深圳基地和当年技术领先的香港科技园联系,签署了7(个基地)+1(香港)的战略合作协议,周斌(东大)从深圳最早的独立芯片企业国微调出来服务诸多设计企业。
3、重新出发做音视频芯片,努力至今
就是在2003年,陆明莹和王国裕自行出资创立西安西芯微电子有限公司,再次出发,研发DAB/DMB+多媒体音视频芯片,06-07年曾大量英国电商Argos销售,成为“一代拳王”(爆品)。
图注:曾大量在英国电商Argos销售的DAB收音机
2004年,他们一同来到重庆邮电大学,专注于芯片设计方法研究和创新技术。又是”十年磨一剑”,他们探索了一种全新的数字系统芯片设计方法,开发了又一重大原创基础性技术,在世界上首次提出并定义DMB+。这个成果具备原始创新、核心技术、核心芯片和市场应用前景等诸多产业要素,技术已成熟,亦已有成功示范应用,正在和合作方一起做相关行业的规模推广。他一直在努力。
第六章、2003年格科微创立,因山寨机而火爆
本世纪初,因为国家鼓励芯片设计行业的发展,有了一个海外归国创业的小高潮。
1、赵立新从硅谷归国,”忽悠“中学同学投资
赵立新是我所读的南县一中学长,黄慈和、熊有廉是我们共同的老师。南县是小地方,人和人之间沾亲带故,算起来我们还是远房亲戚。1990年,我填写大学志愿的时候,专程向他请教,当时他正在他父亲的作坊里干活打暑期工。也正是在那一年,他从清华本科毕业后进入本校微电子所读研究生,比王国裕(82年进入)要晚8年。
赵立新在斯坦福大学图书馆了研究了500天,每天学习十几个小时,看了很多论文,确定CIS是最合适的方向。每天结束时,会买一个冰淇淋犒劳自己。
2003年9月,赵立新从美国回来经过深圳,从中学同班同学夏风那里忽悠来了200万美元。赵立新肯定听过豪威的故事,所以故意将芯片创业说得很轻松,就像“喝蛋汤”(老家方言)一样。
随后,赵立新在上海集成电路基地所在的张江创立了格科微(GalaxyCore)做CIS,最初也是瞄准了PC市场。
他遇到了一个好机遇。中芯国际想做CIS的代工,因此和格科微一起干,格科微提供技术,中芯国际出研发费用。
2、为山寨机提供超高性价比产品
2006年,华强北GSM山寨机爆发,一些手机采用廉价的CMOS(互补金属氧化物半导体)技术提供内置照相机,全世界无数老百姓有了人生的第一张数码照片。
传音手机针对非洲人黑皮肤拍照难这一问题,专门研发了新的拍照算法,即使在晚上自拍,也不会出现看不清自己的情况。
2006年开始,山寨GSM手机市场爆发。格科微提供了超高性价比的芯片,最低可至10万像素,只有几毛钱美金一颗,配合独创的低价COM模组工艺,几乎成了低价山寨机的标配。
远在硅谷的豪威也注意到了这个机会,利用美国上市带来的资金优势,给了同行一个“下马威”。赵立新回忆:“当时在深圳,他们(豪威)把自己库存的产品按斤来卖!” 这个举措搞得格科微账上一度只剩下200元,后幸运地获得风险投资后渡过难关。
早年没有自动化夹具和AI视觉检测手段,格科微招聘了很多年轻女工手工检测成像质量。同学黄诚和陈伯友都去观摩过,感慨于这“劳动密集型”芯片测试工厂。后来在嘉兴落成高度自动化测试工厂。
3、CIS成为中芯国际和广东粤芯的第一个海量产品
连续数年,格科微是中芯国际第一大客户,CIS也成了中芯国际第一个海量产品。目前,如果按发货量口径算,格科微全球排第一,不过,如果按金额算,那就不同了。
后起之秀广东粤芯一度七成产能是为格科微代工200万像素CIS。格科微也曾在华虹投片。格科微的BSI技术早期和三星联合推出。
格科微上市后,在上海临港建立了自己的12英寸晶圆厂,所谓”FAB-LITE“模式。
图注:上海临港滴水湖 作者戴辉摄
3、GSM是中国芯片急剧发展的最宝贵机缘
世界上做大了芯片产业的国家并没有几个,需要宝贵的机缘。
众所周知,PC的ODM产业带动了中国台湾的芯片设计产业的崛起。
无独有偶,中国大陆也遇到了伟大的契机——GSM。在04年,3G干死2G(正如2G干死大哥大)的说法压倒一切。科技老兵戴辉依据深刻理解,坚持推广GSM,孤身拓展出菲律宾马尼拉整网替换项目,这是全球第一个超级大都市的替换项目。之后,全球GSM迅速发展,山寨GSM手机浪潮也随之兴起。ODM企业(如华勤、闻泰、龙旗等)大量生产公板(类似电脑),在导入和验证国内芯片上起到了关键作用。
现在和未来,智能手机的爆发,进一步带动了很多颗大陆芯片的蓬勃发展,并屹立于世界强手之林!
第七章、中国CIS产业生态群体崛起
1、CIS芯片群体崛起
2015年,豪威为中资以19亿美元的现金价格收购,2018-19年为韦尔科技所收购,CEO虞仁荣和格科微赵立新是清华大学的同班同学。
思特威徐辰、芯视达杜峥都曾在豪威工作,都在国内做CIS,服务手机、安防、汽车等领域。
图注:芯视达CEO杜峥和作者戴辉
2、供应链群体崛起
晶圆制造上,CIS采用的都是成熟制程,并不是常规意义上的先进制程(14纳米以内),因此在中国大陆完全可以量产。CIS以前是0.8微米(800纳米)线宽做的,后来是0.5、0.3、0.18微米、90纳米线宽,格科微报道称基于55nm的工艺平台已进入量产状态,索尼和豪威则有报道称最多采用45纳米和55纳米等制程工艺。有报道称,三星的堆栈式结构中,上层传感器主要采用65纳米制程,下层逻辑电路则采用28纳米和65纳米。CIS有“前照式(FSI)”、“背照式(BSI)”、“堆栈式Stacked BSI”等不同种类。
封装上,普遍采用了WLCSP先进封装工艺,大陆封装企业纷纷上了档次!
内置的摄像头模组(CCM)大部分都是在中国制造的。三星本来转移到了越南,现又将很多订单交给国内的ODM公司(如华勤)。
谁笑到最后,谁笑得最好!
3、CIS在专业场景大量应用
CMOS图像传感器(CIS)在汽车智能驾驶、安防(视频监控,包括家居安防)、医疗(如肠胃镜)、工业(如机器视觉和机器人)、宇航(如望远镜)、无人机航拍、远程教育等众多领域获得了很多应用。
工业领域的机器视觉应用非常广。
明锐理想的AOI(自动光学检测)设备本质上是一个直角坐标机器人,基于工业相机在高速运动下拍下很多照片,从而实现对芯片封装、CMOS摄像头模组(CCM)、智能手机电路板一条龙的自动视觉检测。还有响亮的SLOGON:“明于心,锐于眼”。
CEO冀运景告诉我,最近几年,采用CMOS传感技术的高性能工业相机已经是绝对主流了,处理速度非常快,成像质量也令人满意。速度是关键:With CCD sensors (left) the charge is shifted pixel by pixel, in the CMOS sensor the charge of each pixel is directly converted to a voltage and read – making it noticeably faster.
图注:CMOS的成像速度比CCD快很多(源:BASLER)
医学检测也广泛使用。
去年,我在长沙做肠镜检查和割息肉,我因为是学医电(BME)出身,所以没有打麻药,饶有趣味地看着屏幕里的”曲径通幽“。如今我也是文人,也想能和写”屎尿屁“的贾浅浅一样地火,所以直接上”干货“!
图注:肠镜检查图 作者戴辉摄
作者戴辉:独立电子科技史研究者,文章累计阅读量上亿,已出版《华为通信科技史话》(人民邮电出版社),将出版《中国电子和芯片史话》。
参考资料:
CMOS Image Sensors (CIS): Past, Present & Future by Sofiane Guissi https://www.coventor.com
The Development of CMOS Image Sensors https://www.azom.com/
手机摄像头持续创新,多方位支撑技术升级 刘亿
CCD/CMOS图像传感器基础与应用〔日〕米本和也着
摄影知识必备!图像传感器百年发展史 与光
数字成像和图像传感器的发展史 FORZA
Inside the Nobel Prize: How a CCD Works https://www.wired.com/
CMOS浮沉:从双雄缠斗到国产替代 李健华
豪威创造「计算机之眼」出头天 P.90
这家在兴柜8年IC设计公司终于要上市 为何最高兴的是黄崇仁?信传媒
上海滩无线和芯片30年史|老兵戴辉
索尼CMOS图像传感器十年奋斗史 上方文Q
谢幕!奥林巴斯84年的相机历史终结 托尼
数字摄影半世纪:像素改变世界 守候微光
三星高端CIS产能吃紧 华米OV集体焦虑 张轶群
被手机摄像头改变的世界 卫夕指北
中国CIS兵团的崛起 李晨光
芯人物:赵立新、陈大同、单记章
对战卡片机 iPhone4背照式CMOS功能揭秘 太平洋电脑网
王国裕:芯片世界写精彩 清华大学官网
东大校友科研伉俪喜获英国顶级科学奖 东南大学官网
兰克奖得主王国裕谈原始创新 武夷山的科学网博客
陆明莹的科学和技术贡献 王国裕
CMOS图像传感器芯片的一段往事,有感人爱情 | 科技老兵戴辉
王国裕 百度百科
参考文献众多,如有遗漏不全,致歉