论文部分内容阅读
林昊用分布式架构应对了“秒杀”活动,这是淘宝网技术转变的一个案例。林昊决定继续像网站“前辈”学习,早晚有一天要超越它们。
林昊还不到30岁,已经名扬业内。
他是中国OSGi第一人,创办了中国OSGi网站,出过相关书籍; 他又是淘宝网的系统架构工程师,维护万台服务器的稳定。
林昊领导的是淘宝网“秒杀”活动的技术支持团队。在此次“战役”之后,林昊对淘宝网的技术实力有了更清晰的认识,他更要学习国外顶尖的网站,帮助淘宝网更上一层楼。
放眼国内,他说: “能与淘宝网相提并论的网站还没看到。”
林昊就这么自信,他要做系统架构技术的“巅峰者”。
狙击“秒杀”
毕玄是武侠小说《大唐游侠传》中的绝顶高手。林昊进入淘宝网之后,选择了此ID。从此,淘宝无“林昊”,只有毕玄。业内不知“林昊”和毕玄,只知道Blue Davy,这是林昊“行走江湖的另一个马甲”。
“毕玄”是淘宝网的系统架构师。他的本科学的是生物专业,研究生学的是软件工程专业,是典型的“半路出家”。他对互联网和技术感兴趣,从事过政府行业的技术工作,在互联网企业做过,2007年进入淘宝网。
Blue Davy则是《OSGi实战》和《OSGi进阶》两篇国内Opendoc的作者,筹办了OSGi的中文官方网站,是全球第六个国家级别的User Group性质的站点。Blue Davy于2009年出版了据称为“全球第二本OSGi书籍或国内第一本中文OSGi书籍”的《OSGi原理与最佳实践》。
林昊则是“毕玄 Blue Davy”的集合体。他在阿里集团内部推广OSGi,并应用在淘宝网、支付宝、阿里巴巴网络中,他扎根在淘宝网,为该网站的系统架构出谋划策。
淘宝网以前的规模像是便利店—小、物品少而杂,流量有限; 现在的淘宝网更像是沃尔玛—大、物品品类多,流量巨大。淘宝的员工中有一半是技术人员,大概有1500名支撑着淘宝网的方方面面,而林昊则是其中的1/1500。
让林昊对技术更自信的是淘宝网的“秒杀”活动。
所谓“秒杀”,就是淘宝网络在首页发布一些物美价廉的商品,所有买家在同一时间网上抢购。由于商品价格低,往往一上架就被抢购一空,有时只用一秒钟,故称“秒杀”。
除去“秒杀”活动的争议性之外,该活动给淘宝网的服务器带来巨大压力。林昊形容:“就如一秒钟山洪爆发那样”,大量数据纷蜂拥而至,犹如DDoS攻击淘宝网,甚至严重阻碍了正常交易的进行。
林昊说,由于淘宝网的“秒杀”活动在中央电视台刊登了广告,点击量超出预期的10倍。就在秒杀的当天,林昊和部门20多人整夜不合眼,守在服务器旁边,调整架构,分流数据,缓解压力。
最后的解决办法是,林昊将“秒杀”的流量与正常业务的流量隔离开,增加了服务器的投入,避免了对正常业务的影响。这也是林昊一直在尝试做的事情—服务器上采用的云计算技术。
架构发展方向
林昊担任系统架构师至今,首次挑战即是将淘宝网单系统转向分布式系统。
那是淘宝网系统架构最艰难的时候,“如果系统不改造,按照当时的发展速度,淘宝网会在2008年完全挂掉。”林昊解释说,业务量的增加迫使淘宝增加服务器,“之前是不断加服务器,但系统仍旧是一个。结果是系统越来越庞大,这种增加服务器的做法马上遇到了瓶颈。”
在该次重构后,淘宝网采用了分布式服务平台,将原有系统区隔成200个左右的小系统。这种分布式服务承担了淘宝几乎所有Java远程调用的支撑及管理。而林昊则负责将这一全亚洲最大的Java系统调理顺当,并逐步提高淘宝网的系统可用性和运行效率。
工程师对技术是敏感的。在谈及淘宝网系统架构水平在同行中的位置时,林昊想都没想就说在国内没有同行者,至于亚马逊与eBay,他稍微停顿说: “淘宝网的架构与亚马逊有较大的差距,而与eBay已经相对接近”。
事实上,淘宝网从创立伊始就没有停止对领先者的追赶,从商业模式、网站规模到技术,一直在跟进。“分布式、自动化和智能化是互联网技术发展的一个常见发展模式,当然,这其中涉及到了非常多的技术。”林昊经常趴在国外网站上学习: “前不久在关于eBay技术发展的PPT上,学习了该网站的技术。而我觉得除了智能化以外,虚拟化或者云计算、节能技术也将成为后续互联网技术的重点。”
而eBay的“优雅降级”、Facebook的“自愈”系统、Twitter的“资源劣化”等功能也相继从概念转化为淘宝特色的功能。“只要能让淘宝网系统架构更稳更快更省,合适的技术就可以用于淘宝。”林昊说。
与此同时,淘宝网正联合阿里云计算公司进行云计算开发。
为了应对数据大并发量的压力与成本控制,淘宝网的中间件系统、文件储存系统、搜索、分布式框架、缓存系统都采用了自主开发的产品,而不是采用商用产品。同时这也给像林昊这样的工程师以大量的机会,可以让他们看到软件的源码,研究了解软件内部的工作过程和原理,这对于网站的应用设计、开发、查错、优化都是非常有益的。
淘宝体验
由于淘宝网系统架构的庞大与复杂,对于很多工程师来说“仅仅是看一看淘宝网的系统架构,就算得上是一个心愿了。”
“也许你很了解理论技术,但平台是更稀缺的资源。”林昊说,淘宝网最吸引他的就是能在这里处理业界最复杂的难题,“无论是对于技术了解多少,看过多少本书,在这样一个系统面前,你只有动手才会感到兴奋。”
“很多架构师不知道如何应对大型、高并发的场景,最主要的原因是没有这样实践的机会,毕竟目前只有在大型企业系统或互联网才能获得这类难得的实践机会。架构师如果没有实践机会,他们是很难完全理解这些技术的。多数情况下,互联网中的技术方案都是在多次血泪宕机下成长起来的。”林昊总结说。
“我经历了淘宝网的点击量从3亿猛增到8亿,这段时间面临的技术挑战对个人而言是最宝贵的。有幸站在了这次变革的前线让我获得了很多宝贵的经验。如果我今天才加入淘宝网,那么这个8亿点击量对我来说就是零,这个数字是没有意义的。如果我再晚几年加入,那我不知道又浪费了多少次成长的机会,工程师的成长就是经历过程”。林昊说,“能给工程师这样经历的公司全世界都屈指可数,在中国就更少了。”
如论如何,随着淘宝网发展的加速,赶超老师eBay的趋势已非常明显,对于工程师来说,这就意味着再也不能简单地亦步亦趋,“淘宝网正在长大,更多时候我们必须独立面对问题,”毕玄语气里更多的是兴奋,“我们希望更多的同道能来到淘宝网,体验巅峰。”说完他又很乐观地笑了,似乎他的团队已经从20人扩展到30人了。
链接
林昊的招聘理念
林昊是淘宝网校园招聘的面试官之一。他接触过一位阅读了jdk、开源框架上spring DI等源代码的学生,他认为,这样的学生才是典型的技术爱好者。另外一位让他看好的学生虽然不懂Java框架,但掌握各类Java包,如ArrayList、HashMap等等。
他说: “很多应届生会觉得是因为大学中没教这些,所以导致他们面试很难通过。其实,实力是对技术的兴趣以及自学能力等决定的。大学中最不缺的是时间,学生应该有足够的时间看一些源码,为自己的技术增加实力。”(文/吴玉征)
征集CIO线索
本栏目定位是: 结合CIO(信息主管)职业生涯,探讨如何推进信息化的方法。为此,本栏目长期征集各领域CIO采访线索,在展现他们的思想智慧,做到“他山之石”的同时,共同推进中国信息化发展。读者有任何想法和推荐,可联系编辑: 010-68130909-1101 wu_yuzheng@ccw.com.cn。
林昊还不到30岁,已经名扬业内。
他是中国OSGi第一人,创办了中国OSGi网站,出过相关书籍; 他又是淘宝网的系统架构工程师,维护万台服务器的稳定。
林昊领导的是淘宝网“秒杀”活动的技术支持团队。在此次“战役”之后,林昊对淘宝网的技术实力有了更清晰的认识,他更要学习国外顶尖的网站,帮助淘宝网更上一层楼。
放眼国内,他说: “能与淘宝网相提并论的网站还没看到。”
林昊就这么自信,他要做系统架构技术的“巅峰者”。
狙击“秒杀”
毕玄是武侠小说《大唐游侠传》中的绝顶高手。林昊进入淘宝网之后,选择了此ID。从此,淘宝无“林昊”,只有毕玄。业内不知“林昊”和毕玄,只知道Blue Davy,这是林昊“行走江湖的另一个马甲”。
“毕玄”是淘宝网的系统架构师。他的本科学的是生物专业,研究生学的是软件工程专业,是典型的“半路出家”。他对互联网和技术感兴趣,从事过政府行业的技术工作,在互联网企业做过,2007年进入淘宝网。
Blue Davy则是《OSGi实战》和《OSGi进阶》两篇国内Opendoc的作者,筹办了OSGi的中文官方网站,是全球第六个国家级别的User Group性质的站点。Blue Davy于2009年出版了据称为“全球第二本OSGi书籍或国内第一本中文OSGi书籍”的《OSGi原理与最佳实践》。
林昊则是“毕玄 Blue Davy”的集合体。他在阿里集团内部推广OSGi,并应用在淘宝网、支付宝、阿里巴巴网络中,他扎根在淘宝网,为该网站的系统架构出谋划策。
淘宝网以前的规模像是便利店—小、物品少而杂,流量有限; 现在的淘宝网更像是沃尔玛—大、物品品类多,流量巨大。淘宝的员工中有一半是技术人员,大概有1500名支撑着淘宝网的方方面面,而林昊则是其中的1/1500。
让林昊对技术更自信的是淘宝网的“秒杀”活动。
所谓“秒杀”,就是淘宝网络在首页发布一些物美价廉的商品,所有买家在同一时间网上抢购。由于商品价格低,往往一上架就被抢购一空,有时只用一秒钟,故称“秒杀”。
除去“秒杀”活动的争议性之外,该活动给淘宝网的服务器带来巨大压力。林昊形容:“就如一秒钟山洪爆发那样”,大量数据纷蜂拥而至,犹如DDoS攻击淘宝网,甚至严重阻碍了正常交易的进行。
林昊说,由于淘宝网的“秒杀”活动在中央电视台刊登了广告,点击量超出预期的10倍。就在秒杀的当天,林昊和部门20多人整夜不合眼,守在服务器旁边,调整架构,分流数据,缓解压力。
最后的解决办法是,林昊将“秒杀”的流量与正常业务的流量隔离开,增加了服务器的投入,避免了对正常业务的影响。这也是林昊一直在尝试做的事情—服务器上采用的云计算技术。
架构发展方向
林昊担任系统架构师至今,首次挑战即是将淘宝网单系统转向分布式系统。
那是淘宝网系统架构最艰难的时候,“如果系统不改造,按照当时的发展速度,淘宝网会在2008年完全挂掉。”林昊解释说,业务量的增加迫使淘宝增加服务器,“之前是不断加服务器,但系统仍旧是一个。结果是系统越来越庞大,这种增加服务器的做法马上遇到了瓶颈。”
在该次重构后,淘宝网采用了分布式服务平台,将原有系统区隔成200个左右的小系统。这种分布式服务承担了淘宝几乎所有Java远程调用的支撑及管理。而林昊则负责将这一全亚洲最大的Java系统调理顺当,并逐步提高淘宝网的系统可用性和运行效率。
工程师对技术是敏感的。在谈及淘宝网系统架构水平在同行中的位置时,林昊想都没想就说在国内没有同行者,至于亚马逊与eBay,他稍微停顿说: “淘宝网的架构与亚马逊有较大的差距,而与eBay已经相对接近”。
事实上,淘宝网从创立伊始就没有停止对领先者的追赶,从商业模式、网站规模到技术,一直在跟进。“分布式、自动化和智能化是互联网技术发展的一个常见发展模式,当然,这其中涉及到了非常多的技术。”林昊经常趴在国外网站上学习: “前不久在关于eBay技术发展的PPT上,学习了该网站的技术。而我觉得除了智能化以外,虚拟化或者云计算、节能技术也将成为后续互联网技术的重点。”
而eBay的“优雅降级”、Facebook的“自愈”系统、Twitter的“资源劣化”等功能也相继从概念转化为淘宝特色的功能。“只要能让淘宝网系统架构更稳更快更省,合适的技术就可以用于淘宝。”林昊说。
与此同时,淘宝网正联合阿里云计算公司进行云计算开发。
为了应对数据大并发量的压力与成本控制,淘宝网的中间件系统、文件储存系统、搜索、分布式框架、缓存系统都采用了自主开发的产品,而不是采用商用产品。同时这也给像林昊这样的工程师以大量的机会,可以让他们看到软件的源码,研究了解软件内部的工作过程和原理,这对于网站的应用设计、开发、查错、优化都是非常有益的。
淘宝体验
由于淘宝网系统架构的庞大与复杂,对于很多工程师来说“仅仅是看一看淘宝网的系统架构,就算得上是一个心愿了。”
“也许你很了解理论技术,但平台是更稀缺的资源。”林昊说,淘宝网最吸引他的就是能在这里处理业界最复杂的难题,“无论是对于技术了解多少,看过多少本书,在这样一个系统面前,你只有动手才会感到兴奋。”
“很多架构师不知道如何应对大型、高并发的场景,最主要的原因是没有这样实践的机会,毕竟目前只有在大型企业系统或互联网才能获得这类难得的实践机会。架构师如果没有实践机会,他们是很难完全理解这些技术的。多数情况下,互联网中的技术方案都是在多次血泪宕机下成长起来的。”林昊总结说。
“我经历了淘宝网的点击量从3亿猛增到8亿,这段时间面临的技术挑战对个人而言是最宝贵的。有幸站在了这次变革的前线让我获得了很多宝贵的经验。如果我今天才加入淘宝网,那么这个8亿点击量对我来说就是零,这个数字是没有意义的。如果我再晚几年加入,那我不知道又浪费了多少次成长的机会,工程师的成长就是经历过程”。林昊说,“能给工程师这样经历的公司全世界都屈指可数,在中国就更少了。”
如论如何,随着淘宝网发展的加速,赶超老师eBay的趋势已非常明显,对于工程师来说,这就意味着再也不能简单地亦步亦趋,“淘宝网正在长大,更多时候我们必须独立面对问题,”毕玄语气里更多的是兴奋,“我们希望更多的同道能来到淘宝网,体验巅峰。”说完他又很乐观地笑了,似乎他的团队已经从20人扩展到30人了。
链接
林昊的招聘理念
林昊是淘宝网校园招聘的面试官之一。他接触过一位阅读了jdk、开源框架上spring DI等源代码的学生,他认为,这样的学生才是典型的技术爱好者。另外一位让他看好的学生虽然不懂Java框架,但掌握各类Java包,如ArrayList、HashMap等等。
他说: “很多应届生会觉得是因为大学中没教这些,所以导致他们面试很难通过。其实,实力是对技术的兴趣以及自学能力等决定的。大学中最不缺的是时间,学生应该有足够的时间看一些源码,为自己的技术增加实力。”(文/吴玉征)
征集CIO线索
本栏目定位是: 结合CIO(信息主管)职业生涯,探讨如何推进信息化的方法。为此,本栏目长期征集各领域CIO采访线索,在展现他们的思想智慧,做到“他山之石”的同时,共同推进中国信息化发展。读者有任何想法和推荐,可联系编辑: 010-68130909-1101 wu_yuzheng@ccw.com.cn。