-
【大风哥】听阿里大数据专家讲大实话:没有大数据专家,只有满身伤痕的践行者
关键字: 阿里巴巴人工智能大数据大数据专家阿里阿里大数据淘宝阿里云数据这一夜可不容易,实现并未搭建方便查询数据的架构。丰兄先写了拖数据的脚本,再用几十条SQL语句从oracle数据库里查询,第二天早上终于把报表发给马云了。马云说小伙子干的不错,以后你就是技术总监了。(笔者对以上信息真实性不负责任)
然后马云又下达了一项任务命令:
然而实在是撑不下去了。到2008年,淘宝的业务量与数据量已达到2004年的数千倍,按照这样的趋势,底层技术架构亟需升级。oracle数据库根本撑不住这样庞大的数据量,存储成本也会让阿里入不敷出。存数据很烧钱啊!
这一年,阿里决定成立阿里云,从底层重构云计算及大数据技术。同时,为了实现自主可控,阿里金融成立。它意义在于整个管理层从中真正看到了未来数据公司的雏形。
2009年阿里开始描画大数据平台愿景。当时马云在王坚博士提醒下提出这个想法,大家还不太理解。
后来他们理解了,就做出了这张ppt:
建大数据平台有哪些困难?
没有统一组织和架构,一个人晚上熬夜研究数据,早上回去了,接班的没法看懂他的逻辑,要等他来了才能解释清楚,人称补数小王子。其他问题看上图,大风哥难得拍了张能看清楚的图……
上图里面的每一步都需要专业人员,比如“数据清洗”就需要专门研究这个的工程师。尤其要把不同格式的数据统一起来就废老鼻子劲了。
做阿里金融才暴露出更深层次问题。比如历史数据不足,这就相当于生产资料缺失。过去,淘宝存储数据有限,比如系统对买家交易状态只记录最新的,没人意识到那些丢失数据的珍贵。后来他们就记录全部了。
2012年成立数据平台部,开始实施“登月计划”,听这名字好大雄心!
- 原标题:听阿里牛人说大实话:没有大数据专家,只有满身伤痕的践行者 本文仅代表作者个人观点。
- 请支持独立网站,转发请注明本文链接:
- 责任编辑:钟晓雯
-
“暴政!”哈佛禁令引众怒,中国学生不敢离校 评论 30加州州长急眼:中国躺赢了,你们到底站哪边? 评论 53直播:美国新一轮“弃台论”,不同寻常 评论 7“美国想拉盟友对中国搞联合关税,G7没讨论” 评论 167最新闻 Hot
-
“暴政!”哈佛禁令引众怒,中国学生不敢离校
-
欧盟拒绝回应,贝森特补刀
-
加州州长急眼:中国躺赢了,你们到底站哪边?
-
美方直说了:中国太强,“金穹”是为了做准备…
-
“谈判毫无进展!建议6月1日起对欧盟征50%关税”
-
特朗普撂狠话,苹果盘前跳水
-
“华盛顿死了2人,但加沙死了5万人,昨晚又有多少孩子被饿死?”
-
“战场转向,中国将再次占据先机”
-
火速被叫停!
-
“87%靠中俄设计 ”,特朗普又要整“紧急状态”了
-
“中美关系缓和新迹象”
-
“前所未有”,韩国首尔现“滚回中国”反华抗议
-
普京再提“缓冲区”:在推进了
-
1票险胜!特朗普“大而美”法案在众议院过关,债务上限+29万亿
-
美华裔教授:没想到有一天,我会因自己的民族被迫卖房
-
石破茂与特朗普通话45分钟:他打给我的
-