【Big-Data】实时数仓架构设计
用 Flink 取代 Spark Streaming!知乎实时数仓架构演进
“数据智能” (Data Intelligence) 有一个必须且基础的环节,就是数据仓库的建设,同时,数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲,数据的结果代表了用户的反馈,获取结果的及时性就显得尤为重要,快速的获取数据反馈能够帮助公司更快的做出决策,更好的进行产品迭代,实时数仓在这一过程中起到了不可替代的作用。
本文主要讲述知乎的实时数仓实践以及架构的演进,这包括以下几个方面:
实时数仓 1.0 版本,主题:ETL 逻辑实时化,技术方案:Spark Streaming。
实时数仓 2.0 版本,主题:数据分层,指标计算实时化,技术方案:Flink St...
【Big-Data】Lateral View多列转多行
What is Lateral view
The LATERAL VIEW clause is used in conjunction with generator functions such as EXPLODE, which will generate a virtual table containing one or more rows. LATERAL VIEW will apply the rows to each original output row.
简单来说,就是想把单行映射到产出表的多行,可以使用lateral view。
【阅读】提问的艺术:为什么你应该这样问
可行动指南
封闭式问题
要求对方给出是/否的回答,不能是一个开放的问题
使用tips
当你想获得直接而由衷的回答时,封闭式问题会很有效:用恰当的方式有目的地提出一个封闭式问题:是还是不是,对于提问者来说,是力量和高要求的最好结合。
什么时候问最合适
当你需要弄清对方是否全身心投入时。
当你想找出对方的任何疑虑或犹豫时。
你还可以这样问
你能够全心投入此事吗?
你是否愿意做这件事?
你现在能做出最后的决定吗?
接下来这样问
这件事最能让你兴奋的是什么?
你最大的疑虑或顾虑是什么?
别人发脾气时
你觉得怎样做是比较好的
问为什么
了解对方想这么做的原因,发自内心
【阅读】这本书能让你睡得好
可行动指南
11点半以后必须关大灯,只开小灯;
饮食以下原则,
不吃加工食品;
硒:影响甲状腺功能,葵花籽、牛肉、鸡肉
维生素C:少食易早醒。富含维生素C的食物包括卡姆果、余甘子、针叶樱桃等高级食品,以及灯笼椒、绿叶蔬菜、猕猴桃、草莓、柑橘类、木瓜等日常食物。
色氨酸:这是一种关键的营养成分,是人体血清素产生的先兆。色氨酸常见于火鸡、鸡肉、蛋类、番薯、奇亚籽、火麻仁、香蕉、南瓜子、杏仁、酸牛奶和绿叶蔬菜。
钾:《睡眠》期刊发表的研究发现,钾元素可能对有睡眠障碍的人有帮助。香蕉通常被认为是钾元素的最佳来源,但是还有许多更好的来源(尤其是你不想摄入过多糖分时)。绿叶蔬菜、土豆、掌状红皮藻(一种富含矿物质的海菜...
【阅读】小米创业思考
创业思考
业务方向
容易实现的增长未必是高质量的增长,可能是资源的不合理消耗;成交金额增加未必是公司体质增强了,也可能是虚胖。在公司内,对于每一项业务,我们要反复问自己三个问题:
我的业务增长为公司核心战略贡献了什么样的价值?
我的业务增长是否带动了公司包括核心业务在内的其他业务持续连带增长?
我的业务消耗了公司哪些资源?
如何pitch用户
最重要的做超出预期的产品。这个超出预期不是性价比,是超出在这个价位的期待。放到工作里面同样使用,超出大家对你工作的预期。
重大战略决策如何思考
这个部分我觉得写的非常好。
小米造车的思考2010—2020年,小米前10年的所有主干业务战略在公司创办之前都已经在规划之中。而新10年中,第一个全新的重大业务拓展,...
【Big-Data】Scala
What is Scala
Scala is used in Big Data Processing, Machine Learning, Streaming Services, etc. It is designed to run big data applications based on Java. If your application requires big data processing which contains logs of SQL-like quries, and those query results needs some further processing according to some business logic implementations,...
共计 124 篇文章,16 页。