【Big-Data】Scala
Scala Basics
Learning Materials
scala core
scala spark unit test
scala underscore explained: Scala中下划线“_”的用法小结 - 简书 (jianshu.com)
How to create a maven scala project
Using Idea
archetype
net.alchim31.maven:scala-archetype-simple
Project dependency
Reference
spark version v.s. scala version
Any version of Spark requries a s...
【Basics】Git Rebase
Git rebase
When to use
If you want to have a clean git commits history. If six features are being developed in parallel, they starts from different time and they launch in different times. When you need to roll back some features, you will discover that you have diverged from the main so much.
What is git rebase
When you merge a branch...
【Big-Data】Java Maven
Maven详解
Maven archetype
可以理解为生成项目的template。在脚手架生成项目的时候使用的。
POM文件是Maven的入口文件，标签详解如下
【Big-Data】Flink开发总结
Flink开发（Java版）
1.1 Data Conversion
Reference: Flink DataStream /DataSet 与Table的互相转化_唐予之_的博客-CSDN博客
1.1.1 Imports
import org.apache.flink.streaming.api.scala.
import org.apache.flink.table.api.scala._
import org.apache.flink.api.scala._
import scala.collection.JavaConverters._
1.1.2 Register Datastream of DataSet as Table
// get TableEnvir...
【Big-Data】实时数仓架构设计
用 Flink 取代 Spark Streaming！知乎实时数仓架构演进
“数据智能” (Data Intelligence) 有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。
本文主要讲述知乎的实时数仓实践以及架构的演进，这包括以下几个方面：
实时数仓 1.0 版本，主题：ETL 逻辑实时化，技术方案：Spark Streaming。
实时数仓 2.0 版本，主题：数据分层，指标计算实时化，技术方案：Flink St...
【Big-Data】Lateral View多列转多行
What is Lateral view
The LATERAL VIEW clause is used in conjunction with generator functions such as EXPLODE, which will generate a virtual table containing one or more rows. LATERAL VIEW will apply the rows to each original output row.
简单来说，就是想把单行映射到产出表的多行，可以使用lateral view。
【阅读】提问的艺术：为什么你应该这样问
可行动指南
封闭式问题
要求对方给出是/否的回答，不能是一个开放的问题
使用tips
当你想获得直接而由衷的回答时，封闭式问题会很有效：用恰当的方式有目的地提出一个封闭式问题：是还是不是，对于提问者来说，是力量和高要求的最好结合。
什么时候问最合适
当你需要弄清对方是否全身心投入时。
当你想找出对方的任何疑虑或犹豫时。
你还可以这样问
你能够全心投入此事吗？
你是否愿意做这件事？
你现在能做出最后的决定吗？
接下来这样问
这件事最能让你兴奋的是什么？
你最大的疑虑或顾虑是什么？
别人发脾气时
你觉得怎样做是比较好的
问为什么
了解对方想这么做的原因，发自内心
共计 136 篇文章，17 页。