主页

【Basics】Useful Prompts

Prompt Techniques Specific Prompts Scala Prompts Incremental Id assignment suppose I have a rdd called edgeDF which has src_id, dst_id columns. Now I want to turn srd_id and dst_id into a single column called vertex_id. Each vertex_id is unique and assign a new column called id with incremental number. Finally, I want to assign...

阅读更多

【阅读】The Tyranny of Merit. 傲慢的精英

综述 interesting,优绩至上理论竟然会带来很大的副作用,而且其中一个甚至和看起来毫不相干的信奉上帝有关。 信奉上帝相信我们做了善行,那么上帝会根据这个善行给予我们奖赏,反之会给我们惩罚。因此当一个人极度不幸的时候,很多人甚至怀疑这个人其实做过一些不为人知的恶行,这加深了对受难者的伤害。

阅读更多

【阅读】kknmd house

KK关于房价的思考 洞见事务背后的运行逻辑,是预测未来发展的重要因素。如果希望自己有一定的预测能力,需要对以下几点进行加强 掌握足够优质的信息来源; 对经济运行有较为充足的知识储备; 对历史的发展规律及其背后的原因有足够的了解; 基于这些了解能够产出action items。 一些摘抄 关于房产投资的方向,也有几点心得:供大家参考: 一、坚决不能投资自己不熟悉的城市 二、坚决不投资中小城市,一般省会及计划单列以上城市问题都不大,但中小城市即使房价上涨也存在变现困难问题。 三、坚决不投资距离大城市较偏远的旅游城市,比如山东乳山之类的,几乎无法变现。 四、慎重投资大城市的郊区,除非价格绝对低。如果外来人口比较多,zf又有发展规划,且价格与城区相比有较大的...

阅读更多

【Basics】Graphx

Reference Graphx pregel code example: [Processing Hierarchical Data using Spark Graphx Pregel API Qubole](https://www.qubole.com/blog/processing-hierarchical-data-using-spark-graphx-pregel-api) graphx official pregel api: GraphX - Spark 3.3.1 Documentation (apache.org)

阅读更多

【阅读】Algorithms to Live By

Algorithms to live by 我觉得很多人应该更熟悉这本书的中文译名,算法之美。看到了微信读书上对于这个译名的评价:为了追求所谓的“信达雅”而没有正确翻译出题目想表达的主题,乍一看还以为是讲算法的,实际上是讲算法在日常生活中的应用的。并且后半部分的翻译好像是为了赶工,看上去并没有针对中国人的表达习惯进行优化,非常像是机翻的,这就导致了后面几章的内容读起来比较晦涩。因此为了避免这个情况,我直接选择读原版的英文版。这反而对于我比较友好,因为上学学算法的时候就是英文教材,很多argot是可以直接代入和理解的,比阅读中文版更能让我理解作者表达的原意。 Regardless of that,这本书讲的还是非常好的。通过算法引申到哪些现实问题其实是这个算法的真实映射,而如果算法本...

阅读更多

【Basics】Functional Programming

Functional Programming What’s the novelty of functional programming? 什么是函数式编程思维? - 用心阁的回答 - 知乎 Functional Programming通过建立映射的方式获取新的结果,因此是stateless的。想象成,数据流过一个个函数组成的管道,然后变成了另一个值。这是一个基本思想,实际编程的时候,就是返回新的object而不是经过改变的变量。 Materials Functional Programming Jargon

阅读更多

【Big-Data】Scala

Scala Basics Learning Materials scala core scala spark unit test scala underscore explained: Scala中下划线“_”的用法小结 - 简书 (jianshu.com) How to create a maven scala project Using Idea archetype net.alchim31.maven:scala-archetype-simple Project dependency Reference spark version v.s. scala version Any version of Spark requries a s...

阅读更多