大数据笔面试系列文章分为两种类型：混合型（即一篇文章中会有多个框架的知识点—融会贯通）；专项型（一篇文章针对某个框架进行深入解析—专项演练）。
此篇文章为系列文章的第一篇（混合型）
第一题：大数据笔试题-Java相关（美菜网）
写出下列程序的输出：
运行结果：
分析：
这道程序题考察的是Java中的静态代码块、构造代码块、构造函数的概念。
随着类的加载而执行，即JVM加载类后就执行，而且只执行一次，执行优先级高于非静态的初始化块，它会在类初始化的时候执行一次，执行完成便销毁，它仅能初始化类变量，即static修饰的数据成员。
执行的时候如果有静态代码块，先执行静态代码块再执行非静态代码块，在每个对象生成时都会被执行一次，它可以初始化类的实例变量。非静态代码块会在构造函数执行时，在构造函数主体代码执行之前被运行。
对象一建立，就会调用与之相应的构造函数，也就是说，不建立对象，构造函数是不会运行的。
一个对象建立，构造函数只运行一次，而一般方法可以被该对象调用多次。
再来看本题，程序运行，执行main()方法会先加载main()方法所在的类，加载 Son 类，但是 Son 类继承自 Father 类，所以先加载父类，同时父类的静态代码块执行，然后加载 Son 类本身，Son 类自己的静态代码块开始执行，类加载完成之后执行main()方法内部的语句，打印 First Son，然后 new Son()，在创建对象时先构造父类的对象，因为静态代码块只在类加载时执行一次，所以不再执行，然后执行父类的构造代码块，构造函数，构造代码块的优先级大于构造函数。然后在执行 Son 对象本身。完成之后打印 Second Son，接着又 new Son()，重复以上步骤。构造代码块和构造函数在每次new的时候都会执行一次。
第二题：大数据面试题-JVM相关（丰巢科技）
问：解释内存中的栈（stack）、堆(heap)和静态存储区的用法？
答：通常我们定义一个基本数据类型的变量，一个对象的引用，还有就是函数调用的现场保存都使用内存中的栈空间；而通过new关键字和构造器创建的对象放在堆空间；程序中的字面量（literal）如直接书写的100、“hello”和常量都是放在静态存储区中。栈空间操作最快但是也很小，通常大量的对象都是放在堆空间，整个内存包括硬盘上的虚拟内存都可以被当成堆空间来使用。
String str = new String(“hello”);
上面的语句中str放在栈上，用new创建出来的字符串对象放在堆上，而“hello”这个字面量放在静态存储区。
补充：较新版本的Java中使用了一项叫“逃逸分析“的技术，可以将一些局部对象放在栈上以提升对象的操作性能。（在 Java SE 6u23+ 开始支持，并默认设置为启用状态，可以不用额外加这个参数。）
第三题：大数据面试题-海量数据相关（腾讯）
问：给 40 亿个不重复的 unsigned int 的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那 40 亿个数当中？
答：方案 1：申请 512M 的内存，512M是42亿多 bit，一个 bit 位代表一个 unsigned int 值。读入 40 亿个数，设置相应的 bit 位，读入要查询的数，查看相应 bit 位是否为 1，为 1 表示存在，为 0 表示不存在。
方案 2：这个问题在《编程珠玑》里有很好的描述，大家可以参考下面的思路，探讨一下：因为 2^32 为 42 亿多，所以给定一个数可能在，也可能不在其中；这里我们把 40 亿个数中的每一个用 32 位的二进制来表示 ，假设这 40 亿个数开始放在一个文件中。然后将这 40 亿个数分成两类:
并将这两类分别写入到两个文件中，其中一个文件中数的个数<=20 亿，而另一个>=20 亿（相当于折半）；与要查找的数的最高位比较并接着进入相应的文件再查找
然后再把这个文件为又分成两类:
并将这两类分别写入到两个文件中，其中一个文件中数的个数<=10 亿，而另一个>=10 亿（相当于折半）；与要查找的数的次最高位比较并接着进入相应的文件再查找。
…..
以此类推，就可以找到了，而且时间复杂度为 O(logn)。
第四题：大数据面试题-Hadoop相关（阿里）
问：MapReduce 中排序发生在哪几个阶段？这些排序是否可以避免？为什么？
答：
第五题：大数据面试题-Kafka相关（商汤科技）
问：kafka数据分区和消费者的关系，kafka的数据offset读取流程，kafka内部如何保证顺序
答：
第六题：大数据面试题-分布式相关（阿里）
问：说说三种分布式锁？
答：
利用select … where … for update 排他锁
注意: 其他附加功能与实现基本一致，这里需要注意的是“where name=lock ”，name字段必须要走索引，否则会锁表。有些情况下，比如表不大，mysql优化器会不走这个索引，导致锁表问题。
所谓乐观锁与悲观锁最大区别在于基于CAS思想，是不具有互斥性，不会产生锁等待而消耗资源，操作过程中认为不存在并发冲突，只有update version失败后才能觉察到。我们的抢购、秒杀就是用了这种实现以防止超卖。
乐观锁是通过增加递增的版本号字段实现的。
大致思想：每个客户端对某个功能加锁时，在zookeeper上的与该功能对应的指定节点的目录下，⽣生成⼀个唯一的瞬时有序节点。判断是否获取锁的方式很简单，只需要判断有序节点中序号最小的一个。当释放锁的时候，只需将这个瞬时节点删除即可。同时，其可以避免服务宕机导致的锁无法释放，⽽而产生的死锁问题。
第七题：大数据面试题-Hadoop、Spark相关（京东金融）
问：Hadoop 和 Spark 的相同点和不同点？
答：
Hadoop底层使用MapReduce计算架构，只有map和reduce两种操作，表达能力比较欠缺，而且在MR过程中会重复的读写hdfs，造成大量的磁盘io读写操作，所以适合高时延环境下批处理计算的应用；
Spark是基于内存的分布式计算架构，提供更加丰富的数据集操作类型，主要分成转化操作和行动操作，包括map、reduce、filter、flatmap、groupbykey、reducebykey、union和join等，数据分析更加快速，所以适合低时延环境下计算的应用；
spark与hadoop最大的区别在于迭代式计算模型。基于mapreduce框架的Hadoop主要分为map和reduce两个阶段，两个阶段完了就结束了，所以在一个job里面能做的处理很有限；spark计算模型是基于内存的迭代式计算模型，可以分为n个阶段，根据用户编写的RDD算子和程序，在处理完一个阶段后可以继续往下处理很多个阶段，而不只是两个阶段。所以spark相较于mapreduce，计算模型更加灵活，可以提供更强大的功能。
但是spark也有劣势，由于spark基于内存进行计算，虽然开发容易，但是真正面对大数据的时候，在没有进行调优的情况下，可能会出现各种各样的问题，比如OOM内存溢出等情况，导致spark程序可能无法运行起来，而mapreduce虽然运行缓慢，但是至少可以慢慢运行完。
第八题：大数据面试题-Yarn相关（特斯拉）
问：一个应用程序是如何在 Yarn 集群上执行的？
答：
当 jobclient 向YARN提交一个应用程序后，YARN将分两个阶段运行这个应用程序：一是启动ApplicationMaster；第二个阶段是由ApplicationMaster创建应用程序，为它申请资源，监控运行直到结束。
具体步骤如下:
第九题：大数据面试题-数据质量相关（蚂蚁金服）
问：数据质量怎么监控？
答：
如一张表的记录数在一个已知的范围内，或者上下浮动不会超过某个阈值：
单表空值检测
某个字段为空的记录数在一个范围内，或者占总量的百分比在某个阈值范围内
单表重复值检测
一个或多个字段是否满足某些规则
跨表数据量对比
主要针对同步流程，监控两张表的数据量是否一致
第十题：大数据面试题-海量数据相关（百度）
问：在海量日志数据中，提取出某日访问百度次数最多的那个IP
答：这类问题都归为求Top K的问题，解决方法都差不多。
将这一天访问百度的日志的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用 HashMap 进行频率统计，然后再找出频率最大的几个）及相应的频率。然后再在这1000个最大的IP中找出那个频率最大的IP，即为所求。
算法思想：分而治之+Hash
