试题五：

某公司拟开发一个电商平台用户行为分析系统，该系统可支持对电商平台用户行为数据的采集和实时/高效数据处理分析，统计分析用户访问情况。搜集 PV/UV 商品热度等相关数据。系统应具备以下能力

（1）对海量用户行为数据的存储和处理能力

（2）为适应用户行为的随机性，保证系统不会被爆发的日志数据压垮，系统应具备对突发流量的处理能力

（3）对用户数据的隐私保护能力

针对项目需求，公司召开会议，会上张工提出用户行为会产生大量数据，传统的文件存储与关系型数据库，无法完全解决当前系统问题，应基于大数据技术设计并实现系统，李工提出可就重要数据脱敏的方法解决用户隐私的问题

流计算面对实时且流式的数据，流数据是按照时间发生顺序地被流计算订阅和消费。故选择流计算技术对突发流量进行削峰填谷。常见的流计算引擎有Flink、Spark Streaming、Kafka Stream等。流计算具有如下技术优势：

1.  可接收实时且无界的数据流。流计算面对计算的 是实时且流式的，流数据是按照时间发生顺序地被流计算订阅和消费。且由于数据发生的持续性，数据流将长久且持续地集成进入流计算系统。例如，对于网站的访问点击日志流，只要网站不关闭其点击日志流将一直不停产生并进入流计算系统。因此，对于流系统而言，数据是实时且不终止(无界)的。

2.  可进行持续且高效的计算。流计算是一种”事件触发”的计算模式，触发源就是上述的无界流式数据。一旦有新的流数据进入流计算，流计算立刻发起并进行一次计算任务，因此整个流计算是持续进行的计算。

3.  可进行流式且实时的数据集成。流数据触发一次流计算的计算结果，可以被直接写入目的数据存储，例如将计算后的报表数据直接写入 RDS 进行报表展示。因此流数据的计算结果可以类似流式数据一样持续写入目的数据存储。

4.  流计算引擎大都提供数据存储功能，可对突发流量进行削峰填谷。

本题要求考虑电商平台用户行为的随机性，并具备应对突发数据流量数据的处理能力。在大数据相关技术中，流计算技术是一个很好的选择。流计算可以处理实时、无界的数据流，适应电商平台用户行为的实时性和随机性。同时，流计算具有持续高效的计算能力，确保系统即使在面对突发流量时也能及时处理。另外，流计算引擎提供数据存储功能，可以帮助系统应对突发流量进行削峰填谷，保证系统的稳定性和数据处理能力。因此，流计算技术是一个很好的选择来支持流量分析系统应对突发流量暴增情况。