试题三  论数据湖技术及其应用

近年来，随着移动互联网、物联网、工业互联网等技术的不断发展，企业级应用面临的数据规模不断增大，数据类型异常复杂。针对这一问题，业界提出“数据湖（Data Lake)”这一新型的企业数据管理技术。数据湖是一个存储企业各种原始数据的大型仓库，支持对任意规模的结构化、半结构化和非结构化数据进行集中式存储，数据按照原有结构进行存储，无须进行结构化处理；数据湖中的数据可供存取、处理、分析及传输，支撑大数据处理、实时分析、机器学习、数据可视化等多种应用，最终支持企业的智能决策过程。

 

请围绕“数据湖技术及其应用”论题，依次从以下三个方面进行论述。

1.概要叙述你所参与管理或开发的软件项目，以及你在其中所承担的主要工作。

2.详细阐述数据湖技术，并从主要数据来源、数据模式（Schema）转换时机、数据存储成本、数据质量、面对用户和主要支撑应用类型等5个方面详细论述数据湖技术与数据仓库技术的差异。

3.详细说明你所参与的软件开发项目中，如何采用数据湖技术进行企业数据管理，并说明具体实施过程及应用效果。

【试题三：论数据湖技术及其应用】写作要点

1．简要叙述所参与的大数据或数据湖系统项目，并明确指出在其中承担的职务和主要工作。

2．分析并阐述数据湖技术：

1) 大数据的由来和表现。

2) 大数据5V特性

3) 大数据与数据仓库

4) 数据仓库的4个特性

3. 分析并阐述数据湖技术：

1) 数据仓库的缺点

2) 数据湖的技术特点

3) 数据湖的概念

4) 数据库的特性

4. 分析并对比数据湖(Data Lake, DL)与数据仓库(Data Warehouse, DW)

1) 数据来源

DW：从外部数据源获取

DL：既可从外部数据源获取，也可从外部应用或外部存储获取

1) 数据模式（Schema）转换时机

DW：采用ETL

DL：既支持ETL，也支持ELT

2) 数据存储成本

DW：通常采用ODS-DWD-DW-DM-ST五层架构，存储成本高

DL：通常采用原始数据和流计算，存储成本低

3) 数据质量

DW：依赖数据治理规范，ELT过程损失数据准确度和精度，质量较低

DL：存储原始数据，不损失数据准确度和精度，质量高

5) 面对用户和主要支撑应用类型

DW：联机分析(OLAP)和决策支持(DSS)

DL：物联网、人工智能和以智能制造、智慧城市等为代表的智能赋能应用

5．结合自身参与项目的实际状况，阐述数据湖技术在实际项目中的实施过程和应用效果。

本题要求围绕"数据湖技术及其应用"进行论述。首先，需要简要介绍参与的项目及在其中承担的主要工作；其次，需要详细阐述数据湖技术，并从数据来源、数据模式转换时机、数据存储成本、数据质量和面对的用户及主要支撑应用类型等五个方面详细论述数据湖技术与数据仓库技术的差异；最后，需要详细说明在项目中如何采用数据湖技术进行企业数据管理，包括具体实施过程及应用效果。