在系统规划与管理师的备考过程中，数据预处理技术是一个重要的知识点。
一、总体概述
数据预处理就像是给原始数据做一次全面的清洁和整理工作，目的是为了让数据更适合后续的分析和应用。它包含了很多方面，其中缺失值处理和异常值检测尤为关键。
二、缺失值处理
1. 填充
- 知识点内容：
- 均值填充是一种常见的方法。如果某一列数据存在缺失值，我们可以计算这一列非缺失值的平均值，然后用这个平均值来填充缺失的部分。例如，对于一组学生的考试成绩数据，若数学成绩中有几个空缺，计算其余有成绩学生的数学平均分，再将这个平均分填入空缺处。
- 中位数填充也有应用场景。当数据存在偏态分布时，中位数比均值更能代表数据的中心趋势。比如在统计员工工资时，少数高收入者可能拉高平均工资，此时用工资的中位数填充缺失值会更合理。
- 还有众数填充，适用于分类数据。如在统计员工的性别信息时，若有缺失部分，可根据出现频率最高的性别（众数）进行填充。
- 学习方法：
- 要理解每种填充方法的适用场景。可以通过做一些简单的案例练习来掌握，比如自己构造一些包含缺失值的数据集，然后分别用不同方法进行填充，并分析结果。
- 对比不同填充方法对数据分析结果的影响。例如在进行数据分析建模前后的对比，看哪种填充方式能让模型的准确性更高。
- 删除
- 知识点内容：
- 当缺失值的比例较小时，可以考虑直接删除含有缺失值的行或者列。比如在一个包含大量客户信息的数据集里，如果某一列客户的联系电话只有极少数几个缺失，且这一列对整体分析影响不大，就可以直接删除这几个有缺失值的行。
- 学习方法：
- 要明确删除的条件。需要设定一个缺失值比例的阈值，在备考中要牢记这个阈值的合理范围，并且能够根据实际数据情况判断是否满足删除条件。
三、异常值检测
1. Z - score法
- 知识点内容：
- Z - score是基于正态分布的概念。它的计算公式为$Z=(x - \mu)/\sigma$，其中$x$是观测值，$\mu$是均值，$\sigma$是标准差。如果计算得到的$Z$值超过了一定的阈值（通常$\vert Z\vert>3$就被认为是异常值），那么这个观测值就是异常值。例如，在统计某产品的质量指标数据时，若计算出某个产品的某项指标的$Z$值大于3，就表明这个产品在该项指标上可能是异常的。
- 学习方法：
- 深入理解正态分布的性质与Z - score的计算原理。可以通过画图的方式来直观地理解$Z$值与异常值的关系。
- 多做一些实际数据的计算练习。找一些带有异常值的数据集，按照Z - score法的步骤进行计算，并找出异常值。
四、总结
数据预处理技术中的缺失值处理和异常值检测是相辅相成的。在实际的系统规划与管理工作中，正确处理这些数据问题能够提高数据的准确性和可靠性，从而为后续的数据分析、决策制定等工作奠定良好的基础。在备考过程中，要熟练掌握这些知识点的相关概念、方法以及适用场景，这样才能在考试中应对自如。
喵呜刷题：让学习像火箭一样快速，快来微信扫码，体验免费刷题服务，开启你的学习加速器！
