数据特征工程（数据分析特征工程）



本文部分内容为了上传便捷使用截图。

数据分析流程

特征工程框架图：

拿到数据的第一件事情当然是看数据怎么样了，也就是看里面有什么特征，这些特征是什么意思，这个过程叫做特征理解。

看看数据是不是结构化的，是不是有空缺数据，用一些图形看看数据长什么样？

这一步要做的是在数据理解的基础上，得到一个比较整齐的数据。

把未结构化的数据结构化、缺失值处理、对数据标准化。其中标准化包括z-socre标准化，min-max标准化，还有L1和L2正则化。

这一步完成以后，我们基本上得到了一个干净、整齐一点的数据。

但是这并不能保证我们的数据是和我们的模型强相关的，我们还不能把这些数据用在模型里面，还需要后续的处理。

有些特征和我们的模型不相关、有些特征是关联的，只需要保留一个就可以了。所以，我们要对这些特征进行选择处理。

从我们已有的特征里面构建未有的特征，比如从图像的像素里面构建出来是哪类物体的特征。还有一种特征构建是从另外一个已有的数据集里面构建，比如匹配某个人的信息，这个过程叫做实体匹配。

这一步里面重要的一步是特征约减，比如使用PCA算法进行降维处理。从众多的特征中选择对分类最重要的那些特征，去除原数据中的噪音。

让我们使用机器学习算法来进行特征的学习，典型的如神经网络，它里面就有这种思想。

以上内容为本小编日常学习中的笔记总结，仅供参考。

如果错误之处，欢迎批评指正！

版权声明：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！

转载请注明出处，原文链接：https://www.xkablog.com/kjbd-gc/82911.html