当前位置:网站首页 > 数据工程 > 正文

特征工程怎么做(如何做特征工程)



特征工程的主要步骤分6步:
1.特征理解,学习如何识别定量数据和定性数据
2.特征增强,清洗和填充缺失值,最大化数据集的价值
3.特征构建,构建新的特征,探索特征间的联系
4.特征选择,通过统计方法选择一部分特征,以减少数据噪声
5.特征转换,提取数据中的隐藏结构,用数学方法转换数据集,增强效果
6.特征学习,用简单的神经网络学习特征





 
  

数据可以分为四个等级:

等级 属性 描述性统计 图表 定类 离散 无序 频率/占比,众数 条形图,饼图 定序 有序类别 比较 频率,众数,中位数,百分位数 条形图,饼图,茎叶图 定距 数字差别有意义 频率,众数,中位数,均值,标准差 条形图,饼图,茎叶图,箱线图,直方图 定比 连续 均值,标准差 直方图,箱线图

二、特征增强
一下均假设得到的数据集为df,x为df的自变量集合,y为df的因变量集合
1.删除无数据的行

 
  

在删除了之后需要比较一下各列均值的变化

 
  
 
  

使用填充器填充

 
  
 
  
 
  
 
  

(2)min-max标准化,使得所有值在0-1之间

 
  

(3)行归一化,使得每行的向量长度相同

 
  

三、特征构建
1.自定义填充器
(1)自定义分类填充器

 
  

(2)自定义分量填充器

 
  
 
  

(2)定序等级的编码

 
  
 
  
 
  

(2)tf-idf向量化

 
  

四、特征选择
1.基于统计的特征选择
(1)皮尔逊相关系数

 
  

(2)假设检验

 
  
 
  

根据阈值进行模型选择

 
  
 
  
 
  

2.线性判别分析,用于对数据分类划分出决策边界

 
  

(未完)

到此这篇特征工程怎么做(如何做特征工程)的文章就介绍到这了,更多相关内容请继续浏览下面的相关 推荐文章,希望大家都能在编程的领域有一番成就!

版权声明


相关文章:

  • 大数据课程工程师培训(大数据工程师培训费)2026-01-14 18:45:08
  • 特征工程的目的不包括(特征工程的目的不包括)2026-01-14 18:45:08
  • 数据特征工程(数据特征工程主要包括哪些步骤)2026-01-14 18:45:08
  • 模型研发工程师(模型研发工程师工作内容)2026-01-14 18:45:08
  • 特征工程的目的和意义(特征工程的目的和意义怎么写)2026-01-14 18:45:08
  • 数据特征工程的含义(数据特征分析的定义)2026-01-14 18:45:08
  • 存储工程师面试题目(存储工程师面试题目和答案)2026-01-14 18:45:08
  • 模型工程师是什么意思(模型工程师是什么意思啊)2026-01-14 18:45:08
  • 特征工程的目的不包括(特征工程的作用)2026-01-14 18:45:08
  • 数据特征工程如何写简历(数据分析特征工程)2026-01-14 18:45:08
  • 全屏图片