算法流程-什么是特征工程

1.了解需求，获取数据。与产品和运营开会，了解需求，然后提取公司积累大量的数据和自己网上下载、爬取的数据。



2.数据预处理。数据处理大概会占到整个50%-70%的工作量，通过数据洗清、分词、词性标注、去停用词四个大的方面来完成语料的预处理工作。



3.特征工程。做完语料预处理之后，接下来需要考虑如何把分词之后的字和词语表示成计算机能够计算的类型。把中文分词的字符串转换成数字，有两种常用的表示模型分别是词袋模型和词向量。



4.特征选择。构造好的特征向量，是要选择合适的、表达能力强的特征。特征选择是一个很有挑战的过程，更多的依赖于经验和专业知识，并且有很多现成的算法来进行特征的选择。



5.模型训练。对于不同的应用需求，我们使用不同的模型，传统的有监督和无监督等机器学习模型，如 KNN、SVM、Naive Bayes、决策树、GBDT、K-means 等模型；深度学习模型比如 CNN、RNN、LSTM、 Seq2Seq、FastText、TextCNN 等。



6.评价指标。训练好的模型，上线之前要对模型进行必要的评估，目的让模型对语料具备较好的泛化能力。



7.模型上线应用。模型线上应用，线下训练模型，然后将模型做线上部署，发布成接口服务以供业务系统使用。