大数据挖掘比赛咋分工

Question

如题所述

Answer 1

1、数据集的分割：组长负责对数据集进行抽样、采样和筛选，将数据集分割成学习集、测试集以及验证集。 2、处理、清洗数据：组员根据组长分割的数据集，对特征数据和结果数据进行清洗和处理，归一化等。 3、特征工程：组员和组长共同分析特征数据，挑选有效可用性最强的特征进行构建，尝试不同的特征选择算法。 4、合理组合模型：组长针对不同的特征组合，尝试多种模型，如决策树、随机森林、支持向量机等，找出最佳的特征组合和模型组合。 5、算法调优：组员负责组长调参选择后的模型参数调优，以获得最好的效果。 6、对结果进行验证：组员和组长共同验证最终的模型和结果，确保数据挖掘比赛可靠性。

Answer 2

安徽省大数据与人工智能竞赛经验分享
人员分工任务 按照比赛要求,每个队伍可有1-3人,按照通常的方式,我将队伍人数假设为3人(队员1,队员2,队员3) 大数据环境搭建每个人都需要会,这是基础技能。队员2,3在做题过程中也需要Linux一些命令的使用,并且前期练习也要在自己搭建好的平台上练习。队员1也要负责人工智能部分环境的搭建,队员3也要熟练搭建,前期练习也是在自己的电脑上练习。 队员2主要任务就是Mapreduce原理的java实现。同时,spark的应用也可以学习,scala语言的规律个人觉得类似于Java与Python融合,所以一个人负责此部分,可以更好的连贯。 队员3负责的内容多,但是难度不大,得分容易。但内容零碎。SparkSQL与Hive SQL类似,Python数据挖掘与可视化都对Python语言有要求,可以做到连贯操作。
查看更多

CSDN技术社区
提供内容

有用


评论

做一个大数据项目一个团队一般如何分工的? - 百度知道
1个回答回答时间：2016年12月31日

最佳回答：我们项目组当时分组情况如下：信息采集组、数据清洗组、数据融合组、数据挖掘组、数据可视化组。根据每组的...
百度知道

Answer 3

安徽省大数据与人工智能竞赛经验分享
人员分工任务 按照比赛要求,每个队伍可有1-3人,按照通常的方式,我将队伍人数假设为3人(队员1,队员2,队员3) 大数据环境搭建每个人都需要会,这是基础技能。队员2,3在做题过程中也需要Linux一些命令的使用,并且前期练习也要在自己搭建好的平台上练习。队员1也要负责人工智能部分环境的搭建,队员3也要熟练搭建,前期练习也是在自己的电脑上练习。 队员2主要任务就是Mapreduce原理的java实现。同时,spark的应用也可以学习,scala语言的规律个人觉得类似于Java与Python融合,所以一个人负责此部分,可以更好的连贯。 队员3负责的内容多,但是难度不大,得分容易。但内容零碎。SparkSQL与Hive SQL类似,Python数据挖掘与可视化都对Python语言有要求,可以做到连贯操作。
查看更多

CSDN技术社区
提供内容

有用


评论

做一个大数据项目一个团队一般如何分工的? - 百度知道
1个回答回答时间：2016年12月31日

最佳回答：我们项目组当时分组情况如下：信息采集组、数据清洗组、数据融合组、数据挖掘组、数据可视化组。根据每组的...
百度知道