课程详情
直播课-Spark-求职实战
分享到:
直播课-Spark-求职实战
价格:
2999.00
课程详情
课程周期: 两周 授课老师: Zheng导师
课程: 求职技能

项目概述

大数据工具应用在各大知名APP上,以其强大的储存、处理数据的能力收到互联网巨头的青睐。Spark是继Hadoop之后的主流开源数据处理平台,和其他分布式处理工具相比,处理速度和计算资源消耗上都有明显优势,并且支持多语言,多种数据形式。在为期两周的直播课中,导师将会为你定制个性化课程,手把手教你掌握Spark,带你做企业内部项目,更有助教帮你排忧解难。

导师介绍

Zheng导师,高级工程师,现就职于腾讯,对后端架构,大数据工具以及高QPS服务很有心得。是腾讯十亿级产品的主要开发。

项目详情

阶段一:

1.   学习主流后端服务开发语言:JAVA/Go,掌握linux操作系统,

2.   学习多线程编程,学会用多线程的思维框架分析和解决问题。了解线程锁,线程通信等实用多线程开发知识。

3.   掌握大数据工具:spark。能熟练在Linux系统上搭建大数据工具环境。使用spark处理分析大规模数据,使用spark进行数据建模,调用spark的MLib

阶段二:

1.   使用大数据工具对文章数据进行处理。使用spark进行关键字匹配,实现去重和检索功能。

2.   设计文章质量评定算法,过滤低质量文章

3.   基于文章时效性,多元化、文章的质量以及用户兴趣,构建用户兴趣图谱,对用户推荐潜在兴趣文章涉及模块:数据过滤模块、数据聚合模块、数据融合/优选模块。