|
admin 发表于 2021-2-1 02:40:02
34879
110
课程介绍
课程研发环境
Anaconda2-4.2.0（Windows 64和Linux 64位）
pycharm-community-2016.2.3
Python-2.7.9
spark-1.6.1-bin-2.5.0-cdh5.3.6
hadoop-2.5.0-cdh5.3.6
hive-0.13.1-chd5.3.6
一、pyspark环境篇
①python2.7+pycharm环境配置
②anaconda环境配置
③python数据结构及函数使用
④Spark2.x环境配置
2、pyspark基础篇
①配置pyspark模块到pycharm
②基于pyspark编程实现wordcount（词频统计）
③spark-submit提交spark application
④案例：基于pyspark电商网站数据分析
⑤深入理解pyspark内部工作原理
3、pyspark进阶篇
①基于pyspark的sparksql编程（sql和dsl）
②案例：淘宝用户数据分析（集成hive使用）
③如何定义、注册和使用udf
④基于pyspark的sparkstreaming实时计算
⑤案例：实时销售额统计和商品点击趋势分析
4、pyspark项目篇
①实战项目：美国宇航局肯尼迪航天中心web日志
②数据统计：数据总览、http响应状态相关统计分析、客户端相关访问统计分析、uri访问相关统计分析
5、bigdata实战篇
①使用hbase的pyton api访问数据
②实战：爬取电子商务网站的图片和商品信息
③python的爬虫（beautifulsoap和mechnize）
④数据存储hbase表及分析
课程目录
课程一：PySpark课程及环境准备
0101-为什么要学习PySpark编程
0102-ySpark编程的内容大纲
0103-Python介绍、Windows下2.7的安装及测试
0104-PyCharm安装、设置及创建工程和测试
0105-PySpark第三方包的安装配置
0106-基于Python的SparkCore编程模板
0107-解决Windows下开发HDFS相关警告
0108-并行化本地集合创建RDD及RDD初步使用
0109-Python中函数的定义及匿名函数lambda使用
0110-PySpark实现WordCount程序及测试
课程二：PySpark环境准备（二）
0201-回顾上次课程的内容及本次课程提纲
0202-PySpark实现从HDFS读取数据实现WordCount（属性配置）
0203-深入WordCount程序之SortByKey
0204-深入WordCount程序之Top
0205-Anaconda2版本、安装、配置、使用及测试（针对pyspark编程）
0206-Spark自带交互式pyspark命令的使用
0207-pyspark底层架构及如何提交pyspark程序运行
课程三：PySpark基础篇
0301-Linux下源码编译安装Python及测试pyspark程序
0302-快速掌握SparkStandalone及HistoryServer配置与功能使用
0303-运行Python脚本在SparkStandalone集群模式下
0304-案例分析：需求分析及读取数据、过滤清洗转换数据
课程四：PySpark进阶篇（一）
0401-案例分析：浏览量PV和访客数UV分析实现
0402-案例分析：熟悉RDD中其他API函数的使用
0403-PySpark基础使用回顾总结
0404-淘宝数据分析：Python的SparkSQL编程及RDD转换为DataFrame
0405-淘宝数据分析：Python的DataFrame的SQL和DSL数据分析
课程五：PySpark进阶篇（二）
0501-Linux系统配置pyspark及安装PyCharm的配置
0502-pyspark编程SparkSQL从Hive表和MySQL表读取数据及JOIN分析
0503-pyspark中SparkSQL定义函数及在SQL与DSL中使用
0504-基于Python的SparkStreaming从Network读取数据处理
课程六：PySpark项目篇（一）
0601-基于Python的SparkStreaming开发注意事项及自定义输出函数、企业的使用说明
0602-项目实战：数据调研和开发流程
0603-项目实战：pSparkSQL数据读取、数据解析（正则表达式函数）和数据初步清洗
课程七：PySpark项目篇（二）
0701-项目实战：数据清洗过滤（SparkSQL函数使用）
0702-项目实战：数据转换（日期类型数据处理，自定义UDF使用）
0703-高级应用：基于Python语言访问HBase表的数据（Thrift模块及环境配置）
课程八：PySpark项目篇（三）
0801-项目实战：依据需求数据分析编程测试（一）
0802-项目实战：依据需求数据分析编程测试（二）
0803-项目实战：依据需求数据分析编程测试（三）及高级知识扩展
视频截图
资源存放>百度网盘
下载地址
VIP会员全站免金币
IT直通车已为全国各地程序员提供上千G课程资源
如您需要购买本站VIP会员，请点击「开通VIP」享受全站资源免金币无限制下载！
失效反馈
IT直通车所有资源都存放在自己注册的百度网盘，失效可修复，确保持续可用
如您需要的资源链接提示失效，请尽情反馈给我们，将在收到反馈后尽快修复「点击反馈」
获得帮助
需要帮助吗？点击网站右侧在线客服，7X12小时在线！
|
|
[复制链接]
