為了賬號安全,請及時綁定郵箱和手機立即綁定

Spark SQL分析Nginx訪問日志

小簡同學 全棧工程師
難度中級
時長 2小時40分
學習人數
綜合評分10.00
1人評價 查看評價
10.0 內容實用
10.0 簡潔易懂
10.0 邏輯清晰
簡介:本課中將系統的講解Spark SQL的核心知識,并以實戰的方式,通過分析Nginx訪問日志的實戰例子,幫助同學們領略SparkSQL強大簡便的數據分析能力,洞悉SparkSQL調優方式及其核心思想。

第1章 課程介紹

本章介紹Spark SQL在Spark生態圈的地位和作用,讓大家對Spark SQL 的總體知識框架有個大概的輪廓。

第2章 認識Spark SQL

本章介紹Spark SQL運行原理,DataFrame、DataSet和RDD的相互轉化和使用場景,并講解Parquet的使用。

第4章 自定義函數和開窗函數

本章講解自定義函數的使用,以及開窗函數在分組求TopN中的應用。

第6章 課程總結

本章將以思維導圖的方式對本課程所有知識做一個總結,并再次突出其中的重點。
課程須知
本課程不是Spark零基礎入門課程,需要同學們在學習之前: 1、熟悉Spark的RDD是什么 2、用Spark Shell寫過簡單的迭代運算 3、使用過Scala開發簡單的Spark項目 4、了解Hadoop的HDFS原理 5、了解Hive的簡單使用 6、了解Linux基本命令 7、有Java開發基礎
老師告訴你能學到什么?
1、DataFrame/DataSet查詢操作(過濾,分組,排序) 2、Spark SQL自定義函數和窗口函數 3、Parquet列式存儲
意見反饋 幫助中心 APP下載
官方微信
全年六肖无错期期