今天就跟大家聊聊有關(guān)Spark Streaming結(jié)合Flume和Kafka的日志分析是怎樣的，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

創(chuàng)新互聯(lián)總部坐落于成都市區(qū)，致力網(wǎng)站建設(shè)服務(wù)有做網(wǎng)站、成都網(wǎng)站制作、網(wǎng)絡(luò)營(yíng)銷策劃、網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站維護(hù)、公眾號(hào)搭建、微信平臺(tái)小程序開發(fā)、軟件開發(fā)等為企業(yè)提供一整套的信息化建設(shè)解決方案。創(chuàng)造真正意義上的網(wǎng)站建設(shè)，為互聯(lián)網(wǎng)品牌在互動(dòng)行銷領(lǐng)域創(chuàng)造價(jià)值而不懈努力！

Spark Streaming結(jié)合Flume、Kafka的日志分析

1.修改相應(yīng)的配置文件

按照 http://my.oschina.net/sunmin/blog/692994

整合安裝Flume+Kafka+SparkStreaming

將flume/conf/producer.conf將需要監(jiān)控的日志輸出文件修改為本地的log 路徑:
/var/log/nginx/www.eric.aysaas.com-access.log

2.導(dǎo)入相關(guān) jar 包

（快捷鍵 Ctrl + Alt + Shift + s），點(diǎn)擊Project Structure界面左側(cè)的“Modules”顯示下圖界面

jar 包自己編譯,或者去載  http://search.maven.org/#search|ga|1|g%3A%22org.apache.spark%22%20AND%20v%3A%221.6.1%22

3.新建log/KafkaTest.scala 代碼如下

import kafka.serializer.StringDecoder
import org.apache.spark.SparkConf
import org.apache.spark.streaming.dstream.DStream
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.kafka.KafkaUtils

/**
  * flume+kafka+SparkStreaming 實(shí)時(shí) nginx 日志獲取
  * Created by eric on 16/6/29.
  */
object KafkaLog {

  def main(agrs: Array[String]): Unit = {

    val sparkConf = new SparkConf().setMaster("local[1]").setAppName("StreamingTest")
    val ssc = new StreamingContext(sparkConf, Seconds(20))//代表一個(gè)給定的秒數(shù)的實(shí)例

    val topic = "HappyBirthDayToAnYuan"
    val topicSet = topic.split(" ").toSet

    //用 brokers and topics 創(chuàng)建 direct kafka stream
    val kafkaParams = Map[String, String]("metadata.broker.list" -> "localhost:9092")

    //直接從 kafka brokers 拉取信息,而不使用任何接收器.
    val messages = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](
      ssc, kafkaParams, topicSet
    )
    val lines = messages.map(_._2)
    lines.print()
    val words: DStream[String] = lines.flatMap(_.split("\n"))
    words.count().print()

    //啟動(dòng)
    ssc.start()
    ssc.awaitTermination()
  }
}

4.Test

訪問本地頁(yè)面產(chǎn)生日志 http://www.eric.aysaas.com/app/admin

在這20秒內(nèi)總共產(chǎn)生的日志行數(shù)為：

看完上述內(nèi)容，你們對(duì)Spark Streaming結(jié)合Flume和Kafka的日志分析是怎樣的有進(jìn)一步的了解嗎？如果還想了解更多知識(shí)或者相關(guān)內(nèi)容，請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝大家的支持。

網(wǎng)站題目：SparkStreaming結(jié)合Flume和Kafka的日志分析是怎樣的
地址分享：http://jinyejixie.com/article28/jjigcp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計(jì)公司、網(wǎng)站制作、ChatGPT、軟件開發(fā)、網(wǎng)站策劃、動(dòng)態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)