這篇文章主要介紹“spark讀取hbase的數(shù)據(jù)實例代碼”，在日常操作中，相信很多人在spark讀取hbase的數(shù)據(jù)實例代碼問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”spark讀取hbase的數(shù)據(jù)實例代碼”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

成都創(chuàng)新互聯(lián)公司專注于黃山企業(yè)網(wǎng)站建設,成都響應式網(wǎng)站建設公司,成都做商城網(wǎng)站。黃山網(wǎng)站建設公司,為黃山等地區(qū)提供建站服務。全流程定制網(wǎng)站制作，專業(yè)設計，全程項目跟蹤，成都創(chuàng)新互聯(lián)公司專業(yè)和態(tài)度為您提供的服務

package hgs.spark.hbase
///tupian/20230522/52675901
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.hadoop.hbase.HBaseConfiguration
import org.apache.hadoop.hbase.mapreduce.TableInputFormat
import org.apache.hadoop.hbase.client.Scan
import org.apache.hadoop.hbase.filter.FilterList
import org.apache.hadoop.hbase.filter.FilterList.Operator
import org.apache.hadoop.hbase.filter.RowFilter
import org.apache.hadoop.hbase.filter.RegexStringComparator
import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp
import org.apache.hadoop.hbase.protobuf.ProtobufUtil
import org.apache.hadoop.hbase.util.Base64
import org.apache.hadoop.hbase.util.Bytes
import org.apache.hadoop.hbase.filter.LongComparator
object HbaseToSpark {
  def main(args: Array[String]): Unit = {
    //System.setProperty("spark.serializer", "org.apache.spark.serializer.KryoSerializer");
    val conf = new SparkConf
    
    conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
    conf.setMaster("local").setAppName("hbasedata")
    
    val context =  new SparkContext(conf)
    //hbase配置
    val hconf =  new HBaseConfiguration
    hconf.set("hbase.zookeeper.quorum", "bigdata00:2181,bigdata01:2181,bigdata02:2181")
    hconf.set("hbase.zookeeper.property.clientPort", "2181")
    hconf.set(TableInputFormat.INPUT_TABLE, "test")
    val scan = new Scan
    //掃描的表rowkey的開始和結束
    scan.setStartRow("1991".getBytes)
    scan.setStopRow("3000".getBytes)
    //val list = new FilterList(Operator.MUST_PASS_ALL)
    //val filter1 = new RowFilter(CompareOp.GREATER_OR_EQUAL,new LongComparator(1991))
    //val filter2 = new RowFilter(CompareOp.LESS_OR_EQUAL,new RegexStringComparator("3000*"))
    
   // list.addFilter(filter1)
   // list.addFilter(filter2)
   //scan.setFilter(list)
    //添加scan
    hconf.set(TableInputFormat.SCAN, convertScanToString(scan))
    
    val hrdd = context.newAPIHadoopRDD(hconf,
        classOf[TableInputFormat],
        classOf[org.apache.hadoop.hbase.io.ImmutableBytesWritable],  
        classOf[org.apache.hadoop.hbase.client.Result])
        
    val resultrdd = hrdd.repartition(2)
    //打印結果
    resultrdd.foreach{case(_,value)=>{
        val key = Bytes.toString(value.getRow)
        val name = Bytes.toString(value.getValue("cf1".getBytes, "name".getBytes))
        val age = Bytes.toString(value.getValue("cf1".getBytes, "age".getBytes))
        println("rowkey:"+key+" "+"name:"+name+" "+"age:"+age)
      }
    }
    
    context.stop()
    
  }
  
    def convertScanToString(scan: Scan) = {
    val proto = ProtobufUtil.toScan(scan)
    Base64.encodeBytes(proto.toByteArray)
  }
    
}

到此，關于“spark讀取hbase的數(shù)據(jù)實例代碼”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續(xù)學習更多相關知識，請繼續(xù)關注創(chuàng)新互聯(lián)-成都網(wǎng)站建設公司網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>

當前名稱：spark讀取hbase的數(shù)據(jù)實例代碼-創(chuàng)新互聯(lián)
分享路徑：http://jinyejixie.com/article10/jipgo.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)建站、網(wǎng)站收錄、企業(yè)建站、關鍵詞優(yōu)化、網(wǎng)站排名、移動網(wǎng)站建設

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)