ITeye博客

飞天小神猪

天津店小二 · 共 144 篇文章

scala

<!--[if !mso]> <style> v\:* {behavior:url(#default#VML);} o\:* {behavior:url(#default#VML);} w\:* {behavior:url(#default#VML);} .shape {behavior:url(#default#VML);} </style> <![endif]--><!--[if gte mso 9]><xml> <o:OfficeDocumentSettings> <o:RelyOnVML/> <o:AllowPNG/> </o:OfficeDocumentSettings> </xm…

2018-04-23 22:44 · 大数据 · 评论(0)

scala中的wordcount

package com.bjsxt.spark import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.rdd.RDD /** * 统计单词出现的次数。 */ object WordCount { def main(args: Array[String]): Unit = { val conf = new SparkConf() conf.setMaster("local") conf.setAppName("wc") val sc = new SparkCo…

2018-04-23 22:42 · 大数据 · 评论(0)

scala2

actor:哎各特 scala:死噶勒 trait:tree得 tuple:涛破 arrk是什么?arrk的通讯模型。 Akka(阿卡)通讯模型。底层就是调用的Actor(哎特),Actor就类似于线程。 Actor概念:主要是异步的,非阻塞的(老师笔记里有) 第一步:我给你发送消息的时候,我把消息发送到你的消息队列里,我就去做别的了,我不会等你响应。 第二步:我会到我的消息队列里定期查看你是不是给我响应了。 第三步:当你把其他事情做完,并且处理了我的请求之后,你会把这些响应发送到我的消息队列里。那时候我查看的时候就看到了。

2018-04-23 22:33 · 大数据 · 评论(0)

scala中的Akka通讯模型

package com.bjsxt import scala.actors.Actor case class Message(actor:Actor,msg:String) class MyActor1 extends Actor { def act(): Unit = { while(true){ receive { case message:Message =>{ if(message.msg.equals("hello~")){ println("hello~") message.actor ! "hi~" }else if(message.msg.equals("could we h…

2018-04-23 22:30 · 大数据 · 评论(0)

kafka

一、Kafka简介 Kafka是一个分布式的消息队列系统(Message Queue)。 官网: https://kafka.apache.org/ kafka集群有多个Broker(不揉克)服务器组成,每个类型的消息被定义为topic(套屁)。 同一topic内部的消息按照一定的key和算法被分区(partition)存储在不同的Broker上。 消息生产者producer和消费者consumer可以在多个Broker上生产/消费topic 概念理解: Ø Topics and Logs: Topic即为每条发布到Kafka集群的消息都有一个类别,topic在Kafka中可以由多个消费者订…

2018-04-22 23:35 · 大数据 · 评论(0)

zookerpeer

1. Zookeeper:攘其外必先安其内。攘其外:是指zookeeper对外提供了分布式协调服务(例如datanode集群中,协调的意思是指哪个是主哪个是备)。安其内是指对内(也就是他自己)是高可用。对外提供高可用的前提是对内高可用。 2. Server.1=192.168.9.11:2888:3888,server.2=192.168.9.12:2888:3888,server.3=192.168.9.13:2888:3888。Server.1,server.2,server.3中的数字表示myid。其中2888端口是攘其外的时候用的,对外给出主服务器。3888端口是安其内用的,对zoo…

2018-04-22 23:35 · 大数据 · 评论(0)

hadooop

查看博客:http://blog.csdn.net/qq_20641565/article/details/53328279 第一阶段:hadoop hdfs 1. hadoop是大象的意思(哈度破):两个重点是:存(hdfs)、算(yarn) 2. 文件数据分成namenode元数据(基于内存存储)和datanode多节点数据(节点保存的是block数据块)。基于内存存储,但是内存断电会丢失,因此要先持久化到磁盘。 3. edits记录metadata的增删改的操作。fsimage(作用如快照)用来放metadata的。定期将edits和fsimage合并,用其他服务器(其他节点)去做这件…

2018-04-22 23:24 · 大数据 · 评论(0)

jvm调优

1. 方法区又叫永久区,里面放的是.class文件的信息、静态变量、字符串常量、常量池等信息。单词以perm开头 2. 我们能优化的部分是堆内存。 3. 还有堆内存、栈内存。我们能优化的地方是堆内存。 4. Java内存结构图: 堆内存是在java内存结构中占的比例比较大的 5. 一个线程对应一个栈,一个方法对应一个栈针 6. 下面我们来看堆内存 7. 堆内存分为两大块,即新生代和老年代。新生代又分三个, survivor(色外我):幸存者的意思,被垃圾回收之后还幸运的存活下来了。Eden(一电):伊甸园 8. 在我们new对象的时候,会把特别大的对方放在老年代中,其他的对象放在新生代。 9…

2018-04-19 10:44 · 大数据 · 评论(0)

java复习

第一:HashMap相关 1. 介绍hashset: ① hashset底层是个哈希表, ② 构造函数:空构造调用了map的空构造默认初始容量是16,也就是16个水桶(其实就是16个数组),加载因子是0.75倍。 ③ 重写equals方法的之前还要重写hashcode方法,hashcode方法在不重写的时候表示内存地址,重写之后表示一个常量和一个变量经过运算后得到到整数值。 ④ 需要重写hashcode方法和equals方法(两个方法都是比较属性值,hashcode方法是比较部分属性值,equals比较全部属性值),重写hashcode方法的目的是为了决定这个对象在哪个桶中保存。重写equa…

2018-04-19 10:41 · 大数据 · 评论(0)

hive

调优网站:https://www.cnblogs.com/sandbank/p/6408762.html 第一:Hive和关系型数据库的区别 1.Hive将外部的任务解析成一个MapReduce可执行计划,而启动MapReduce是一个高延迟的一件事,每次提交任务和执行任务都需要消耗很多时间,这也就决定Hive只能处理一些高延迟的应用(如果你想处理低延迟的应用,你可以去考虑一下Hbase)。即:hive不能像传统数据库那样完成实时交互式查询。 2.Hive目前还不支持事务;不能对表数据进行修改(不能更新、删除、插入;只能通过文件追加数据、重新导入数据); 3.不能对列建立索引(但是Hive支…

2018-04-17 08:40 · 大数据 · 评论(0)

大数据集群搭建

NN-1 NN-2 DN Node001 1 Note002 1 1 Note003 1 Note004 1 表1-1(hdfs完全分布式) NN-1 NN-2 DN ZK ZKFC JNN Node001 1 1 1 Note002 1 1 1 1 1 Note003 1 1 1 Note004 1 1 表1-2(hdfs高可用分布式) NN-1 NN-2 DN ZK ZKFC JNN RS NM Node001 1 1 1 Note002 1 1 1 1 1 1 Note003 1 1 1 1 1 Note004 1 1 1 1 表1-3(hdfs+yarn(mapreduce) 高可用…

2018-03-21 23:34 · 大数据 · 评论(0)

hbase

第一:hbase介绍 1. HBase是列式存储的非关系型数据库。它是Key、Value的存储方式。创建表的时候至少要有一个列族,创建表后要先启用表,删除表的时候要先禁用表 2. hive数据库是建立在mapreduce上,简化mapreduce操作的。Hbase基于hadoop,将数据存储在hdfs中。 3. hbase数据模型 3.数据模型分析: 上图中是一行数据,因为rowkey唯一确定一行数据。Cf1、cf2、cf3为列族,任何一个列都归属于一个列族。Timestamp时间戳,此时间戳作为数据的版本,高版本在上面存放。 3.1.Rowkey的特点: ①.一个key值决定一行数据 ②.…

2018-03-21 22:55 · 大数据 · 评论(0)

hive

第一:Hive和关系型数据库的区别 1.Hive将外部的任务解析成一个MapReduce可执行计划,而启动MapReduce是一个高延迟的一件事,每次提交任务和执行任务都需要消耗很多时间,这也就决定Hive只能处理一些高延迟的应用(如果你想处理低延迟的应用,你可以去考虑一下Hbase)。即:hive不能像传统数据库那样完成实时交互式查询。 2.Hive目前还不支持事务;不能对表数据进行修改(不能更新、删除、插入;只能通过文件追加数据、重新导入数据); 3.不能对列建立索引(但是Hive支持索引的建立,但是不能提高Hive的查询速度。如果你想提高Hive的查询速度,请学习Hive的分区、桶的应…

2018-03-21 18:17 · 大数据 · 评论(0)

hbase代码

package com.sxt.hbase; import java.io.IOException; import java.text.SimpleDateFormat; import java.util.ArrayList; import java.util.List; import java.util.Random; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.CellUtil; import org.apa…

2018-03-21 18:06 · 大数据 · 评论(0)

hadoop

查看博客:http://blog.csdn.net/qq_20641565/article/details/53328279 第一阶段:hadoop hdfs 1. hadoop是大象的意思(哈度破):两个重点是:存(hdfs)、算(yarn) 2. 文件数据分成namenode元数据(基于内存存储)和datanode多节点数据(节点保存的是block数据块)。基于内存存储,但是内存断电会丢失,因此要先持久化到磁盘。 3. edits记录metadata的增删改的操作。fsimage(作用如快照)用来放metadata的。定期将edits和fsimage合并,用其他服务器(其他节点)去做这件…

2018-03-21 18:04 · 大数据 · 评论(0)