大数据可视化技术调研报告
功能需求(拟定)
实时监控并展示服务器中的Hadoop集群运行状况,包括节点进程的运行与通信日志(报错的捕捉与报警)、存储空间的变化、配置文件信息等。
数据信息的图形化展示,展示数据库与数据表的信息(比如),
交互式的数据分析,封装好一些常用的SQL查询,能够在图形化界面操作直接展示表格与图形结果;封装一些数据分析算法并提供数据输入和参数设定的接口,能根据不同的数据源和参数选择实时运行出不同的实验结果。
提供自定义代码入口,在以后的研究中可以随时添加尚未封装进去的新的数据分析功能。
大数据VS传统可视化
面向的数据对象:大数据可视化工具必须能够处理半结构化和非结构化数据(大数据通常具有这种格式)
维度选择:需要做到精确,如果减小维度以使可视化程度降低,则可能最终会丢失有用的模式,但是如果使用所有维度,最终可能会导致可视化过于密集而无法用于可视化。
实时性:必须适应大数据的爆炸式增长需求,必须快速地收集分析数据、并对数据信息进行实时更新。
多种数据集成支持方式:大数据的数据来源不仅仅局限于数据库,数据可视化工具需要能够支持团队协作数据、数据仓库、文本等多种方式,并能够通过互联网进 ...
Hadoop组件端口汇总
各组件版本
Hadoop 3.3.0
ZooKeeper 3.5.8
HBase 2.2.6
Hive 3.1.2
HDFScore-site.xml
hdfs-site.xml
节点
默认端口
配置项
用途说明
NameNode
9000
hadoop/etc/hadoop/core-site.xml中的fs.defaultFS
接收Client连接的RPC端口,用于获取文件系统metadata信息
NameNode
9870
hadoop/etc/hadoop/hdfs-site.xml中的dfs.namenode.http-address
http服务的端口
DataNode
9866
hadoop/etc/hadoop/hdfs-site.xml中的dfs.datanode.address
datanode服务端口,用于数据传输
DataNode
9867
hadoop/etc/hadoop/hdfs-site.xml中的dfs.datanode.ipc.address
datanode ipc服务的端口
DataNode
9864
hadoop/ ...
Java学习笔记(七)——面向对象(封装、继承、多态)
参考教程JDK8帮助文档
狂神说Java视频
封装程序设计要求:高内聚,低耦合
高内聚:类的内部数据操作细节自己完成,不允许外部干涉
低耦合:尽量暴露少量的方法给外部使用
封装(数据的隐藏):通常应禁止直接访问一个对象中数据的实际表示,而应通过操作接口来访问,这称为信息隐藏。
REMEMBER:属性私有,get/set
关键字:private
1234567891011121314151617181920212223242526272829303132333435public class Student { //属性私有,利用修饰符关键字private private String name; private int id; private char sex; private int age; //提供一些可以操作private属性的方法: //public的get&set方法 //get:获得属性数据 public String getName(){ return this.name; ...
Java学习笔记(六)——面向对象(基础部分)
参考教程JDK8帮助文档
狂神说Java视频
面向过程VS面向对象面向过程思想:
步骤清晰简单,第一步做什么,第二步做什么……
面对过程适合处理一些较为简单的问题
面向对象思想:
物以类聚,分类的思维模式,思考问题首先会解决问题需要哪些分类,然后对这些分类进行单独思考。最后,才对某个分类下的细节进行面向过程的思索。
面向对象适合处理复杂的问题,适合处理需要多人协作的问题
对于描述复杂的事物,为了从宏观上把握、从整体上合理分析,我们需要使用面向对象的思路来分析整个系统。但是,具体到微观操作,仍然需要面向过程的思路去处理。
面向对象概念面向对象编程(Object-Oriented Programming,OOP)本质:以类的方式组织代码,以对象的形式封装数据。
抽象:把对象的相似点抽取出来,组成一个类
三大特性:
封装
继承
多态
从认识论角度考虑:先有对象后有类。对象是具体的事物,类是对对象的抽象。
从代码运行角度考虑:先有类后有对象,类是对象的模板。
类与对象的关系
类是一种抽象的数据类型,它是对某一类事物整体描述定义,但是并不能代表某一个具体的事物。
对象是抽象概念的 ...
Java学习笔记(五)——数组
参考教程JDK8帮助文档
狂神说Java视频
数组概念
数组是相同类型数据的有序集合。
数组描述的是相同类型的若干个数据,按照一定的先后次序排列组合而成。
其中,每一个数据称作一个数组元素,每个数组元素可以通过一个下标来访问它们。
数组的声明123dataType[] arrayRefVar;//首选方法或dataType arrayRefVar[];//效果相同,不是首选
Java使用new来创建数组:
1dataType[] arrayRefVar = new dataType[arratSize];
获取数组长度:arrays.length
1234567891011121314151617181920212223242526public class Create { public static void main(String[] args) { //定义的通式:变量类型 变量名字 = 变量的值; //数组类型:基本类型[] int[] nums1;//定义 int nums2[];//C++风 ...
Java学习笔记(四)——方法
参考教程JDK8帮助文档
狂神说Java视频
方法的概念
Demo:
123456789101112public class Base { //main方法 public static void main(String[] args) { int sum = add(1,2);//实参在此 System.out.println(sum); } //加法 public static int add(int a, int b){//形参在此 return a+b; }}
与C中函数的区别:函数(function)是面向过程的叫法,方法(method)是面向对象的叫法。
方法定义123456修饰符 返回值类型 方法名(参数类型 参数名){ ... 方法体 ... return 返回值;}
修饰符:可选,告诉编译器如何调用该方法。定义了该方法的访问类型。
返回值类型:方法可能会返回值。returnValueTyp ...
Java学习笔记(三)——流程控制类语法
参考教程JDK8帮助文档
狂神说Java视频
Scanner对象通过java.util.Scanner类来获取用户的输入。基本语法:
1Scanner s = new Scanner(System.in);
获取输入的字符串:next()和nextLine()方法
判断是否还有输入的数据:hasNext()和hasNextLine()方法
1234567891011121314151617181920212223242526272829import java.util.Scanner;public class base { public static void main(String[] args) { //创建一个扫描器对象用于接收键盘数据 Scanner scanner = new Scanner(System.in); System.out.println("使用next方式接收:"); //判断用户有没有输入字符串 if (scanner.hasNext())& ...
Java学习笔记(二)——入门基础语法
参考教程JDK8帮助文档
狂神说Java视频
JDK、JRE、JVM
HelloWorld、注释、标识符12345678910111213public class HelloWorld {//类 public static void main(String[] args) {//方法 //单行注释 System.out.println("Hello"); /* 多行注释 */ String $hello="World";//变量 String _hello="World";//标识符大小写敏感 }}
所有的关键字
数据类型类型
12345678910111213141516171819public class type { public static void main(String[] args) { //八大基本数据类型 ...
大数据学习笔记——Shell入门
参考教程B站视频:尚硅谷Shell教程(shell自动化编程精讲)
Shell概述
Shell解析器
Linux提供的Shell解析器
1234567[cuper@iZe4h75o51zvd0Z ~]$ cat /etc/shells/bin/sh #重要/bin/bash #重要/sbin/nologin/bin/dash/bin/tcsh/bin/csh
bash和sh的关系
123[cuper@iZe4h75o51zvd0Z bin]$ ll | grep bash-rwxr-xr-x 1 root root 1219248 Nov 9 2019 bashlrwxrwxrwx 1 root root 4 Nov 9 2019 sh -> bash
sh为bash的软链接,功能一样。
CentOS默认的解析器
12[cuper@iZe4h75o51zvd0Z bin]$ echo $SHELL/bin/bash
Shell脚本入门脚本格式脚本以#!/bin/bash开头:指定解析器
Shell脚本注释即以”#“开头。
...
大数据学习笔记——Linux相关操作
参考教程B站视频:尚硅谷大数据Linux教程(大数据linux开发)
视频评论区的学习笔记
Linux的文件目录结构在Linux的世界里,一切皆文件。
/bin (/usr/bin 、/usr/local/bin):是Binary的缩写,这个目录存放着最经常使用的命令。
/sbin (/usr/sbin 、/usr/local/sbin):s就是Super User的意思,这里存放的是系统管理员使用的系统管理程序。
/home :存放普通用户的主目录, 在linux中每个用户都有一一个自己的目录,一般该目录名是以用户的账号命名的。
/root:该目录为系统管理员,也称作超级权限者的用户主目录。
/lib:系统开机所需要最基本的动态连接共享库,其作用类似于Windows里的DLL文件。几乎所有的应用程序都需要用到这些共享库。
/lost+found:这个目录一般情况下是空的,当系统非法关机后,这里就存放了一些文件。
/etc:所有的系统管理所需要的配置文件和子目录my.conf。
/usr:这是一个非常重要的目录,用户的很多应用程序和文件都放在这个目录下,类似于wind ...