流量分析系统---启动流程
killall -9 java
zookeeper:
每台机子都要执行
#启动
zkServer.sh start
#查看状态
zkServer.sh status
#停止
zkServer.sh stop
kafka
每台机子都要执行
#启动
nohup kafka-server-start.sh /export/servers/kafka/config/server.properties &
#停止
kafka-server-stop.sh
flume
#在mini1启动flume客户端
./bin/flume-ng agent -n a1 -c conf -f conf/myconf/exec.conf -Dflume.root.logger=INFO,console
storm
1、master中启动nimbus和ui:(mini1) nohup storm nimbus & nohup storm ui &
2、supervis机器上启动:(mini2\mini3)
nohup storm supervisor &
3、列出正在运行的拓扑及其状态。语法如下
storm list
4、杀死名为topology-name的拓扑。语法如下:
storm kill topology-name [-w wait-time-secs]
storm jar 20180111.jar logMonitor.LogMonitorTopologyMain kafka4storm(这是storm topology的名字,可以任意起名。作为main方法的arg[0]参数)
java -jar 0309_OK_app.jar (运行转储程序)
提前准备:
1、将storm程序用maven打包导出
2、将app程序(每隔一分钟转储数据到mysql)导出为runnable包
3、将web程序导出为war包,部署到tomcat
最新
storm jar mini2_MyLogMonitor-1.0-SNAPSHOT-jar-with-dependencies.jar logMonitor.LogMonitorTopologyMain kafka4storm
java -jar mini2_app.jar
redis
#启动 service redis start
#启动redis客户端
redis-cli #关闭 service redis stop
#查看所有key
keys *
#删除当前选择的数据库中的key
flushdb
遇到问题:执行命令service redis star
/var/redis/run/redis_6379.pid exists, process is already running or crashed
引起这类问题一般都是强制关掉电源或断电造成的,也是没等linux正常关机
解决方法:可用安装文件启动 执行 redis-server /etc/redis/redis.conf
mysql
启动 service mysql start mysql -u root -proot use database
delete from 表名;删除表中的数据
停止 service mysql stop
存在的问题及解决方案:
-------------------------------------------------------------------------------------------------------
数据库连接:
1、jedis 与 mysql 的连接都要写192.168.223.201 而不是127.0.0.1
2、storm连接mysql数据库报异常
连接远程mysql数据库时报如下错误:
1
|
message from server: "Host FILTER" is not allowed to connect to this MySQL server |
问题分析:可能是没有给其IP访问Mysql数据库权限导致
问题解决:登录mysql数据库,执行如下命令:
1
|
grant all on *.* to root@ \'%\' identified by "123456" ; |
此操作是给任意IP地址赋予访问权限(命令中*.*是通配任何IP,可指定IP 用户名:root 密码:123456)
------------------------------------------------------------------------------------------------------------
关于mysql数据库编码格式
1、创建数据库命令: CREATE DATABASE `test2` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci
2、 以下内容是把mysql数据库的格式改成utf8
Linux下用rpm包安装的MySQL是不会安装/etc/my.cnf文件的,
至于为什么没有这个文件而MySQL却也能正常启动和作用,在点有两个说法,
第一种说法,my.cnf只是MySQL启动时的一个参数文件,可以没有它,这时MySQL会用内置的默认参数启动,
第二种说法,MySQL在启动时自动使用/usr/share/mysql目录下的my-medium.cnf文件,这种说法仅限于rpm包安装的MySQL,
解决方法,只需要复制一个/usr/share/mysql目录下的.cnf文件到/etc目录,并改名为my.cnf即可
[root@mini1 etc]# cp /usr/share/mysql/my-medium.cnf /etc/my.cnf
[root@mini1 etc]# vi /etc/my.cnf
- [client]
- default-character-set=utf8
- [mysql]
- default-character-set=utf8
- [mysqld]
- collation-server = utf8_unicode_ci
- init-connect=\’SET NAMES utf8\’
- character-set-server = utf8
报错:The server quit without updating PID file(无法正常登陆)
解决方法:用命令“ps -ef|grep mysqld”查看是否有mysqld进程,如果有使用“kill -9 进程号”杀死,然后重新启动mysqld!
-------------------------------------------------------------------------------------------
导入导出.sql文件
一、导出数据库用mysqldump命令(注意mysql的安装路径,即此命令的路径):
1、导出数据和表结构:
mysqldump -u用户名 -p密码 数据库名 > 数据库名.sql
#/usr/local/mysql/bin/ mysqldump -uroot -p abc > abc.sql
敲回车后会提示输入密码
2、只导出表结构
mysqldump -u用户名 -p密码 -d 数据库名 > 数据库名.sql
#/usr/local/mysql/bin/ mysqldump -uroot -p -d abc > abc.sql
注:/usr/local/mysql/bin/ —> mysql的data目录
二、导入数据库
1、首先建空数据库
mysql>create database abc;
2、导入数据库
方法一:
(1)选择数据库
mysql>use abc;
(2)设置数据库编码
mysql>set names utf8;
(3)导入数据(注意sql文件的路径)
mysql>source /home/abc/abc.sql;
方法二:
mysql -u用户名 -p密码 数据库名 < 数据库名.sql
#mysql -uabc_f -p abc < abc.sq