01.hadoop的节点增加磁盘导致数据分布不均处理方式
1、概要因业务数据量的增长，hadoop的datanode节点空间不足。扩容方案2种：1、节点的服务器增加磁盘；2、增加datanode数据节点服务器；最终选择方案一，服务器增加磁盘，hadoop的hdfs支持多个路径的数据写入；产生问题：因服务器增加了磁盘，原旧数据目录的空间已使用90%，新磁盘空间使用率10%，导致该节点上多个数据目录，数据分布不均；新加磁盘只会承载后续写入的数据HDFS 默认不会自动把老磁盘里的数据迁移到新磁盘。已有数据仍然堆在第一个磁盘里，新磁盘只是接收新增的数据，所以使用率不均衡。HDFS 数据块调度机制DataNode 内部是“多存储目录”的模式，NameNo...
集群外部服务通过k8s代理出来
[TOC]1、概述有些服务部署在k8s集群外部，但需要在k8s集群内部通过svc访问或ingress代理出来。集群外部部署nacos访问地址：http://192.168.203.40:88482、解决方式通过 Endpoints--->Svc(clusterip)--->ingress(nginx)解决3、创建yaml文件3.1、创建 endpoints yaml文件kind: Endpoints apiVersion: v1 metadata: name: svc-en-nacos namespace: dolab-namespace subsets: - add...
ES之监控nginx日志
[TOC]1、概述通过通过filebeat收集nginx日志，写入到redis，然后通过logstash读取数据，输入到es集群存储，最后通过grafana读取es数据，展示出来。2、服务器信息序号ip配置系统服务1192.168.1.2014核8g512gcentos7.xnginx/filebeat2192.168.1.2024核8g512gcentos7.xredis/es/logstash/grafana3、安装3.1 nginx配置nginx安装略nginx日志配置# 新增以下日志配置，并选择新的日志配置格式 $ vim /etc/nginx/nginx.conf log_fo...
MySQL二进制安装
MySQL二进制安装1、概述此次二进制安装是针对Linux操作系统无法使用root权限，只能使用普通用户部署安装MySQL；本次MySQL二进制安装采用的版本：5.7.372、环境操作系统为centos7.x安装必要的依赖包，此项由管理员安装，提前让管理员安装以下依赖包$ yum install bison bison-devel zlib-devel libcurl-devel libarchive-devel boost-devel gcc gcc-c++ cmake ncurses-devel gnutls-devel libxml2-devel openssl-devel lib...
NGINX 修改启动账户
nginx降低权限1、修改nginx的启动账户修改启动账户，并设置nginx的启动账户为nginx$ sudo vim /etc/nginx/nginx.conf # 注释掉nginx的配置用户 # user nginx; worker_processes auto; error_log /var/log/nginx/error.log notice; # 修改pid位置 # pid /var/run/nginx.pid; pid /var/run/nginx/nginx.pid;修改nginx配置文件目录权限$ sudo chown -R nginx:nginx ...