impala 优化(一) hdfs配置本地短路读和文件块追踪 参考官方文档 https://impala.apache.org/docs/build/plain-html/topics/impala_config_performance.html CDH和CDP托管的集群会自动配置,不需要用户关心 1 概述启用短路读可以使 Impala 直接从文件系统读取 Hadoop 服务中 DataNode 的本地数据。这跳过了与 DataNodes的通信过程 ,从 2023-03-09 数仓 #大数据 #impala #olap
yum 发现N个已存在的RPM数据库问题 1 遇到的问题在 Centos 中使用 yum 安装软件包时报错 发现 N 个已存在的 RPM 数据库问题, 'yum check' 输出如下: 或者 Found N pre-existing rpmdb problem(s), 'yum check' output follows:,比如 12345678** 发现 282 个已存在的 RPM 数据库问题, 2022-11-04 linux #linux #yum
Linux sqlite3 基本命令 1 安装sqlite3ubuntu下安装sqlite3直接在终端运行命令 12345678# debian/ubuntu 安装 sqlite3sudo apt-get install sqlite3# centos 安装 sqlite3sudo yum install sqlite-devel# 查看版本信息:sqlite3 -version 2 sqlite3常用命令 当前目录下建立或打开te 2022-11-02 数据库 #sqlite3
基于golang实现可私有部署的兼容不蒜子接口的服务 首先感谢 bruce sha 同学开发出 不蒜子 免费给大家使用,现在的很多主题都支持不蒜子统计。考虑到不蒜子官方的接口用户多压力大,于是就有了私有部署的想法, 于是就有了本项目。 Github项目地址 wangdan7245/busuanzi-golang 1 功能: 兼容不蒜子接口 v2.3 可以私有部署,支持docker 使用redis作为数据库,UA统计使用HyperLogLo 2022-10-31 博客 #不蒜子 #私有部署 #网站统计
HDFS的架构演进 结合企业应用的实践,HDFS 的架构演进经历了如下阶段 单Namenode -> 多Namenode HA -> 联邦集群 -> 多数据中心 1 单Namenode 单Namenode部署最大的问题是 Namenode 单点故障的问题,即Namenode 一旦挂掉,整个集群就停止服务了,于是就有了接下来的 HA集群,即多个 Namenode ,活动的(Active) Nameno 2022-08-25 hadoop #hdfs #架构 #hadoop
Sentinel配置错误导致的问题 事情的缘由某个小规模集群中有三个pika节点(pika 是一个可持久化的兼容redis协议的kv数据库),一主两从,使用 redis-sentinel 做监控和主备切换。 部署好以后,客户端使用 redisson 连接pika集群报错 1Redisson At least two sentinels should be defined in Redis configuration 也就是说客户端只 2022-08-12 redis #redis #sentinel
数据结构-环形数组 1 什么是环形数组简单来说,环形数组就是头尾相接的数组 环形数组有以下特点: 长度固定 下标不越界 需要两个指针标识数组的真实头尾下标 2 物理实现实际上在实现环形数组结构的时候,用的就是普通数组,只需要将环形数组的下标转为普通数组的下标即可。 2.1 下标算法由环形数组的结构很容易想到,当下标移动位数等于数组长度时就回到了原来的位置,所以移动时转了几圈并不影响结果,只需要对移动位数取余,然 2022-05-31 数据结构 #数据结构 #环形数组
kudu损坏的tablet分区处理 概要:在一次数据迁移后,出现了损坏的分区,导致该分区的所有 tablet 副本丢失,原因不明。解决方法:使用 kudu 提供的 unsafe_replace_tablet 命令将损坏的分区替换为空白分区,然后再重新倒入相关数据。 1 问题详情查询时会报错: 1$ Unable to open scanner: Timed out: Scan RPC to 10.1.3.15:7050 timed 2019-10-24 数仓 #kudu #数仓 #大数据
Hello World Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub. Quick 2019-01-01