SLOWLOG 记录了 Redis 运行时间超时特定阀值的命令。这类慢查询命令被保存在 Redis 服务器的一个定长队列中，最多保存 slowlog-max-len(默认128）个慢查询命令。当慢查询命令达到128个时，新产生的慢查询被加入前，会从队列中删除最旧的慢查询命令。 配置 redis slowlog通过2个参数配置管理，默认命令耗时超过10毫秒，就会被记录到慢查询日志队列中；队列默认保存最近产生的128个慢查询命令。 slowlog-log-slower-than: 慢查询阀值，单位微秒，默认100000 (10毫秒)； 执行耗时超过这个值的查询会被记录；建议你生产环境设置为 10000（1毫秒），因为如果命令都是 1 毫秒以上，那么 Redis 吞吐率只有 1000 QPS； slowlog-max-len: 慢查询存储的最大个数，默认128；生产设置设置大于1024，因为 slowlog 会省略过多的参数，慢查询不会占用过多的内存； 读取 返回最新的 2 条慢查询 SLOWLOG GET 2 1) 1) (integer) 9495 2) (integer) 1638760173 3) (integer) 13923 4) 1) "COMMAND" 5) "10.30.107.152:41830" 6) "" 2) 1) (integer) 9494 2) (integer) 1638759729 3) (integer) 17170 4) 1) "SADD" 2) "nc_oauth:uname_to_access:nc:vpengcheng" 3) "\xac\xed\x00\x05sr\x00Corg.springframework.security.oauth2.common.DefaultOAuth2AccessToken\x0c\xb2\x9e6\x1b$\xfa\xce\x02\x00\x06L\x00\x15additionalInformationt\x00\x0fLjava/util/Map;... (9974 more bytes)" 5) "10.

集群概述 MySQL InnoDB Cluster 是 MySQL 团队为了高可用性 (HA) 目的而引入的。它为 MySQL 提供了完整的高可用解决方案。我将通过 Ansible Playbook 展示三个节点的 InnoDB 集群配置。 MySQL InnoDB 集群有以下服务组成 MySQL shell Group Replication ( GR ) MySQL Router 安装计划 服务器规划 IP地址 SSH 端口 SSH 用户名 SSH 密码 ROOT 密码 OS 10.1.207.180 22022 mysql 123456 root123 CentOS Linux release 7.9.2009 10.1.207.181 22022 mysql 123456 root123 CentOS Linux release 7.9.2009 10.1.207.182 22022 mysql 123456 root123 CentOS Linux release 7.9.2009 提示： 可以参考批量自动化创建用户 集群节点规划

集群概述 脚本会在此用户下安装三节点集群，因为 7.X 版本后会自带 JDK，所以我们不需要提前安装 Java 环境。 安装计划 服务器规划 IP地址 SSH 端口 SSH 用户名 SSH 密码 ROOT 密码 OS 10.1.207.180 22022 elasticsearch 123456 root123 CentOS Linux release 7.9.2009 10.1.207.181 22022 elasticsearch 123456 root123 CentOS Linux release 7.9.2009 10.1.207.182 22022 elasticsearch 123456 root123 CentOS Linux release 7.9.2009 提示： 可以参考批量自动化创建用户 集群节点规划 IP地址 Elasticsearch 10.1.207.180 ✓ 10.1.207.181 ✓ 10.1.207.182 ✓ 节点安装路径 路径 描述 /opt/elasticsearch 程序安装路径 ~/elasticsearch_uninstall.sh 集群卸载脚本 ~/elasticsearch.sh 集群启停脚本 /data01/elasticsearch/logs 日志文件 /data01/elasticsearch/data 数据文件 /data01/elasticsearch/dump DUMP 文件 /data01/elasticsearch/temp 临时文件 下载安装包和 Playbook 脚本 在你的笔记本上创建 playbook 脚本存放目录

使用正则表达式搜索文件内容 macOS cat nc-auth_3000.log | grep -s 'timeCost":\d\d\d\d' centOS cat nc-auth_3000.log | grep -P 'timeCost":\d\d\d\d' 使用正则表达式搜索压缩文件内容 macOS gzip -dc nc-auth_3000.20211106.38.log.gz | grep -s 'timeCost":\d\d\d\d' centOS gzip -dc nc-auth_3000.20211106.38.log.gz | grep -P 'timeCost":\d\d\d\d'

Hikari 线程参数和数据库连接池参数对业务吞吐率的影响分析 场景 本例中我们使用 Undertow 作为 Web 容器，使用 Hikari 作为数据库连接池， 并通过 spring.datasource.hikari.maximum-pool-size 和 server.undertow.threads.worker 两个参数的调整，看看对于业务的性能影响有多大 为此我准备了一个简单的 DEMO，并且执行 1000 次请求，并发 100，每次请求执行一个 SLEEP(5) 的 SQL模拟单笔耗时。并在一个 2C 的服务器上测试。应用默认参数如下 spring.datasource.hikari.connection-timeout=30000 spring.datasource.hikari.minimum-idle=10 spring.datasource.hikari.maximum-pool-size=10 server.undertow.threads.worker(默认是 2C*8) 默认参数 $ ab -c 100 -n 1000 http://localhost:6060/test This is ApacheBench, Version 2.3 <$Revision: 1879490 $> Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ Licensed to The Apache Software Foundation, http://www.apache.org/ Benchmarking localhost (be patient) Completed 100 requests Completed 200 requests Completed 300 requests Completed 400 requests Completed 500 requests Completed 600 requests Completed 700 requests Completed 800 requests Completed 900 requests Completed 1000 requests Finished 1000 requests Server Software: Server Hostname: localhost Server Port: 6060 Document Path: /test Document Length: 14 bytes Concurrency Level: 100 Time taken for tests: 510.

在 REDIS 中一个字符串最大512MB，一个二级数据结构（例如hash、list、set、zset）可以存储大约40亿个(2^32-1)个元素，但实际上中如果下面两种情况，我就会认为它是 bigkeys。 字符串类型：单个 value 超过5MB 哈希、列表、集合、有序集合元素可数超过 10000 因为 REDIS 是单进程处理，所以对 BIGKEY 的访问会产生阻塞，如果你获取 100 次单体大小为 5MB 的 KEY，那么这些数据（500MB）传输到客户端就需要一定的时间，这期间其他命令都要排队等待。 查找 BIGKEY 使用 bigkeys 命令可以统计大对象（建议在从结点执行），为了方式阻塞，我们设置一个休眠参数 -i 0.1 redis-cli -h <ip> -p <port> -a <password> --bigkeys -i 0.1 结果如下： $ redis-cli -h 192.168.51.207 -p 9015 --bigkeys Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe. # Scanning the entire keyspace to find biggest keys as well as # average sizes per key type.

我们在使用 Github、Gitlab 或者 JetBrains Space 时通常使用 SSH 密钥可以连接 Git 服务，而无需在每次访问时都提供用户名和个人访问令牌。 另外现在大量平台启用账户登录多次验证，也促进我们避免使用账号密码登录。 为了便于管理我们通常会为每个 Git 平台配置不同的 SSH KEY，然后通过 ~/.ssh/config 配置每个平台对应的 SSH KEY。 创建多个 SSH KEY 使用如下命令创建 id_github，注意提示输入文件名时请修改成 id_github ssh-keygen -t ed25519 -C "coolbeevip@github.com" 使用同样的方法我们分别创建 id_gitlab 和 id_github，这时在的本地的 ~/.ssh 目录下会得到如下文件 id_github(私钥)、id_github.pub(公钥) id_gitlab(私钥)、id_gitlab.pub(公钥) 将 *.pub 文件内容分别导入到 Git 服务中，详细方式请参考 Github and SSH keys 、 GitLab and SSH keys 或 JetBrains Space and SSH keys 配置 SSH 编辑 ~/.ssh/config 文件为每个 Git 地址配置不同的私钥 Host github.com ServerAliveInterval 60 UseKeychain yes IdentityFile ~/.

这是一个 Morris 计数器（近似计数算法）的 Java 实现，用很小的数据结构准确估计具有几十亿数据量的数据计数。 我们通常会定义一个 Long 类型对象，通过累加的方式实现计数。每个 Long 类型占用 8 byte (64bit) 空间，如果你有 30 亿个要记录的对象，那么你就需要 22GB 的空间存储这些计数器，这还不不包括在哈希中的对象ID。 背景 近似计数算法是允许我们使用非常少量的内存对大量事件进行计数的技术。它由 Robert Morris 于 1977 年发明。 该算法使用概率技术来增加计数器，尽管它不能保证准确性，但它确实提供了对真实值的相当好的估计，同时引入了最小但相当恒定的相对误差。 在这篇文章中，我们详细介绍了 Morris 算法及其背后的数学原理。 Morris 在贝尔实验室工作时遇到了一个问题。他应该编写一段代码来计算大量事件，而他只有一个 8 位计数器。 由于事件的数量很容易超过 256，使用普通方法计算它们是不可行的，这种限制导致他构建了这个近似计数器，它不是提供精确计数，而是提供一个近似计数。 计数和投硬币 构建近似计数器的一个简单方案是对每次事件变换进行计数。每收到一个新事件，我们抛一次硬币，如果正面朝上，我们增加计数，否则不增加。 这样计数器中的值平均下来将代表总事件的一半（因为抛硬币的获得正面并的概率是 0.5）。当我们将计数乘以 2 时，我们将得到近似实际数量的计数。 CoinFlipsCounter.java 这种基于抛硬币的计数技术是参数为 (n, p) 的二项分布，其中 n 是所见事件的总数，p 是成功概率，即在抛硬币过程中出现正面的概率。对真实事件数 n 的计数值 v 由下式给出 $$ \large 估算值v = 实际值n * 概率p = 实际值n/2 $$ 这种二项式的正态分布标准偏差将帮助我们找到估算中的误差，对于正态分布平均值两侧标准差的两倍覆盖了分布的 95%；我们使用它来查找计数器值中的相对和绝对误差。 $$ \large 误差 = \sqrt{实际值n * 概率p(1-概率p)} = \sqrt{估算值v/2} $$

SYSTEM MacBook Pro 16G JVM -Xmx4g -Xms4g -Xss256k -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=512m -Xnoclassgc -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:ParallelGCThreads=12 -XX:MaxTenuringThreshold=15 -XX:+ExplicitGCInvokesConcurrent -XX:+CMSParallelRemarkEnabled -XX:SurvivorRatio=8 -XX:CMSInitiatingOccupancyFraction=65 -XX:+UseCMSInitiatingOccupancyOnly -XX:+UseCMSCompactAtFullCollection -XX:+CMSClassUnloadingEnabled -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 CPU Flame Graph GrpaphQL Schema Parser Slow Method

安装 在 macOS 基于源代码自己编译发布版本 安装 Etcd 启动 apisix-etcd.yml version: '3.2' services: etcd-1: image: docker.io/bitnami/etcd:3.4.16 hostname: etcd container_name: apisix-etcd ports: - '2380:2380' - '2379:2379' environment: - ALLOW_NONE_AUTHENTICATION=yes - ETCD_NAME=etcd-1 - ETCD_LISTEN_PEER_URLS=http://0.0.0.0:2380 - ETCD_LISTEN_CLIENT_URLS=http://0.0.0.0:2379 - ETCD_ADVERTISE_CLIENT_URLS=http://0.0.0.0:2379 volumes: - ./volume/apisix/etcd/data:/bitnami/etcd/data - ./volume/apisix/etcd/conf:/opt/bitnami/etcd/conf docker-compose -f docker-compose-apisix-etcd.yml up -d 验证 $ curl -L http://127.0.0.1:2379/health {"health":"true"} 安装编译环境 安装 Node 10.23.0+ $ node -v v12.18.3 安装 Yarn $ npm install -g yarn $ yarn -v 1.22.10 安装 openresty 、luarocks、lua、curl、 git brew install openresty/brew/openresty luarocks lua@5.