Clik here to view.
读《混沌工程》有感
十一期间，读了这本《混沌工程：Netflix系统稳定性之道》。 这本书很小，但是带来的很多理念还是新的。以下，是一些感悟： （1）混沌工程更多是面向分布式系统，微服务，云原生的系统。本身就是假定系统是不稳定的，程序是需要面向失败的设计（Design for failure）。...
View ArticleClik here to view.
dba将死，云架构师即将到来
最近在招人，在招人的时候，有不少反思。作为一个dba，我们这个行业的趋势如何，我们的出路如何。 （一）首先看到的一点是，目前越来越多的公司使用了云服务，自建机房的企业越来越少了。上云之后，很多企业对数据库的使用方式，是直接使用了云厂商提供的RDS，数据库服务，而不是在云上自建虚拟机再安装数据库。...
View ArticleClik here to view.
一次MySQL存储空间撑爆的故障处理和分析
在一次对线上系统的压测过程中，数据库突然变成了只读状态。我们看了一下，是因为空间在短时间内，被撑爆了。云上的rds数据库，如果在空间打爆的情况下，确实会变成只读的情况。 我们这个业务，做了中美数据拆分，美国的数据库是在aws上，中国的数据库是在阿里云上，跑同样的一套逻辑。 可以看到，在短时间内： aws云： 阿里云： aws的free storage...
View Article华硕AC86U路由器不定期连不上公网的解决办法
华硕的路由器，不知什么原因，总是会不定期连不上公网，在网络地图的互联网状态，会显示连接失败的状态。 测试了一下发现，ACU86U在上级的光猫路由器比如重启，比如间歇断网之后，哪怕上级路由器恢复，ac86u还是无法重连外网。我测试了断开上级的光猫路由的电源插头再插上，发现AC86U不会自动重拨，AC86U就一直连不上外网了。直到重启。...
View ArticleClik here to view.
某系统物理机本地存储和虚拟机SAN存储性能对比测试
本文用fio测试了某系统的物理机本地存储和虚拟机使用SAN存储的性能对比。 FIO测试原始数据 说明： 虚拟机在小块文件的IO处理能力上，要比物理机处理的好。而物理机在大块文件的处理能力上比虚拟机好。 从理论上说，物理机的IO延时应该小，因为IO链路比虚拟机的要短，物理机的直接到本地硬盘。虚拟机要经过SAN网络，通过光纤交换机。...
View ArticleClik here to view.
小记MySQL的锁和事务
（一）先说明一下定义： 1. 读现象（Read phenomena）： SQL 92标准规定了3种不同的读现象。脏读、不可重复读和幻读。分别解释一下。 1.1 脏读： A dirty read (aka uncommitted dependency) occurs when a transaction is allowed to read data from a row that has been...
View Articlepostgresql 检索当前数据库中所有的分区表
pg 10由于没有hash分区，而pg_pathman一直都是支持多种分区的。所以如果某些pg 11以前的系统，可能会混合部署pg原生分区和pg_pathman。 要检查这种混合部署环境中的分区情况，可以用下面的sql：select b.parent::text as part_table, 'native partition' as part_tool, CASE WHEN...
View Articlepg报错current transaction is aborted
在一个事务中，pg报错了current transaction is aborted： mumy_corehrdban_psdb=> begin; BEGIN mumy_corehrdban_psdb=> select * from orasup_test1 ; a --- 1 2 3 (3 rows) mumy_corehrdban_psdb=> insert into...
View Article数据库应急杀进程脚本
Oracle： （1）数据库内操作--单实例： select 'alter system kill session '''||s.sid||','||s.SERIAL#||''' immediate;' from v$session s where s.status='INACTIVE' --状态为非活跃 and s.USERNAME= 'ZZZ' --用户为ZZZZ...
View Articlepg常用大小查询
查出所有数据库大小：select pg_database.datname, pg_database_size(pg_database.datname) AS size from pg_database order by size desc; 查出所有表按大小排序并分离data与index：SELECT table_name, pg_size_pretty(table_size) AS...
View ArticleHow to upgrade aws rds postgresql
## 0. Read the summary of upgrade pg https://docs.aws.amazon.com/zh_cn/AmazonRDS/latest/UserGuide/USER_UpgradeDBInstance.PostgreSQL.html ## 1. Prepare Action 1.1. Choose Preferred Upgrade Targets from...
View Article数据库内查询pg的表结构定义
需要利用到plperlu和自己写一个system函数。-bash-4.2$ psql psql (9.6.2) Type "help" for help. postgres=# create extension plperlu; CREATE EXTENSION postgres=# \dx List of installed extensions Name | Version | Schema...
View ArticleSQL Server数据文件结构
Data file 结构： 第一个extent:page 0 : File Header，注m_type = 15，Metadata: ObjectId = 99 page 1 : PFS( page free space)，注m_type = 11，Metadata: ObjectId = 99 page 2 : GAM ( global allocation map)，注m_type =...
View Articlemysql awr脚本部署
这个脚本是用来在mysql数据库中创建一个myawr数据库，记录数据库中记录active session。 cat /root/user/myawr.sqlcreate database myawr DEFAULT CHARACTER SET utf8mb4; use myawr; CREATE TABLE myawr.`processliststatus` ( `ID` bigint(21)...
View ArticleClik here to view.
为什么说不要在pg 12前，用原生hash分区
pg在11之前，有原生的range分区和list分区，但是没有原生的hash分区。 hash分区是需要通过pg_pathman插件来实现。 如果你从原来pg 10版本+pg_pathman实现hash分区，且分区数比较多，比如1024个分区，那么到你升级到pg 11之后，如果采用了原生分区，你会发现sql语句的planning time会变得比较长。 我们进行了测试，来验证pg...
View ArticlePostgresql数据库层限流脚本
Postgresql数据库层限流脚本： with tmp3 as (select count(*) as cnt from pg_stat_activity WHERE pid <> pg_backend_pid() and datname='mypg1' and usename='postgres' and state='idle' and query like '%select...
View ArticleOralce undo健康检查脚本
Oracle的进程，如果在os层面kill -9了，那么在v$transaction中是看不到的，需要在v$fast_start_transactions中去看。可以用下面2种方法预估回滚时间： 方法一：（利用v$fast_start_transaction）set pages 1000 set line 1000 set feedback off set serveroutput on...
View ArticleClik here to view.
减少mysqlbackup 对IO压力的影响
通常情况下，我们总是系统备份的速度是越快越好。 但是，有时候这会导致IO压力，我们需要削峰处理。 我之前写过一个减少rman备份对OLTP系统的影响，其实mysql的备份（使用 MySQL Enterprise Backup）也可以采用类似的方法： 我们在mysqlbackup命令中，添加sleep参数即可。 修改前：...
View Article从千年虫bug的问题谈开去
最近微软又爆了一个千年虫的bug，微软FIP-FS反恶意软件扫描引擎由于Year 2022漏洞导致Exchange服务器无法发送邮件。 另外，本田、讴歌汽车也爆了Y2K22千年虫漏洞。 这是因为，在程序中，或者数据库中，字段类型定义成int32字段类型。而int32，一共32位，第一位表示符号，因此可以表示数值大最大位是31位，即2147483647：...
View ArticleClik here to view.