pg_hba.conf文件的策略顺序
原来一直以为这个文件中，每一行的顺序是没有区别的，但是最近的一个需求，研究时发现，原来这个文件对登录的会话，是从上往下依次判断的： 具体的规则是： 1. 登录的会话，会顺着pg_hba.conf的策略一条一条往下走。 2. 如果遇到匹配到的规则，那么做成判断，是信任，还是拒绝，还是验证密码。后续就不往下走继续判断规则了。 3....
View Article阿里云的rds的几个问题的探究
1. 阿里云的pg一键上云，其实是调用了pg_basebackup，这个功能不仅仅可以用在一键上云上，还能用在rds pg到rds pg的小版本升级上。 2. 阿里云的pg大版本升级过程： （一）准备阶段： 2.1 界面发起大版本升级； 2.2...
View ArticleClik here to view.
谈谈这次阿里云香港可用区C故障
阿里云在上周日（2022-12-18）发生了发生了香港region的可用区C的大规模故障，阿里云自己在也微信公共账号贴出了处理过程，服务影响，问题分析和改进措施。（《关于阿里云香港Region可用区C服务中断事件的说明》）...
View ArticleClik here to view.
深度测试了一下ChatGPT
之前有泛泛的跟ChatGPT聊过数据库未来发展方向，数据库的优化工作是否可以有AI替代人类完成。 —— 这次我想问的再深入和专业一些。同时，我也用英文提问了。我希望英文给它的训练能给我更好的答案。 我先抛出了一个问题，SQL Server是否可以将普通表转换成分区表。 回答的算是中规中矩，说无法直接转成分区表，需要新建+select into导入。 我想试试ChatGPT是否会知道SQL...
View ArticleClik here to view.
用一个思维导图告诉你什么是GPT-4和如何申请GPT-4
在当前情况下，想要使用先进的GPT-4技术，只有两种途径。这款人工智能语言模型在各个领域都有着广泛的应用，然而目前要获得它的使用权并不容易。以下是可以让您体验到GPT-4功能的两种方法。 首先，您可以选择使用Poe App。这款应用提供了一个简单易用的平台，让用户能够体验到GPT-4带来的惊人能力。要使用Poe...
View Article阿里云rds mysql更新证书的逻辑
证书更换的逻辑： 1. 只读节点是高可用版本的情况下（不适合只读节点是basic的版本）， 先对只读节点的slave进行更新证书。 1.1 更新证书的过程，先把证书路径下的证书文件进行删除或者重命名。因为如果生成新证书时，在同一路径下存在同名文件，则创建失败。（证书路径是数据库中 show variables like ‘%ssl%’中的参数显示的路径） 1.2....
View ArticleClik here to view.
简单谈谈aws limitless database
2023年11月27日，aws 宣布了他们的新的产品，aws无限数据库（limitless database）。我比较关注这个新产品，简单谈谈对他的看法。 大部分的信息，是来自于《AWS re:Invent 2023 – Monday Night Live Keynote with Peter DeSantis》 这场演讲。这场演讲还是非常有逻辑性的，整个故事，还是得从serverless谈起……...
View ArticleClik here to view.
谈谈向量数据库
最近公司里，向量数据库的需求越来越多。前几天请aws的诸位专家一起来开会讨论了一下，学到了不少知识。以下是我的心得和收获，仅代表我个人观点： 1. 知识库，图片识别，图片或视频近似度搜索，电商推荐等是很多公司的应用场景。 2....
View ArticleClik here to view.
多云用户，应该尽快切换到Valkey的使用
2024年3月20号，Redis Lab宣布，从redis 7.4开始，redis的开源协议，将从宽松的BSD协议，使用者可以任意使用和商用，转成SSPL v1（Server Side Public License）和RSAL v2（Redis Source Available...
View Article读书笔记-《Best Practices for Gathering Optimizer Statistics with Oracle Database...
调整SET_TABLE_PREFS，按照表来单独设置，减低stale的百分比，比如变化1%就收集统计信息 调整 ESTIMATE_PERCENT的比例，不用AUTO_SAMPLE_SIZE，而用更低的采样比例 High-frequency Optimizer Statistics Collection 自定义搜集统计信息的job，设置自定义的time interval Real-time...
View Article阿里云redis 主从版，HA切换步骤和耗时分解
阿里云redis 主从版，HA切换（节点A为原主实例，切换到节点B），步骤和耗时分解： 序号 耗时（单位：毫秒） 步骤名称 备注 1 6ms 开始Switchover到实例B的流程 2 44ms 重新获取链路上的主节点A 3 5ms 获取A原主的角色 4 0ms Kill原B节点上的连接 5 5ms 尝试连接master A 6 30ms Kill master A上的连接 7 5ms...
View ArticleClik here to view.
阿里云dts过滤测试
用一个8c16g共享型的mysql，同步到4c8g的共享型mysql，利用sysbench 加载数据sysbench oltp_read_write --mysql-host=rm-xyetdtwsoistegdhed.mysql.rds.aliyuncs.com --mysql-port=3306 --mysql-user=**** --mysql-password=*****...
View ArticleClik here to view.
sysbench报错max_prepared_stmt_count
在一个8c16g的阿里云mysql上进行sysbench，在run 压测的时候，报错max_prepared_stmt_count不够了：sysbench oltp_read_write --mysql-host=rm-wedtteessttm.mysql.rds.aliyuncs.com --mysql-port=3306 --mysql-user=****...
View ArticleClik here to view.
Clik here to view.
一次大量事务日志生产的链条分析
数据传输工具，在全量同步中，往往是并发执行的，dts有个重写逻辑，是： 1）DTS碰到死锁的时候，会当前session中重试，继续写入数据。比如：DTS一批写入1024条数据，写到第1000条失败了，会在当前session中继续从头写入这1024条数据。这个过程可能会出现数据重复写入，会发生主键冲突。 2）DTS写入检测到主键冲突报错，就会将insert转换成delete +...
View ArticleClik here to view.
PGAI和postgres.new的一些探索
有朋友提到最近最近比较热门的pg数据库和AI结合，提到了PGAI和postgres.new，看了相关资料。 PDF文件：pgai和postgres.new FreeMind文件：pgai和postgres.new.mm
View Articleaws跨vpc或者跨账号的rds mysql迁移
一个500GB的mysql数据库，需要做跨vpc的迁移，可以有下面的方法： 1. mysqldump做导出导入，需要一个能连通vpc A和vpc B的机器，做跳板机，且要准备比较大的空间放导出文件。 准备时间：准备申请一个跳板机，开通跳板机连通2个vpc的操作时间。需要负责计算资源的同学和负责数据库的同学配合。 迁移时间：导出+导入，迁移期间需要停业务，预估在8小时左右的时间。 2....
View ArticleClik here to view.
阿里云的高权限用户
开发希望多个系统联调，能自己在一个大集中环境部署一个数据库，然后创建多个实例。那么是可以在一个数据库中配置一个类似的高权限用户（该用户和高权限用户一样权限，但是在界面中看到是普通用户），然后再建库和建用户的。 -- 创建应用管理用户app_admin： create user app_admin identified by <passwd>; -- 对应用管理用户授权： grant...
View ArticleClik here to view.
阿里云dts带过滤的同步，sqlserver到mysql更新不能删除的问题
在测试阿里云的sqlserver到mysql的dts同步，且是带过滤条件的同步，发现更新有个“能增不能减”的问题。在做带过滤的update，把过滤字段更新成其他值，目标端只能增不能减。—— 即过滤字段update成过滤条件，在目标端会增加改行记录； 过滤字段从符合过滤条件update成不符合过滤条件，在目标端不会自动删除该行记录。 看下面的例子： dts实例id ：...
View Article