数据库-Easy to understand and humorous

Easy to understand and humorous

行动起来，活在当下

累计撰写 39 篇文章
累计创建 4 个标签
累计收到 2 条评论

目录CONTENT

以下是数据库相关的文章

2025-10-28
数据库安全网关体系中，对Long、Date类型列加密的方法本文探讨数据库中Long、Date类型列加密的安全性与业务查询平衡问题。传统加密会破坏数据类型特性，导致查询功能丧失。核心解决方案为格式保留加密（FPE），其通过有限域映射实现加密后数据保持原有格式、长度和类型（如Long仍为数值，Date仍为日期格式），支持等值及范围查询，完美兼容现有数据库模式。FPE虽实现复杂且性能略逊于AES，但有效解决了加密与业务兼容性的核心矛盾。
- 2025-10-28
- 12
- 0
- 0
- 数据库
2025-10-22
浅谈常见的八类数据库加密技术本文概述了加密技术从通信安全向数据全生命周期保护的范式转变。面对大数据时代数据动态流转的挑战，传统边界防御已不足，需转向“保护数据本身”的安全理念。文章深入剖析八种主流加密技术（应用内加密、数据库网关、触发器+视图、TDE、UDF、加密驱动、TFE、FDE），涵盖应用层、数据库层及文件系统层的部署方案，对比其加密粒度、性能、防DBA能力及实施成本。核心结论是：单一技术无法满足所有场景，需根据数据状态（静态/动态/使用中）与业务需求，组合构建纵深防御体系，实现数据流转中的持续安全保护。
- 2025-10-22
- 26
- 0
- 1
- 数据库
2025-10-19
Doris SQL解析 Doris SQL解析包含五个核心步骤：1）词法语法分析生成AST（采用jflex/java cup技术）；2）语义分析与重写（元信息解析、合法性检查、常量折叠、谓词转join等RBO优化）；3）生成单机逻辑计划（构建算子树，进行投影/谓词下推、分区裁剪、Join重排序等优化）；4）生成分布式计划（拆分PlanFragment树，支持broadcast/hash partition/colocate/bucket shuffle四种join算法）；5）物理执行计划调度（分配BE节点、选择副本、实现并发执行）。整个过程通过递归优化和规则重写，最大化并行度与数据本地化。
- 2025-10-19
- 5
- 0
- 0
- Doris
2025-10-16
Doris Doris架构分FE（前端）、BE（后端）和存储层：FE负责查询解析、元数据管理，含Leader/Follower保高可用、Observer扩展查询；BE存储数据并分布式执行查询，通过副本保可靠；存储层用列式存储，数据分Tablet存于BE。数据模型有三类：Aggregate按key聚合适合报表汇总；Uniq主键模型保证唯一，分读时/写时合并；Duplicate允许key重复保留明细，适用Ad-hoc查询。选型需根据聚合需求、主键约束等场景确定。
- 2025-10-16
- 2
- 0
- 0
- Doris
2025-10-13
Calcite 元数据定义 Calcite执行流程的核心包括三个部分：元数据定义、优化规则管理和最优计划执行。元数据用于校验SqlNode语法树并为CBO优化提供统计信息，如示例中的JSON文件定义；优化规则被优化器使用以改写逻辑计划并生成最优执行计划；执行器基于最优计划在不同存储引擎上进行执行，确保高效数据处理。
- 2025-10-13
- 2
- 0
- 0
- Calcite
2025-10-11
Apache Calcite：构建统一数据查询的基石 Apache Calcite 是开源动态数据管理框架，旨在解决大数据时代的数据孤岛与异构数据源整合挑战。其核心架构以查询优化器为中心，通过 SQL 解析器、验证器将语句转为逻辑关系代数表达式（RelNode），结合 RBO（200+ 优化规则）与 CBO（基于统计信息）生成最优执行计划。框架采用“逻辑与物理分离”设计，支持 JDBC/Java API 调用，并通过可插拔适配器连接 Hive、Elasticsearch 等数据源，提供统一查询层。其模块化架构（如元数据管理、表达式构建）及 CSV 示例验证了跨源查询的灵活性与扩展性。
- 2025-10-11
- 3
- 0
- 0
- Calcite
2025-09-21
Clickhouse ClickHouse是一款面向OLAP场景的列式数据库，支持完整SQL操作、列式存储与压缩、向量化执行引擎及并行处理，通过分片（Shard）和副本（Node）实现分布式架构。其依赖ZooKeeper进行元数据管理和分布式协调，但存在性能瓶颈与运维复杂性问题。主要限制包括不支持事务、二级索引及窗口函数，行删除效率低，且聚合结果需单机内存容纳。适用于读多写少、大批次更新、宽表查询、高吞吐量分析等场景，尤其适合单次查询涉及大表过滤聚合、结果量小的分析任务。
- 2025-09-21
- 8
- 0
- 0
- Clickhouse
2025-09-16
MYSQL - InnoDB Difficult to find free blocks in the buffer pool 在16G 8C服务器上运行MySQL 5.7时，大数据量聚合查询导致系统崩溃，无法连接或停止。日志显示InnoDB缓冲池难以找到空闲块，刷新失败次数超百万，建议增大缓冲池大小或升级OS。解决方法：通过top定位进程并kill，修改my.cnf设置innodb_buffer_pool_size=12G（总内存80%）和innodb_buffer_pool_instances=6，重启MySQL。针对page_cleaner循环超时警告，执行SET GLOBAL innodb_lru_scan_depth=256优化。
- 2025-09-16
- 11
- 0
- 0
- MYSQL