淘宝数据库OceanBase SQL编译器部分 源码阅读--Schema模式
2023-09-14 09:01:04 时间
什么是Database,什么是Schema,什么是Table,什么是列,什么是行,什么是User?我们可以可以把Database看作是一个大仓库,仓库分了很多很多的房间,Schema就是其中的房间,一个Schema代表一个房间,Table可以看作是每个Schema中的柜子,行和列就是柜子中的格子。User就是房间的主人。简单来说,Schema是包括表,列,索引,视图等数据库对象的集合。
OceanBase要求schema强类型约束,也就是要预先定义好schema。这与传统的数据库基本相同,与很多nosql的schema-free大相径庭。
也就是说,OceanBase的数据模式是基于关系模型的。关系模型通过关系分解消除数据结构的复杂性,获得了对数据查询的能力和灵活性。而关系模型的缺点也是因为关系分解,使得在需要“组装”的数据时要进行join操作,而join则是相当耗时的操作。
大部分的NoSQl产品以MongoDb为代表,是基于文档模型的,类似json的bjson格式,因此可以存储比较复杂的数据类型,并且可以避免了join操作。在获得数据结构的可扩展性的同时,则失去了对通用数据查询语言(SQL)的支持。你需要重新学习这些NoSQL产品的查询语言。
关于关系数据库与NoSQL的对比,这里有一篇好文推荐给大家: 自由模式的MySQL vs NoSQL。 OceanBase中Schema的格式 根据OceanBase官方文档的介绍:
OceanBase 中的schema 表示为纯文本的ASCII码文件, 采用常见的配置文件的形式. 分成各个 section. 每个section 下有多个配置项, 配置项名称和配置值之间用”=”连接. OceanBase 中 schema 是以应用为单位的, 一个应用一个schema文件. 一个应用中可以包含多张表, 每张表中可以包含多个列, 以及多个联表(join)关系. 我们以下面一个例子test1.ini文件来逐个梳理Schema的各个部分。文件内容如下:
应用的信息 [app_name] section为应用的信息。其他section每一个代表一张表。
目前主要有两个配置项:
name :用来配置应用的名称, 是一个长度不超过128位的字符串.
max_table_id :用来记录当前已经使用的最大的table_id. 在OceanBase中, 每个表都由table_id唯一标识, 且table_id不可以被重复使用. max_table_id 这个配置项, 主要是为了方便 schema 生成程序记录已经使用过的table_id. Schema定义文件中,除了[app_name]外的其他section都是一张表的信息。 section名就是表名,因此上面文件中定义了3张表u_collect_item_id,collect_info,collect_item_id.
table_id :配置项配置了这张表在OceanBase系统中的唯一id, 由schema 生成工具自动生成. 在OceanBase系统中, id的取值范围是0-65535.系统会保留0-1000的table_id供系统自身使用. table_type :用来配置表是内存表还是磁盘表. 因为一张表的动态数据存储在UpdateServer上,动态部分不受table_type影响, 所以table_type实际上表示了ChunkServer上的静态部分是放到内存中还是放到磁盘上. 该配置项取值为 1 的时候, 表示静态部分放到磁盘上, 为2的时候, 表示静态部分放到内存中. rowkey_max_length :用来配置表中主键的最大长度. rowkey_split :配置表在存储的时候的拆分限制. 因为一个表的数据可能放到多个tablet上存储, 这个值告诉ChunkServer, 在分裂数据到不同tablet时哪些数据是不应该被分开的, 比如, 当这个值为9的时候, 表示主键前9个字节完全相同的记录不应该被分到两个不同的tablet中. max_column_id :配置本表中已经使用过的最大的列id, 由schema 生成程序维护并使用, 防止对列id的重用. compress_func_name :可选项, 配置这个表在存储时使用的压缩算法名字. block_size :可选项, 配置表在存储成sstable时,采用的block大小. use_bloomfilter :可选项, 配置表是否使用布隆过滤器, 非零值为使用. rowkey_is_fixed_length :可选项, 配置主键是否是固定长度值. 非零值表示主键是固定长度的. 如果不配置该项, 默认主键为固定长度. column_info :配置项中的内容是具体描述一列的, 用”,”分开, 其内容包含列属性, 列id, 列名, 列类型.
列的属性:取值为0或者1. 为0表示该列只有动态数据(只存在于UpdateServer); 为1表示该列既有动态数据又有静态数据(既存在于UpdateServer 又存在于 ChunkServer).
列id:是这个列在表中的唯一标识, 该值由schema生成程序生成, 不可以被重用. 列id必须大于1, 系统保留id为1的用于表示主键.
所以例子中的
column_info=1,3,item_price,varchar,20
表示 : 列名字是 item_price; id 是3; 静态数据放在磁盘上; 类型是 varchar, 长度是20个字符. 因为OceanBase的联表(join)设计,使得某些只有动态数据的列是有意义的, 这种列一般在转储过程中会通过join运算转储到其它表中. 联表(Join)关系的配置 联表(join)关系是OceanBase提供的简化关联查询的有力手段.
join :这个配置项里描述的是join关系的具体内容
我们看一个例子:
join=rowkey[8,16]% collect_item_info:item_name$item_name,item_price$new_price
这一行表示当前表的一个join关系.
join=rowkey[8,16]%collect_item_info 是表示用当前记录的主键的第8-16字节(闭区间) 与表collect_item_info 进行join操作. “:”后的内容表示具体发生join的列.
用”$”分开的两个列分别被称为参与join操作的左列和右列. join操作总是用右列的值合并到左列的值上, 然后将合并的结果返给用户(左列和右列的值都不发生变化, 合并只体现在反给用户的结果中).
所以上述的表达是说, 当访问当前表的时候, 如果访问到列 item_name 或者 item_price. 则需要以当前主键的 8-16 字节为主键查找表 collect_item_info. 如果查到记录, 则用其item_name 列的值与当前记录的item_name的值做合并, 用其new_price列的值与当前记录的item_price的值做合并, 将合并的结果作为最终值返给客户. 以上的格式介绍出自OceanBase的官方文档 doc/OceanBase的schema.docx Schema的管理 以下讨论基于OceanBase0.3版本。
Schema由RootServer进行管理,包括Schema配置文件合Schema管理器两部分。RootServer可以通过 switch_schema 和 switch_schema_manager 来切换不同的schema配置文件和不同的schema管理器 ObSchemaManagerV2 。
Schema的代码组织 与配置文件的结构类似,表、列和join联表分别对应了3个类。
(应用信息[app_name]的相关代码在哪?) 这三个类主要功能就是对配置文件中的各个属性进行get和set。各种属性在上节已经有较详细的介绍,不再重复。 Schema管理器 Schema管理器ObSchemaManagerV2负责管理每个Schema中的TableSchema,ColumnSchema,JoinInfo。拥有TableSchema,ColumnSchema,JoinInfo的get和set函数。
Schema管理器ObSchemaManagerV2对应了一个完整的Schema配置文件。可以从配置文件解析生成相应的TableSchema,ColumnSchema,JoinInfo。一个配置文件中可以配置多对张表,每个表有多个列,体现在数组table_infos_和columns上。,此外,还有两个ObHashMap结构以列Id和列名作为key,用于加速列的查询。
其他涉及Schema管理的模块 在OceanBase系统中,用户的读写事务都会发给MergeServer。MergeServer解析这些读写事务的内容,例如词法和语法分析、schema检查等。对于只读事务,由MergeServer发给相应的ChunkServer分别执行后再合并每个ChunkServer的执行结果;对于读写事务,由MergeServer进行预处理后,发送给UpdateServer执行。
因此在MergeServer中也存在一个Schema管理的接口ObMergerSchemaManage. ObMergerSchemaManager管理SchemaManager,可以获取,添加和释放ObSchemaManagerV2,schema manager 最多有 MAX_VERSION_COUNT(默认为4)个 SchemaManager的实例。我们可以通过get_schema来获取Schema管理器ObSchemaManagerV2。还可以通过add_schema,release_schema来添加或释放ObSchemaManagerV2。如果实例到达上限时继续添加,则会删除最旧的一个实例,然后在添加新的SchemaManager实例。
与传统数据库类似,OceanBase要预先定义schema。采用ASCII配置文件对Schema进行配置。一个应用使用一个schema文件. 可以包含多张表, 每张表中可以包含多个列, 以及多个联表(join)关系.RootServer负责管理Schema配置和Schema管理器。 欢迎光临我的网站----蝴蝶忽然的博客园----人既无名的专栏。
如果阅读本文过程中有任何问题,请联系作者,转载请注明出处!
赛况激烈!2022 OceanBase数据库大赛50强诞生 数据库作为各行业数据的存储、管理和分析的软件,是承载数据要素、影响数字经济发展的底座。对于数据库从业者而言,对数据库的要求就是对自身能力的要求。据有关数据统计,目前国内从事数据库内核研发的人员稀缺,制定可行且有效的人才培养方案迫在眉睫。 OceanBase 作为国内自研数据库的厂商,产品能力已经在金融、电信、政企等诸多重要行业得到了验证。自 2021 年起,OceanBase 已连续举办两届数据库大赛,旨在用坚实的数据库系统知识与过硬的实践环境,锻炼出一批真正可投入生产环境的数据库人才。
阿里的OceanBase数据库世界第一,底层原来使用了Paxos协议 前段时间相信都被阿里的OceanBase数据库刷屏了,它击败世界头号数据库厂商Oracle,登顶全球第一。先不看新闻内容,光是看标题就足以让人耳目一新了。又是“击败”,又是“第一”,又是“打破世界纪录”。即使是IT行业的门外汉,相信也会对这个消息感到振奋。但是你知道其底层其实使用的Paxos协议吗?如果你不知道也没关系,这篇文章主要就是让你理解Paxos协议到底是个什么东西?
【OceanBase】基于CentOS系统安装OceanBase数据库 OceanBase是由蚂蚁集团完全自主研发的金融级分布式关系数据库,始创于2010年。OceanBase具有数据强一致、高可用、高性能、在线扩展、高度兼容SQL标准和主流关系数据库、低成本等特点。
OceanBase要求schema强类型约束,也就是要预先定义好schema。这与传统的数据库基本相同,与很多nosql的schema-free大相径庭。
也就是说,OceanBase的数据模式是基于关系模型的。关系模型通过关系分解消除数据结构的复杂性,获得了对数据查询的能力和灵活性。而关系模型的缺点也是因为关系分解,使得在需要“组装”的数据时要进行join操作,而join则是相当耗时的操作。
大部分的NoSQl产品以MongoDb为代表,是基于文档模型的,类似json的bjson格式,因此可以存储比较复杂的数据类型,并且可以避免了join操作。在获得数据结构的可扩展性的同时,则失去了对通用数据查询语言(SQL)的支持。你需要重新学习这些NoSQL产品的查询语言。
关于关系数据库与NoSQL的对比,这里有一篇好文推荐给大家: 自由模式的MySQL vs NoSQL。 OceanBase中Schema的格式 根据OceanBase官方文档的介绍:
OceanBase 中的schema 表示为纯文本的ASCII码文件, 采用常见的配置文件的形式. 分成各个 section. 每个section 下有多个配置项, 配置项名称和配置值之间用”=”连接. OceanBase 中 schema 是以应用为单位的, 一个应用一个schema文件. 一个应用中可以包含多张表, 每张表中可以包含多个列, 以及多个联表(join)关系. 我们以下面一个例子test1.ini文件来逐个梳理Schema的各个部分。文件内容如下:
[app_name] name=collect max_table_id=1003 [u_collect_item_id] table_id=1001 table_type=1 column_info=1,2,item_name,int column_info=1,3,new_price,varchar,20 rowkey_split=0 rowkey_max_length=9 max_column_id=3 [collect_info] table_id=1002 table_type=2 column_info=1,2,item_name,int column_info=1,3,item_price,varchar,20 rowkey_split=8 join=rowkey[8,16]%u_collect_item_id:item_name$item_name,item_price$new_price rowkey_max_length=17 max_column_id=3 [collect_item_id] table_id=1003 table_type=2 column_info=0,2,item_name,varchar,20 column_info=0,3,new_price,int rowkey_split=0 rowkey_max_length=9 max_column_id=3
应用的信息 [app_name] section为应用的信息。其他section每一个代表一张表。
目前主要有两个配置项:
name :用来配置应用的名称, 是一个长度不超过128位的字符串.
max_table_id :用来记录当前已经使用的最大的table_id. 在OceanBase中, 每个表都由table_id唯一标识, 且table_id不可以被重复使用. max_table_id 这个配置项, 主要是为了方便 schema 生成程序记录已经使用过的table_id. Schema定义文件中,除了[app_name]外的其他section都是一张表的信息。 section名就是表名,因此上面文件中定义了3张表u_collect_item_id,collect_info,collect_item_id.
table_id :配置项配置了这张表在OceanBase系统中的唯一id, 由schema 生成工具自动生成. 在OceanBase系统中, id的取值范围是0-65535.系统会保留0-1000的table_id供系统自身使用. table_type :用来配置表是内存表还是磁盘表. 因为一张表的动态数据存储在UpdateServer上,动态部分不受table_type影响, 所以table_type实际上表示了ChunkServer上的静态部分是放到内存中还是放到磁盘上. 该配置项取值为 1 的时候, 表示静态部分放到磁盘上, 为2的时候, 表示静态部分放到内存中. rowkey_max_length :用来配置表中主键的最大长度. rowkey_split :配置表在存储的时候的拆分限制. 因为一个表的数据可能放到多个tablet上存储, 这个值告诉ChunkServer, 在分裂数据到不同tablet时哪些数据是不应该被分开的, 比如, 当这个值为9的时候, 表示主键前9个字节完全相同的记录不应该被分到两个不同的tablet中. max_column_id :配置本表中已经使用过的最大的列id, 由schema 生成程序维护并使用, 防止对列id的重用. compress_func_name :可选项, 配置这个表在存储时使用的压缩算法名字. block_size :可选项, 配置表在存储成sstable时,采用的block大小. use_bloomfilter :可选项, 配置表是否使用布隆过滤器, 非零值为使用. rowkey_is_fixed_length :可选项, 配置主键是否是固定长度值. 非零值表示主键是固定长度的. 如果不配置该项, 默认主键为固定长度. column_info :配置项中的内容是具体描述一列的, 用”,”分开, 其内容包含列属性, 列id, 列名, 列类型.
列的属性:取值为0或者1. 为0表示该列只有动态数据(只存在于UpdateServer); 为1表示该列既有动态数据又有静态数据(既存在于UpdateServer 又存在于 ChunkServer).
列id:是这个列在表中的唯一标识, 该值由schema生成程序生成, 不可以被重用. 列id必须大于1, 系统保留id为1的用于表示主键.
所以例子中的
column_info=1,3,item_price,varchar,20
表示 : 列名字是 item_price; id 是3; 静态数据放在磁盘上; 类型是 varchar, 长度是20个字符. 因为OceanBase的联表(join)设计,使得某些只有动态数据的列是有意义的, 这种列一般在转储过程中会通过join运算转储到其它表中. 联表(Join)关系的配置 联表(join)关系是OceanBase提供的简化关联查询的有力手段.
join :这个配置项里描述的是join关系的具体内容
我们看一个例子:
join=rowkey[8,16]% collect_item_info:item_name$item_name,item_price$new_price
这一行表示当前表的一个join关系.
join=rowkey[8,16]%collect_item_info 是表示用当前记录的主键的第8-16字节(闭区间) 与表collect_item_info 进行join操作. “:”后的内容表示具体发生join的列.
用”$”分开的两个列分别被称为参与join操作的左列和右列. join操作总是用右列的值合并到左列的值上, 然后将合并的结果返给用户(左列和右列的值都不发生变化, 合并只体现在反给用户的结果中).
所以上述的表达是说, 当访问当前表的时候, 如果访问到列 item_name 或者 item_price. 则需要以当前主键的 8-16 字节为主键查找表 collect_item_info. 如果查到记录, 则用其item_name 列的值与当前记录的item_name的值做合并, 用其new_price列的值与当前记录的item_price的值做合并, 将合并的结果作为最终值返给客户. 以上的格式介绍出自OceanBase的官方文档 doc/OceanBase的schema.docx Schema的管理 以下讨论基于OceanBase0.3版本。
Schema由RootServer进行管理,包括Schema配置文件合Schema管理器两部分。RootServer可以通过 switch_schema 和 switch_schema_manager 来切换不同的schema配置文件和不同的schema管理器 ObSchemaManagerV2 。
bool ObRootServer2::get_schema(ObSchemaManagerV2 out_schema) const; /* 从本地读取新schema, 判断兼容性 */ int ObRootServer2::switch_schema(int64_t time_stamp, ObArray uint64_t deleted_tables); void ObRootServer2::switch_schema_manager(ObSchemaManagerV2 *schema_manager);
Schema的代码组织 与配置文件的结构类似,表、列和join联表分别对应了3个类。
class ObJoinInfo; class ObColumnSchemaV2; class ObTableSchema;
(应用信息[app_name]的相关代码在哪?) 这三个类主要功能就是对配置文件中的各个属性进行get和set。各种属性在上节已经有较详细的介绍,不再重复。 Schema管理器 Schema管理器ObSchemaManagerV2负责管理每个Schema中的TableSchema,ColumnSchema,JoinInfo。拥有TableSchema,ColumnSchema,JoinInfo的get和set函数。
Schema管理器ObSchemaManagerV2对应了一个完整的Schema配置文件。可以从配置文件解析生成相应的TableSchema,ColumnSchema,JoinInfo。一个配置文件中可以配置多对张表,每个表有多个列,体现在数组table_infos_和columns上。,此外,还有两个ObHashMap结构以列Id和列名作为key,用于加速列的查询。
class ObSchemaManagerV2 public: /*省略其他方法,成员变量*/ bool parse_from_file(const char* file_name, tbsys::CConfig config); bool parse_one_table(const char* section_name, tbsys::CConfig config, ObTableSchema schema); bool parse_column_info(const char* section_name, tbsys::CConfig config, ObTableSchema schema); bool parse_join_info(const char* section_name, tbsys::CConfig config, ObTableSchema schema); bool parse_expire_info(const char* section_name, tbsys::CConfig config, ObTableSchema schema); private: char app_name_[OB_MAX_APP_NAME_LENGTH]; ObTableSchema table_infos_[OB_MAX_TABLE_NUMBER]; ObColumnSchemaV2* columns_; hash::ObHashMap ObColumnNameKey,ObColumnInfo,hash::NoPthreadDefendMode column_hash_map_; hash::ObHashMap ObColumnIdKey,ObColumnInfo,hash::NoPthreadDefendMode id_hash_map_; int64_t join_table_nums_; uint64_t join_tables_[OB_MAX_TABLE_NUMBER];
其他涉及Schema管理的模块 在OceanBase系统中,用户的读写事务都会发给MergeServer。MergeServer解析这些读写事务的内容,例如词法和语法分析、schema检查等。对于只读事务,由MergeServer发给相应的ChunkServer分别执行后再合并每个ChunkServer的执行结果;对于读写事务,由MergeServer进行预处理后,发送给UpdateServer执行。
因此在MergeServer中也存在一个Schema管理的接口ObMergerSchemaManage. ObMergerSchemaManager管理SchemaManager,可以获取,添加和释放ObSchemaManagerV2,schema manager 最多有 MAX_VERSION_COUNT(默认为4)个 SchemaManager的实例。我们可以通过get_schema来获取Schema管理器ObSchemaManagerV2。还可以通过add_schema,release_schema来添加或释放ObSchemaManagerV2。如果实例到达上限时继续添加,则会删除最旧的一个实例,然后在添加新的SchemaManager实例。
const ObSchemaManagerV2 * get_schema(const ObString table_name); const ObSchemaManagerV2 * get_schema(const uint64_t table_id); int add_schema(const ObSchemaManagerV2 schema, const ObSchemaManagerV2 ** manager = NULL); int release_schema(const ObSchemaManagerV2 * schema);
与传统数据库类似,OceanBase要预先定义schema。采用ASCII配置文件对Schema进行配置。一个应用使用一个schema文件. 可以包含多张表, 每张表中可以包含多个列, 以及多个联表(join)关系.RootServer负责管理Schema配置和Schema管理器。 欢迎光临我的网站----蝴蝶忽然的博客园----人既无名的专栏。
如果阅读本文过程中有任何问题,请联系作者,转载请注明出处!
赛况激烈!2022 OceanBase数据库大赛50强诞生 数据库作为各行业数据的存储、管理和分析的软件,是承载数据要素、影响数字经济发展的底座。对于数据库从业者而言,对数据库的要求就是对自身能力的要求。据有关数据统计,目前国内从事数据库内核研发的人员稀缺,制定可行且有效的人才培养方案迫在眉睫。 OceanBase 作为国内自研数据库的厂商,产品能力已经在金融、电信、政企等诸多重要行业得到了验证。自 2021 年起,OceanBase 已连续举办两届数据库大赛,旨在用坚实的数据库系统知识与过硬的实践环境,锻炼出一批真正可投入生产环境的数据库人才。
阿里的OceanBase数据库世界第一,底层原来使用了Paxos协议 前段时间相信都被阿里的OceanBase数据库刷屏了,它击败世界头号数据库厂商Oracle,登顶全球第一。先不看新闻内容,光是看标题就足以让人耳目一新了。又是“击败”,又是“第一”,又是“打破世界纪录”。即使是IT行业的门外汉,相信也会对这个消息感到振奋。但是你知道其底层其实使用的Paxos协议吗?如果你不知道也没关系,这篇文章主要就是让你理解Paxos协议到底是个什么东西?
【OceanBase】基于CentOS系统安装OceanBase数据库 OceanBase是由蚂蚁集团完全自主研发的金融级分布式关系数据库,始创于2010年。OceanBase具有数据强一致、高可用、高性能、在线扩展、高度兼容SQL标准和主流关系数据库、低成本等特点。
相关文章
- 数据库update语法-MySQL数据库 | SQL语句详解
- 快速实现SQL Server数据库恢复备份
- 通过Windows批处理命令执行SQL Server数据库备份
- SQL Server数据库中的存储过程介绍
- 测试Oracle SQL:获得更多知识(oracle测试sql)
- MySQL删除数据库:简单SQL语句指南(mysql删除数据库语句)
- SQL访问MySQL:揭秘数据库访问之旅(sql访问mysql)
- 优化Oracle耗时SQL,提升数据库性能(oracle耗时sql)
- 轻松实现MySQL SQL批量执行方法,快速操作数据库(mysql批量执行sql)
- 优化MySQL数据库性能优化:克服耗时SQL问题(mysql耗时sql)
- 实现Oracle数据库乘法操作的SQL语句(oracle乘法sql)
- 如何在Linux上导出SQL文件(linux导出sql文件)
- 数据库学习SQL Server数据库独立管理的技巧(独立sqlserver)
- Oracle数据库:SQL文件的执行步骤详解(oracle如何执行sql文件)
- 力SQL Server—激活你的数据库潜力(SQLserver能)
- SQL Server付费:支付保证了数据库服务的安全性(sqlserver收费的)
- SQL Server:一门容易上手的数据库管理语言(sqlserver好学吗)
- 称微软最强大的数据库微软强大动力SQL Server 数据库.(sqlserver 号)
- MySQL数据库备份还原SQL操作指南(mysql数据还原sql)
- Oracle SQL跟踪:如何优化数据库性能?(oracle跟踪sql)
- Oracle SQL添加列:轻松实现更新数据库表的目的(oracle添加列sql)
- 深入浅出:精通Oracle数据库SQL语句(oracle数据库sql语句)
- 快速高效导出MySQL数据库到SQL文件(mysql导出sql文件)
- Oracle数据库中SQL文件的导入(.sql导入oracle)
- SQLServer中用T—SQL命令查询一个数据库中有哪些表的sql语句