CanalSharp.AspNetCore v0.0.4-支持输出到MongoDB
一、多样输出支持
CanalSharp.AspNetCore是一个基于CanalSharp的适用于ASP.NET Core的一个后台任务组件,它可以随着ASP.NET Core实例的启动而启动,目前采用轮询的方式对Canal Server进行监听,获得MySql行更改(RowChange)后写入MySql指定的记录表中。在此次更新中,可以支持写入MongoDB数据库了,换句话说,可以支持MySql或MongoDB二选一的输出方式了。
这个项目的GitHub地址为:https://github.com/XiLife-OSPC/CanalSharp.AspNetCore
二、新的配置内容
为了同时支持MySql及MongoDB,请更新CanalSharp.AspNetCore至0.0.4版本:
然后,如果要输出到MySql请更新以下配置到appSettings.json:
"Canal": { "Enabled": true, "LogSource": "Core.Product.Canal", "ServerIP": "192.168.16.190", // Canal-Server IP "ServerPort": 8001, // Canal-Server 端口号 "Destination": "products", // 与Canal-Server中配置的destination保持一致 "Filter": "xdp_products_dev\..*", // 与Canal-Server中配置的filter保持一致 "SleepTime": 100, // 空闲时间睡眠时间 "BufferSize": 2048, // 如果涉及到更改的数据量较大请将BufferSize设大一些 "Output": { "MySql":{ "ConnStr": "Server=192.168.16.150;Port=3306;Database=products_dev;Uid=dev;Pwd=xdp" // 要输出的日志记录表所在的MySql连接字符串 } } }
如果要输出到MongoDB请更新以下配置到appSettings.json:
"Canal": { "Enabled": true, "LogSource": "Core.Product.Canal", "ServerIP": "192.168.16.190", // Canal-Server IP "ServerPort": 8001, // Canal-Server 端口号 "Destination": "products", // 与Canal-Server中配置的destination保持一致 "Filter": "xdp_products_dev\..*", // 与Canal-Server中配置的filter保持一致 "SleepTime": 100, // 空闲时间睡眠时间 "BufferSize": 2048, // 如果涉及到更改的数据量较大请将BufferSize设大一些 "Output": { "Mongo": { "ConnStr": "mongodb://192.168.16.150:27017", "DataBase": "xdp_behaviors_dev" } } }
就这点配置文件的改动,其他的无需改动。
具体的Sample示例可以参考这里:CanalSharp.AspNetCore.Sample
三、效果演示
当在指定要监听的数据库对某张表的某行数据进行Update或Delete操作后,又或者进行Insert行操作后。
3.1 MySql
如果选择输出到MySql数据库,那么canal.logs表(该表会自动创建)会自动记录变更的记录数据如下图所示:
PS:INSERT操作会记录新增的数据行数据到CurrentValue列,DELETE操作会记录删除的数据行数据到PreviousValue列,UPDATE操作则会记录修改前PreviousValue和修改后的值CurrentValue。
3.2 MongoDB
如果选择输出到MongoDB,那么会自动记录变更数据到你指定的数据库中的changelogs中如下图:
就这样吧,Code仍然很乱,也没时间去优化了,先就这样将就用吧。
相关文章
- 直接在代码里面对list集合进行分页
- .NET Framework 4.5新特性详解
- 大数据的简要介绍
- 大数据的由来
- 高斯混合模型的自然梯度变量推理
- timing-wheel 仿Kafka实现的时间轮算法
- 使用Navicat软件连接自建数据库(Linux系统)
- 那一天,我被Redis主从架构支配的恐惧
- Redis 深入了解键的过期时间
- C#使用委托调用实现用户端等待闪屏
- 基于流计算 Oceanus 和 Elasticsearch Service 构建百亿级实时监控系统
- GRAND | 转录调控网络预测数据库
- JFreeChart API中文文档
- 临床相关突变查询数据库
- TIGER | 人类胰岛基因变化查询数据库
- 视频边缘计算网关EasyNVR在视频整体监控解决方案中的应用分析
- Apache Arrow - 大数据在数据湖后的下一个风向标
- 常见的电商数据指标体系
- AKShare-艺人数据-艺人流量价值
- MySQL中多表联合查询与子查询的这些区别,你可能不知道!