- 昇得源体育app
- 版本:v3.3.5
- 类别:理财
- 大小:362984KB
- 时间12月02日
昇得源体育app:taosAdapter正式发布:支持从OpenTSDB向TDengine无缝迁移
为了构建更为完整的物联网大数据处理生态,支持简单高效地从其他时序数据库迁移到TDengine,我们开发了taosAdapter。
TDengine是涛思数据专为物联网、车联网、工业互联网、IT运维等设计和优化的大数据平台。除核心的快10倍以上的时序数据库功能外,还提供缓存、数据订阅、流式计算等功能,最大程度减少研发和运维的复杂度,且核心代码包括集群功能全部开源。自TDengine于2019年7月宣布开源以来,在GitHub上已经已经获得非常积极的反馈,有17,300多人给了star,4,100多人fork了代码。越来越多的用户开始采用TDengine。
taosAdapter是一个新的独立程序,可以包含在TDengine 2.3.0.0及以上版本中。taosAdapter的核心出发点是解决用户的痛点,降低迁移成本。
在物联网和运维监控等领域,有些用户还在使用传统解决方案或者比较老的产品解决时序数据处理问题,比如OpenTSDB。OpenTSDB也是一款开源的分布式时序数据库,它没有自己的存储引擎,相关功能完全基于HBase。因为产生时间较早,所以很多运维监控项目选择了该系统。
以顺丰科技为例,他们采用了OpenTSDB+HB昇得源体育appase作为大数据监控平台全量昇得源体育app监控数据的存储方案。但是随着该平台接入的数据量越来越大,他们遇到了很多痛点,像昇得源体育app系统依赖多、使用成本高和性能不如意等。
具体而言:
- 依赖多,稳定性较差:大数据监控平台是底层的基础设施,在数据存储方面又要依赖Kafka、Spark和HBase等大数据组件。这样数据处理链路就会很长,而数据链路越长,要保证系统的可靠性,挑战也就越大。如果监控系统本身出现问题,也就无从基于它来发现和定位业务系统的问题了。
- 使用成本高:监控数据的写入量非常大,而且为了追溯历史问题,他们需要将全量监控数据保存半年以上。数据存储成本居高不下。
- 性能不能满足需求:OpenTSDB作为全量监控数据存储方案,在写入方面性能基本满足需求,但是在日常大跨度和高频次查询方面已无法满足要求。
为了解决这些痛点,当时顺丰科技的工程师们认为有必要对全量监控数据存储方案进行升级。他们调研了多款时序数据库产品,最终决定选择TDengine。之后他们基于TDengine对系统进行了改造。改造完成后,TDengine集群轻松扛住了全量监控数据写入,目前运行稳定。
这次改造带来的效果提升非常亮眼:服务端物理机由21台降至3台,每日所需存储空间同等条件下仅为OpenTSDB+HBase的约1/10,大大降低了硬件成本。在查询性能方面,在使用预计算函数情况下,查询p99都在0.7秒以内,已经能够满足日常绝大部分查询需求;在做大跨度(6个月)非预计算查询情况下,首次查询耗时在10秒左右,后续类似查询耗时会有大幅下降(2-3s)。
睿信物联网平台也遇到了类似问题,他们之前采用OpenTSDB存储时序数据,功能上是能够满足需求的;但是由于OpenTSDB架构复杂,体量过重,给开发测试、安装部署以及运维管理等工作带来了不小的麻烦,随着业务规模的发展,问题愈发严重。同样在经过调研之后,他们也选择了TDengine。在升级改造的过程中,他们需要保留历史数据,所以需要将历史数据从OpenTSDB迁移到TDengine。为此他们还专门开发了一个数据迁移工具,并进行了详尽的测试。
用户的需求就是产品演进的动力。TDengine的研发团队开始思考这个问题:昇得源体育app既然很多用户都有这种迁移需求,那是不是可以官方给出一个统一的解决方案呢?
taosAdapter就是我们的答案。taosAdapter主要有以下功能:
- RESTful接口
- 兼容InfluxDB v1 write接口
- 兼容OpenTSDB JSON和Telnet格式写入
- 无缝连接Telegraf、collectd、StatsD、Icinga、TCollector
它能够兼容OpenTSDB的Telnet/JSON写入协议,对于运维监控类业务,用户可以将collectd和StatsD收集的数据通过taosAdapter直接推送到TDengine。在数据能够正常写入TDengine后,可以调整适配Grafana,将写入TDengine的数据以可视化方式呈现出来。TDengine也为Grafana提供了连接插件。如果要迁移历史数据,涛思数据还开发了数据同步工具DataX的插件,能够帮助用户将数据自动写入到TDengine中。用户无需修改任何一行代码,只需要改几个配置,即可无缝迁移。
下一步,taosAdapter也将继续完善,支持从更多平台向TDengine迁移。返回搜狐,查看更多
责任编辑:
相关文章
更多+-
12月02日
-
12月02日
-
12月02日
-
12月02日
-
12月02日
-
12月02日
-
12月02日
-
12月02日
精品推荐
-
乐鱼娱乐网址在线登录:互联网营销师国家职业技能标准来了!带货主播成正式工种下载
-
金宝搏188手机网址:RA官宣FoFo离队 LGD官宣Xiye离队下载
-
千亿网址是什么:证监会连环59问慕思股份:这个洋老头究竟是谁?下载
-
必威betway东盟体育:信源豆豆一招解决“工作群泄密”下载
-
网投十大信誉平台j0500:表演艺术家蓝天野:只要党需要我、观众需要我,我就要发好光和热-_光明网下载
-
网投正规在线平台:原创- 万元羽绒服门店不让退货?加拿大鹅紧急改口,中国消费者还会买单吗下载
-
188金宝搏官网下载:突破7400MB-s,令人惊喜的Kingston FURY叛逆者(Renegade)PCIe 4.0 NVMe SSD下载
-
万博体育maxbextx备用地址:成都链安-爆火的链游是新时代淘金?看懂这些套路避免再被收割!下载
-
BET365下载手机版:勇士召回汤普森 期待“水花兄弟”再合体下载
-
开博体育官网:消费者报告-好欢螺螺蛳粉吃出虫卵,是商业诋毁还是食安问题?下载
-
lehu11乐虎国际:这事儿|深圳卫健委公号再刷爆款,“无套后入有毒”科普防艾知识下载
-
华体会体育app官网下载:助力中国航天梦,看名气电器如何游弋厨电的“星辰大海”下载
-
-
孙子涵 12月02日 15:44
黄金城hjc037vip:职场女性买哪款笔记本?从颜值设计和性能需求出发,我推荐这一款
-
尤韵荔 12月02日 11:32
188金宝搏官方app下载查封了嘛:连环画传颂千年运河 “咱家书房”助力运河原创品牌更亲民-运河品牌+01期-_中国政协_中国
-
仝飞光 12月02日 16:20
金宝搏网页登录:丁磊发布公开信:网易云音乐不止做音乐,还要经营声音的生意-科技频道
-
阳惊骅 12月02日 22:39
千赢国际网址是多少:原创- 比赛日:莱斯特2-2圣徒 那不勒斯遭绝平2-2萨索洛_0
陈渲洋 12月02日 06:52
U乐国际官网登录:中医在泰国:健康“一家亲”- 世界同心圆09-_中国政协_中国