大数据技术介绍与对比(持续更新)
2024-08-01 11:16:40 # 技术

cockroachdb

alt text

简介

CockroachDB 是一个可伸缩的、跨地域复制的、支持事务的、高可用、强一致性的分布式 SQL 数据库,隶属于 NewSQL 的概念,在 SQL 协议的支持上对标 PostgreSQL,完全用 Golang 实现

ockroachDB 的思路源自 Google 的全球性分布式数据库 Spanner。其理念是将数据分布在多数据中心的多台服务器上,实现一个可扩展,多版本,全球分布式并支持同步复制的数据库

项目地址

https://github.com/cockroachdb/cockroach

特点

CockroachDB旨在无人为干预情况下,以极短的中断时间容忍磁盘、主机、机架甚至整个数据中心的故障 。 CockroachDB采用完全去中心化架构,集群中各个节点的地位完全对等

Polaris Catalog

alt text

简介

它是一个专为Apache Iceberg设计的开放源代码目录服务。Polaris Catalog的核心在于其对Apache Iceberg开放API的高度实施,这不仅是一次技术上的对接,更是一种跨平台数据管理理念的融合。通过RESTful接口,它打破了数据处理工具之间的壁垒,允许开发者和数据工程师在不同的计算框架间自由迁移和访问数据表,极大地提高了数据处理的灵活性和互操作性。该设计思路简洁而强大,依托于成熟稳定的API规范,确保了不同系统间的高效沟通,是未来大数据生态系统互通互联的重要基石。

项目地址

https://www.snowflake.com/blog/introducing-polaris-catalog/

MaxKB

alt text
是一款基于 LLM 大语言模型的开源知识库问答系统,基于 LLM 大语言模型,开箱即用,支持快速嵌入到第三方业务系统,

项目地址

https://maxkb.cn/

Ollama

alt text
Ollama 是一个开源的大型语言模型服务,提供了类似 OpenAI 的 API 接口和聊天界面,可以非常方便地部署最新版本的 GPT 模型并通过接口使用。支持热加载模型文件,无需重新启动即可切换不同的模型。

项目地址

https://ollama.com/

Oceanbase

可以代替mysql的分布式关系型数据库

OceanBase Database 是一个分布式关系型数据库。完全由蚂蚁集团自主研发。 OceanBase 基于 Paxos 协议以及分布式架构,实现了高可用和线性扩展。

项目地址

https://github.com/oceanbase/oceanbase/blob/develop/README_CN.md

drawDB

alt text
开源的数据库结构图和SQL生成工具

项目地址

https://github.com/drawdb-io/drawdb

teable

alt text

无代码数据库

项目地址

https://github.com/teableio/teable