字数 2083阅读大约需 11 分钟在前两天的时候, 看到了Turso, 它是一个运用Rust重新编写的、具备兼容特性的数据库, 有着支持并发写入以及向量搜索的功能, 在收获了2万颗Star之后, 频繁地登上了榜单, 所以必须要尝试一下, 然后在今天完成这件事之后, 给大家讲讲这东西。项目简介Turso是个兼容数据库, 它是用Rust重写的, 由团队开发, 保留了轻量级、单文件特性, 添入了现代数据库功能, 有并发写入, 还有向量搜索, 包括异步I/O, 和多语言SDK, 以及CDC, 也就是变更数据捕获, 另外有全文搜索, 加上静态加密, 具备多进程WAL协调, 并且有Turso Cloud托管服务, 配以支持。简而言之, Turso 所要解决的两大显著痛点为: 一是写操作串行化, 二是缺少向量搜索。倘若你正在使用可是遭遇并发写入受阻的状况, 又或者有向量搜索的需求, 然而却不想另外搭建一个向量数据库, 那么 Turso 颇具观察了解的价值。下面我按功能拆开讲看看它到底有多少干货。功能详情 1. 兼容性直接替换零成本迁移Turso号称是下一代演进版本, 其兼容性的落实极为彻底, 对SQL方言、文件格式以及C API均予以支持, 我们现有的数据库文件, 可直接交付给Turso使用, 无需对代码进行修改。我进行了尝试, 把之前的一个数据库文件拖拉过来, 随后借助Turso予以打开, 查询、插入以及删除操作均不存在问题, 就连那些处于边缘的SQL语法, 它同样都能识别。这一点对于迁移而言极为重要, 无需重新撰写业务逻辑。但是, Turso并非完全具备兼容性, 它存在一些限制情况, 像是不支持触发器, 不支持视图, 并且字符编码仅认可UTF-8。要是你运用了这些特性, 那么在迁移之前可得慎重考虑一番。然而, 对于多数应用而言, 这些限制并不会对核心功能起到影响作用。2. 并发写入MVCC让多线程写操作不再排队极为凸出的痛点在于进行写操作时安排成串行化, 好多线程会在同一时间开始写, 后头的那些线程必须要等前面的线程完成写入才行。Turso运用MVCC也就是多版本并发控制把这个难题给化解掉了。它引入了BEGIN事务, 使得好几项写入能够同时加以开展, 一旦出现冲突状况便退回。MVCC在这儿属于标配范畴, 然而在这儿实现却是首次经历, Turso的MVCC当前于实验状况, 存在局限性 , 不可创建索引, 数据量庞大的集合启动起来较为迟缓, 内部存在不足对来说的影响重大, 使用时必须小心妥善处理。然而, 此方向是正确无误的。往后, 多线程写入无需再进行排队这一行为, 则性能就将具备显著明确的提升。3. 向量搜索内置向量相似度计算AI应用直接上手当下进行AI应用时, 向量搜索是无法避开的, 一般而言我们需要额外构建一个向量数据库, 比如说Turso, 它直接把向量搜索整合到了数据库内核且支持三种向量类型, 其中有稠密向量, 这种是32/64位浮点, 适用于大多数情况, 还有稀疏向量, 其特点是只存储非零值, 能够节省内存, 另外还有量化向量, 它是8位整数用于压缩存储。在距离计算方面支持L2、余弦相似度以及内积。我撰写了一个简易的示例, 将文本存入其中, 运用余弦相似度予以搜索, 其效果与专用向量数据库大致相同, 关键在于节省了一个组件, 使得运维更为简便得多。4. 异步I/O加持读写不阻塞Turso被用Rust重新编写, 天生支持异步, 在Linux环境下, 它借助相关实现达成真正的异步I/O, 使得读写操作不会阻塞线程, 这对于无服务器以及边缘环境尤为有用, 在那些地方阻塞I/O所产生的成本过高。浏览器里Turso跑得顺畅是因为异步设计, 借助此, 它能在浏览器里直接对数据库进行操作, 且数据会存储至OPFS也就是File里, 离线应用, 客户端AI agent, 这种情况下应用场景一下子就被拓宽了。5. 多语言支持提供多种SDK跨平台使用Turso给出了Go、Java、.NET、Rust的软件开发者工具包, 还有版本。我拿去做了尝试, 安装 / 包, 仅需几行代码便可实现连接。import{ connect }fromtursodatabase/database;constdb awaitconnect(sqlite.db);conststmt db.prepare(SELECT * FROM users);constusers stmt.all; console.log(users);Rust的运用情形大致相同, 具备跨平台特性, 可支持Linux系统, 也能支持macOS系统, 还能在浏览器环境中使用。它是一种数据库引擎, 能够在多个不同平台间迁移使用。6. 变更数据捕获CDC实时追踪数据变化Turso的实验功能是CDC, 它能够实时捕获数据库的变更, 将其推送到消息队列或者外部系统。在数据同步、审计、实时分析这些场景当中, CDC省去了自行轮询的麻烦。但是注意目前还是早期预览。7. 全文搜索集成引擎提升文本检索性能实验功能包含全文搜索, 其集成了库。是那种用Rust编写的全文搜索引擎, 性能颇为强大。能在数据库里直接开展全文搜索, 无需再进行外接, 如此一来架构就变得简单许多了。8. 静态加密页面级数据加密增强安全性Turso对页面级别予以静态加密的支持, 加密密钥是由用户进行管理着的, 那怕是会有数据库文件被偷窃走了, 在没有密钥的情况下也是根本没法解开的, 而这般功能目前还处于实验阶段呢。9. 多进程WAL协调.tshm侧车让多进程共享WAL在多进程环境里, 传统的读写是需要锁的, Turso借助.tshm共享内存侧车去协调WAL读写, 多个进程能够同时进行读取, 写操作也能够更优地并行处理, 此功能同样是属于实验性的, 主要面向高级用例。10. Turso Cloud托管服务全球边缘节点剔除开源引擎之外, Turso还给出了托管服务Turso Cloud, 它把数据库文件划分成128KB的段, 放置到S3当中, 借助边缘节点在附近提供服务, 数据库分支、即时复制、按需拉取, 这些功能皆是为云原生所设计的。上图呈现着Turso Cloud的仪表板, 从中能够看到数据库分支, 还能看到活动指标。11. 嵌入式副本读写分离边缘低延迟Turso对嵌入式副本予以支持, 在本地留存一个副本, 写操作朝着主数据库行进, 读操作借助本地副本进行, 将延迟降低至最低程度, 此模式契合移动端、IoT设备以及离线应用。那里的图呈现出嵌入式副本架构模样, 包括应用、存在了本地的那种副本以及远程数据库之间的读取和写入的流动情形。12. 支持在浏览器中运行数据库Turso借助于在浏览器之中进行运行, 凭借OPFS来施行持久化存储。这般一来, 能使你于浏览器之内也得以运用完整的SQL数据库, 并且数据不会出现丢失的情况。上面所呈现的图, 乃是Turso WASM的架构图, 它所展示的内容涵盖了主线程, 以及Web , 还有OPFS同步接口等组件。快速上手Turso给出了好些种安装途径, 这边以所提及的那个为例, 用以展示怎样能够迅速地掌握上手的方法手段。安装使用 npm 安装 Turso 的 SDKnpm install tursodatabase/database连接数据库创建一个 文件连接现有的 数据库文件或新建一个import{ connect }fromtursodatabase/database;constdb awaitconnect(mydb.db); // 创建表awaitdb.exec( CREATE TABLE IF NOT EXISTS users ( id INTEGER PRIMARY KEY, name TEXT, email TEXT ) ); // 插入数据conststmt db.prepare(INSERT INTO users (name, email) VALUES (?, ?)); stmt.run(Alice, // 查询数据constusers db.prepare(SELECT * FROM users).all; console.log(users);使用向量搜索倘若你有向量搜索的需求, 那么可先去安装对应的扩展, 此具体步骤可供参考官方文档哦, 随后要去创建向量索引, 接着再插入向量数据, 并且还要进行相似度搜索。