数据库并发控制理论

- 微信原文:https://mp.weixin.qq.com/s/_wGMr6XYh1FRNBS1dhW6Ag - 可以关注我微信公众号,有很多优质文章 【技术闲聊吧】,或点开上面文章,关注作者即可 - 安利一个redis实时数据同步工具,可以用来做跨集群、实例数据同步,大家赏个star吧 : https://github.com/mgtv-tech/redis-GunYu # 概述 并发控制技术,是数据库事务实现的基石,在确保事务隔离性正确的前提下,尽可能...阅读全文

Go语言中文网 2024-05-29 09:08:32 ikenchina

当数据遇上代码:程序员的假设检验

# 前言 有没有质疑过云服务的SLA?或在评估新厂商云服务时,对其SLI进行过测试? 在降本增效的大背景下,我们会尝试去使用价格更加合理的云服务,那么我们该如何测试服务SLI是否如其宣称一样? 曾被要求测试一家新厂商的服务,由于是金融领域,所以对延迟要求非常高,而云厂商宣称的平均延迟是10ms,由于接口特殊性,只能进行非常小规模的测试,以检验其延迟是否达标。 我们对接口进行了100次测试,发现其平均响应时间为12ms,那么是否就可以判定其不合格?如果单从平均值来看,...阅读全文

Go语言中文网 2024-05-29 09:03:09 ikenchina

TCC分布式事务的设计、实现与示例

- 微信原文:点击 [TCC分布式事务的设计、实现与示例](https://mp.weixin.qq.com/s/0Jd-H7fvq2_EfhfP196uHg) - 可以关注我微信公众号,有很多优质文章 【技术闲聊吧】,或点开上面文章,关注作者即可 - 大家赏个star吧 : https://github.com/ikenchina/octopus # 理论 ## 论文 Pat Helland于2007年发表tcc论文《Life beyond Distributed...阅读全文

Go语言中文网 2024-05-29 09:02:15 ikenchina

以发工资为例使用15行代码实现一个分布式事务

大家可以关注我微信公众号【技术闲聊吧】 # 以发工资为例使用15行代码实现一个分布式事务 开发一个分布式事务不是一件容易的事,经验丰富的老司机也往往会踩各种坑。 今天,我们就用 [octopus](https://github.com/ikenchina/octopus)来开发一个发工资的分布式事务。 - 微信原文:https://mp.weixin.qq.com/s/B149uXNgpwLIB2xrMSkCwA - 可以关注我微信公众号,有很多优质文...阅读全文

Go语言中文网 2024-05-29 08:59:40 ikenchina

顺序,时钟与分布式系统

大家可以查看原文:https://mp.weixin.qq.com/s/2JYkT8a-HdJ2LePVJ3Vlag 关注我微信公众号 # Ordering 现实生活中时间可以记录事情发生的时刻、比较事情发生的先后顺序。 分布式系统的一些场景也需要记录和比较不同节点间事件发生的顺序。 如数据写入先后顺序,事件发生的先后顺序等等。 ## 关系 复习下离散数学中关系: 假设A是一个集合 {1,2,3,4} ;R是集合A上的关系,例如{<1...阅读全文

Go语言中文网 2024-05-29 08:56:27 ikenchina

Continuous profiling 拯救了 Victoria Metrics

- 即将退出历史的舞台 - 普罗米修斯 - 时代的新秀 - 维多利亚 - 吃螃蟹的代价 - 踩坑 - 普罗米修斯拯救维多利亚 - 用监控系统来分析监控系统的问题 - 外科手术刀 - 火焰图 - 积食,不是吃的太多,就是消化太慢 - 数据的积压 - 专家会诊 - 求助开发团队 - 好奇心,先放一放 - 解决锁的问题 ...阅读全文

Go语言中文网 2024-05-29 08:54:18 ikenchina

如何设计一个分布式实时数据同步系统

- 这网站排版太差劲了,可以直接看微信公众号文章:https://mp.weixin.qq.com/s/Sm5pM9iy9YN9S8vBQhRvlw - 同时github上赏我一个star吧:https://github.com/mgtv-tech/redis-GunYu - 也可以同时关注我微信公众号,有很多优质文章:【技术闲聊吧】 ## **为什么要自研,使用开源方案不行吗?** 我们调研了业界主流的几个工具,都有一些无法满足我们需求的地方,如redis-shak...阅读全文

Go语言中文网 2024-05-28 17:46:40 ikenchina

我们开源啦

请关注我微信公众号:https://mp.weixin.qq.com/s/4uw_GTBrmIqKjBETlKAluQ ## **高可用之殇** 正开心地刷着手机,突然APP无法使用,正焦急地不知所措时,收到公告:“因施工意外挖断光缆,某某云数据中心故障,导致APP服务不可用”。 你是否经历过这种遭遇,或听说别人吐槽过? 在今天的全球化和分布式计算的大环境中,无论是企业级应用、云计算服务还是大规模网络平台,跨数据中心部署变得越来越重要。 那仅仅是将服务部署到多个...阅读全文

Go语言中文网 2024-05-28 17:40:42 ikenchina

DashVector + DashScope升级多模态检索

本教程在前述教程(DashVector + ModelScope玩转多模态检索)的基础之上,基于DashScope上新推出的ONE-PEACE通用多模态表征模型结合向量检索服务DashVector来对多模态检索进行升级,接下来我们将展示更丰富的多模态检索能力。DashVector + ModelScope 玩转多模态检索DashScopeONE-PEACE多模态模型整体流程​主要分为两个阶段:多模态数据Embedding入库。通过ONE-PEACE模型服务Embedding接口将多种模态的数据集...阅读全文

Go语言中文网 2024-05-20 17:56:11 DashVector

DashVector + ModelScope 玩转多模态检索

本教程演示如何使用向量检索服务(DashVector),结合ModelScope上的中文CLIP多模态检索模型,构建实时的“文本搜图片”的多模态检索能力。作为示例,我们采用多模态牧歌数据集作为图片语料库,用户通过输入文本来跨模态检索最相似的图片。整体流程​主要分为两个阶段:图片数据Embedding入库。将牧歌数据集通过中文CLIP模型Embedding接口转化为高维向量,然后写入DashVector向量检索服务。文本Query检索。使用对应的中文CLIP模型获取文本的Embedding向量,然...阅读全文

Go语言中文网 2024-05-20 17:51:08 DashVector

DashVector x 通义千问大模型:打造基于专属知识的问答服务

本教程演示如何使用向量检索服务(DashVector),结合LLM大模型等能力,来打造基于垂直领域专属知识等问答服务。其中LLM大模型能力,以及文本向量生成等能力,这里基于灵积模型服务上的通义千问 API以及Embedding API来接入。背景及实现思路大语言模型(LLM)作为自然语言处理领域的核心技术,具有丰富的自然语言处理能力。但其训练语料库具有一定的局限性,一般由普适知识、常识性知识,如维基百科、新闻、小说,和各种领域的专业知识组成。导致 LLM 在处理特定领域的知识表示和应用时存在一定...阅读全文

Go语言中文网 2024-05-20 17:48:37 DashVector

基于向量检索服务与TextEmbedding实现语义搜索

本教程演示如何使用向量检索服务(DashVector),结合灵积模型服务上的Embedding API,来从0到1构建基于文本索引的构建+向量检索基础上的语义搜索能力。具体来说,我们将基于QQ 浏览器搜索标题语料库(QBQTC:QQ Browser Query Title Corpus)进行实时的文本语义搜索,查询最相似的相关标题。什么是 Embedding简单来说,Embedding是一个多维向量的表示数组,通常由一系列数字组成。Embedding可以用来表示任何数据,例如文本、音频、图片、视...阅读全文

Go语言中文网 2024-05-20 17:45:40 DashVector

通过重新排序改进检索增强生成 (RAG)

引言在生成式人工智能(GenAI)的世界里,您经常会遇到 RAG(Retrieval Augmented Generation)这个术语。基本上,RAG 是关于为大语言模型(LLM)提供额外的相关信息(上下文)以帮助它们生成更好和更相关的响应。设置一个基本的 RAG 系统并不复杂,但它通常在提供高度准确的响应方面表现欠佳。主要原因之一是这种设置并不总是为 LLM 提供最精确的上下文。在下面的架构图中,只有来自向量搜索的 top_k 响应被作为上下文传递给 LLM。但是,如果有其他返回的向量(如琥...阅读全文

Go语言中文网 2024-05-19 18:45:01 OpenIM

# 强大的开源项目RAG-GPT:5分钟实现LLM大模型应用到你的网站!

引言随着chatgpt等大型语言模型(LLM)能力越来越强大,如何将这些模型精准地应用于特定垂直领域,让各行业开发者快速利用LLM赋能也成为热点和痛点。众所周知,LLM在处理超出其训练数据或涉及最新实事时,常会产生“幻觉”现象,简单理解就是会出现一本正经的胡说八道,回答不准确。针对此问题,RAG通过从外部知识库检索相关文档作为上下文输入到LLM有效地减少了生成内容不符合实际的情况。RAG技术原理介绍在介绍RAG-GPT项目之前,我们首先要理解RAG的基本原理,RAG在问答系统中的一个典型应用主要...阅读全文

Go语言中文网 2024-05-19 18:21:06 OpenIM

go error实践

# go error实践 相关代码地址,[代码地址](https://github.com/luxun9527/go-lib/tree/master/utils/errors),如果觉得对你有帮助,欢迎给我的 GitHub 仓库点个 Star ⭐!你的支持是我持续改进和发布更多优质内容的动力。感谢你的关注和支持! ## 1、error相关api https://www.cnblogs.com/YLTFY1998/p/16741285.html ### is/as `...阅读全文

Go语言中文网 2024-05-19 00:40:27 lilei

golang并发(同步)多任务高性能执行&聚合

# taskgroup *golang*并发执行多任务,并聚合多任务结果。 **[`使用文档`](https://pkg.go.dev/github.com/mlee-msl/taskgroup "欢迎使用,任何意见或建议可联系`2210508401@qq.com`")**、 **[`项目github`](https://github.com/mlee-msl/taskgroup/tree/main "taskgroup")** > **使用:** go get github.co...阅读全文

Go语言中文网 2024-05-15 17:37:31 walkermli

DashVector + ModelScope 玩转多模态检索

本文主要介绍通过DashVector和ModelScope中的Chinese Clip模型实现文搜图、图搜图等功能,同时结合DashText SDK实现sparse vector+dense vector混合检索,熟悉sparse vector的使用方法,提高检索效率。1 准备工作1.1 基本概念Chinese Clip:为CLIP模型的中文版本,使用大规模中文数据进行训练(~2亿图文对),可用于图文检索和图像、文本的表征提取,应用于搜索、推荐等应用场景。详情请参考:modelscope.cn/...阅读全文

Go语言中文网 2024-05-14 10:09:33 DashVector

『go-hash』一个 go 常用摘要 Digest Hash 算法库

go-hash 是一个 go 常用摘要 Digest Hash 算法库,包含了 go 标准库的 hash 算法和其他标准库未实现的 hash 算法。 Hash 也叫 Digest 算法,主要是对数据做摘要运算以获取数据的 digest 值。 Hash 算法主要用到最多的是密码处理,验证文件内容完整性,也有类似 CRC 的算法来验证数据正确性。 go-hash 基本包含了常用了摘要算法,包括不限于 MD2/MD4/MD5/Hmac/Ripemd160/SHA1/SHA3/SHA256/SM3...阅读全文

Go语言中文网 2024-05-11 14:16:47 tuzhiya

Chat Gpt详细教程:手把手带你Open AI 的API对接

今年4月最大的一个瓜,就是Open AI全面免费开放了,所以很多人想白漂API但却不知该如何去获取Open AI的API,甚至好多小伙伴都碰壁在注册Open AI的半路上了,甚至是如何开通海外付费都变成一个难题~ 所以针对以上的问题,我将出一份教程为大家一一解决。当然,本次教程全程是由本人跑过一遍的,本人亲测不封号、不踩雷、不墨迹。 ![image.png](https://static.golangjob.cn/240509/149133551163dd168c0e55b2615c...阅读全文

Go语言中文网 2024-05-09 17:29:42 YunDuanCode

# OpenIM引入rag-gpt加速开发者支持

## *一、引言:数字化时代的即时通讯挑战* 在数字化快速发展的今天,即时通讯技术不仅是个人社交的工具,更是企业与客户沟通的重要桥梁。OpenIM,一个由顶尖即时通讯技术专家打造的开源解决方案,提供了一个高性能、轻量级且易于扩展的平台。开发者通过私有化部署我们的IM服务器和客户端SDK,可以快速地将即时通讯和实时网络功能集成到自身的应用中,同时确保业务数据的安全性和私密性。 ## *二、OpenIM客户端SDK的覆盖面和文档站点的挑战* OpenIM的客户端SDK覆盖了几乎...阅读全文

Go语言中文网 2024-05-08 22:16:36 OpenIM