本文介绍如何通过[ModelScope魔搭社区](https://modelscope.cn/)中的[文本向量开源模型](https://modelscope.cn/models?page=1&sort=downloads&tasks=sentence-embedding&type=nlp)将 **文本转换为向量** ,并入库至向量检索服务DashVector中进行向量检索。
[ModelScope魔搭社区](https://modelscope.cn/)旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单。
ModelScope魔搭社区的愿景是汇集行业领先的预训练模型,减少开发者的重复研发成本,提供更加绿色环保、开源开放的AI开发环境和模型服务,助力绿色"数字经济"事业的建设。 ModelScope魔搭社区将以开源的方式提供多类优质模型,开发者可在平台上免费体验与下载使用。
在ModelScope魔搭社区,您可以:
* 免费使用平台提供的预训练模型,支持免费下载运行
* 一行命令实现模型预测,简单快速验证模型效果
* 用自己的数据对模型进行调优,定制自己的个性化模型
* 学习系统性的知识,结合实训,有效提升模型研发能力
* 分享和贡献你的想法、评论与模型,让更多人认识你,在社区中成长
前提条件
---------------------
* DashVector:
* 已创建Cluster
* 已获得API-KEY
* 已安装最新版SDK
* ModelScope:
* 已安装最新版SDK:`pip install -U modelscope`
**CoROM文本向量**
------------------------------
### **简介**
![image.png](https://static.golangjob.cn/240814/378005771bfdd800c6d977d5e624247a.png)
**说明**
关于CoROM文本向量模型更多信息请参考:[CoROM文本向量](https://modelscope.cn/models?name=CoROM&page=1&tasks=sentence-embedding&type=nlp)
### **使用示例**
**说明**
需要进行如下替换代码才能正常运行:
1. DashVector api-key替换示例中的{your-dashvector-api-key}
2. DashVector Cluster Endpoint替换示例中的{your-dashvector-cluster-endpoint}
3. 使用上表中 **模型ID** 替换示例中的{model_id}
4. 需注意,若所使用的模型若为tiny模型,则向量维度为256
Python
```python
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
from typing import List
from dashvector import Client
pipeline_se = pipeline(Tasks.sentence_embedding, model='{model_id}')
def generate_embeddings(texts: List[str]):
inputs = {'source_sentence': texts}
result = pipeline_se(input=inputs)
return result['text_embedding']
########### 以下为通用示例:向量入库DashVector和向量检索代码参考###########
# 创建DashVector Client
client = Client(
api_key='{your-dashvector-api-key}',
endpoint='{your-dashvector-cluster-endpoint}'
)
# 创建DashVector Collection
# 注意:需根据模型对应向量维度调整dimension参数
rsp = client.create('CoROM-text-embedding', dimension=768)
assert rsp
collection = client.get('CoROM-text-embedding')
assert collection
# 向量入库DashVector
collection.insert(
('ID1', generate_embeddings(['阿里云向量检索服务DashVector是性能、性价比具佳的向量数据库之一'])[0])
)
# 向量检索
docs = collection.query(
generate_embeddings(['The best vector database'])[0]
)
print(docs)
```
**GTE文本向量**
----------------------------
### 简介
![image.png](https://static.golangjob.cn/240814/26c2fb319e9153511a728180926483a7.png)
**说明**
关于GTE文本向量模型更多信息请参考:[GTE文本向量](https://modelscope.cn/models?name=GTE&page=1&tasks=sentence-embedding&type=nlp)
### 使用示例
本模型使用示例同[CoROM文本向量-使用示例],进行相应 **模型ID** 和 **向量维度** 替换即可运行。
Udever 多语言通用文本表示模型
-----------------------------------
### 简介
![image.png](https://static.golangjob.cn/240814/ef673c8a815c7b31b6b5bd99b68ac383.png)
**说明**
关于Udever 多语言通用文本表示模型更多信息请参考:[Udever 多语言通用文本表示模型](https://modelscope.cn/models?name=Udever&page=1&tasks=sentence-embedding&type=nlp)
### 使用示例
本模型使用示例同[CoROM文本向量-使用示例],进行相应 **模型ID** 和 **向量维度** 替换即可运行。
**StructBERT FAQ问答**
-------------------------------------
### 简介
![image.png](https://static.golangjob.cn/240814/ffe107f368cc38a8b498b4c480038c7a.png)
**说明**
关于StructBERT FAQ问答模型更多信息请参考:[StructBERT FAQ问答](https://modelscope.cn/models?name=StructBERT&page=1&tasks=sentence-embedding&type=nlp)
### 使用示例
**说明**
需要进行如下替换代码才能正常运行:
1. 使用上表中 **模型ID** 替换示例中的{model_id}
Python
```python
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
from typing import List
pipeline = pipeline(Tasks.faq_question_answering, model='{model_id}')
def generate_embeddings(texts: List[str], max_len=30):
return pipeline.get_sentence_embedding(texts)
```
**说明**
本示例中,向量入库DashVector和向量检索代码,参考[CoROM文本向量-使用示例]中的通用示例部分
**更多文本向量模型**
![image.png](https://static.golangjob.cn/240814/313eb6080cabba2a98f7668a775433f2.png)
**说明**
1. 列表中模型示例同[CoROM文本向量-使用示例],进行相应 **模型ID** 和 **向量维度** 替换即可运行
2. 更多ModelScope社区中的开源文本向量模型在本文中不再一一列举,更多文本向量模型待您探索、发现和共建,[点击进入](https://modelscope.cn/models?tasks=sentence-embedding&type=nlp&sort=downloads)。
有疑问加站长微信联系(非本文作者))