← 返回首页ai798Lab 公开知识库

AI词典

星图管发现,路线管顺序,词典管查阅。每个词都挂着能直接拿去用的项目。

Embedding

向量化3 个项目5 个相关词

在星图中看
猫、狗、汽车三张卡变成坐标,猫和狗的点挨在一起,汽车落在远处
说人话
把一段文字交给一个专门的小模型,换回一长串数字,相当于给这句话在一个大坐标系里定了个位。位置是按意思排的,说同一件事的两段话就挨得近,于是「像不像」变成了「离多远」这种算得出来的事。所以你搜怎么退款,能命中写着订单取消后钱什么时候回来的那一条。
打个比方
像超市按用途摆货,酱油和醋挨在一起,洗发水在另一头,你说不出牌子也能顺着走到跟前。
说行话
做这件事的模型叫嵌入模型(embedding model),和回答问题的那个模型是两码事,通常单独选、单独计费。一段文字换出来的数字有几百到几千个,这个长度叫维度。
潜台词
「我们做了语义搜索」,落到实处通常就是调一个嵌入接口把文字转成数字,再算一次距离,没有更多。
别用它
别当成万能的语义尺子。跨语言、跨领域时相似度会失真;而且换一个嵌入模型,整库的数字全部作废,必须重新算一遍再入库。

拿这个能做什么3 个项目

  1. 01
    FlagOpen/FlagEmbedding

    BGE 系列向量模型,中文效果扎实

    选它当主要处理中文语料

  2. 02
    huggingface/sentence-transformers

    老牌本地向量化库,模型选择多

    选它当要在自己机器上跑,不走外部接口

  3. 03
    embeddings-benchmark/mteb

    向量模型评测基准与排行榜

    选它当不知道选哪个模型时先看这里

中文场景别默认用国外模型的通用向量。先去 MTEB 中文榜看排名,再看厂商宣传,这两者经常对不上。

动手试试做完就算会了

用 sentence-transformers 加载 BAAI/bge-small-zh-v1.5,把分块那步切好的块 encode 一遍,.shape 会显示每块不论长短都是 512 个数。再看 max_seq_length,上限 512 个 token,超出的尾巴被悄悄截掉,不报错。

相关点进去继续查

局部星图:拖动节点看牵连,悬停只亮它的邻居,点一个词跳过去