← 返回首页ai798Lab 公开知识库

AI词典

星图管发现,路线管顺序,词典管查阅。每个词都挂着能直接拿去用的项目。

LLM

大语言模型4 个项目15 个相关词

在星图中看
小机器人坐在高高的书堆旁,面前一排词卡写着半句话,它把最后一格补上
说人话
一个把海量文字读过一遍、把里面的规律压进内部一大堆数字里的程序。你给它一段话,它就照这些数字算出下一个字最可能是什么,一直算下去,整段回答就这么长出来。它不查数据库,这堆数字停在训练结束那一刻,所以问它今天的新闻,它要么答不上来,要么编一个。
打个比方
像一个把整座图书馆读完的人,你起个头他就顺着往下接,但他手里那批书停在某个日期,之后的事一概不知。
说行话
全称 Large Language Model。同一家通常出大中小几个型号,API 里靠 model 字段指定用哪一个。计费分输入和输出两项,输出单价通常是输入的好几倍,所以长回答比长提问贵得多。
潜台词
「我们接入了大模型」,多半意思是调用了某家的 API,自己没有训练过任何东西。
别用它
能用规则、正则或查表解决的事别上 LLM。它慢、贵,同一个问题每次答得还不完全一样。

拿这个能做什么4 个项目

  1. 01
    ollama/ollama

    一条命令在自己电脑上下载并运行开源模型

    选它当想先在本地玩起来,数据不出自己的机器

  2. 02
    ggml-org/llama.cpp

    纯 C/C++ 的推理引擎,模型量化后普通电脑也跑得动

    选它当设备配置不高,或要把模型嵌进自己的程序

  3. 03
    vllm-project/vllm

    高吞吐、省显存的推理服务引擎

    选它当要自己部署模型,对外提供高并发服务

  4. 04
    rasbt/LLMs-from-scratch

    用 PyTorch 一步步手写一个类 ChatGPT 模型的教程代码

    选它当想从原理上搞懂它,而不是只会调接口

LLM 本质上是一个只会续写的函数:进去一段字,出来下一段字。记忆、联网、调工具都是外面包的壳。模型之间的差距在缩小,产品之间的差距在模型之外:喂什么上下文、接什么工具、出错怎么兜底。

动手试试做完就算会了

在装好 Ollama 的终端里跑 ollama run qwen2.5:1.5b,它先下载再进入对话,问它两句,另开一个终端敲 ollama list,SIZE 那列写着 986 MB。关掉 Wi-Fi 接着问,照样答得上来:跟你对话的,就是硬盘上这一个不到 1GB 的文件。

相关点进去继续查

局部星图:拖动节点看牵连,悬停只亮它的邻居,点一个词跳过去