x llmf

运行本地模型

x llmf - 运行本地模型

TIP

使用 @l 在终端中通过 API 进行聊天。请先使用 x llmf serve --nobrowser 加载模型。

例子

使用命令行模式输出一个关于 llamafile 的故事

x llmf cli -p 'write a story about llamafile'

列出所有可下载模型

x llmf model ls

介绍

llmf (LLM file) 是一个用来下载常用大语言模型的管理工具，目标是:

• 下载和管理大语言模型
• 采用 llamafile 运行 LLM（ llama.cpp 提供后台服务 以及 客户端两种运行模式 ）
• 为其它的本地语言模型运行器提供模型，例如 catai

TODO:

• 根据用户本地的显卡硬件情况，下载最佳的 llama.cpp 版本

子命令

名称	描述
x llmf chat	与 llmf 对话
x llmf serve	使用服务器模式
x llmf cli	使用命令行界面模式
x llmf model	管理本地模型
x llmf tokenize	文本分词
x llmf init	使用交互模式初始化配置
x llmf --cfg	配置管理
x llmf --cur	当前会话默认值管理

TIP

在交互式终端中（如 zsh, bash ...），可以使用 Tab 获取补全信息

运行 CMD SUBCOMMAND --help 可以获取命令的更多信息