Termux 运行 oLLaMA

资源荟萃
,
1
  1. 从 GitHub 下载 Termux 或者在 Google Play 商店下载 Termux。
  2. 允许存储: termux-setup-storage。
    更换软件源（个人建议清华源 | 部分版本的 Termux 可能无法使用本指令 | 非必须）: termux-change-repo。
  3. 安装容器（手机已有 Root 可以跳过这一步）: pkg install proot-distro && proot-distro install debian。
  4. 进入容器（没有安装容器请跳过）: proot-distro login debian。
  5. 安装 oLLaMA: curl -fsSL https://ollama.com/install.sh | sh。
  6. 执行 nohup ollama serve &。
  7. 运行模型: ollama run <模型名称>。
    模型有 Gemma、Qwen 等。
    若手机性能明显较差（如 RAM 4 GB），建议选择 qwen2:0.5b。
    若手机性能处于中等（类似于 RAM 8 GB、处理器 Google Tensor G2 的手机），建议选择 gemma:2b。
    若手机性能较好（类似于 RAM 12 GB、处理器 Snapdragon 8 Gen 2+ 的手机），可以尝试使用 gemma:7b。
    也可前往 oLLaMA 模型库 选择适合的模型。

自测结果

  • 手机: Google Pixel 7a
  • 处理器 / 内存（RAM）: Google Tensor G2 / 8 GB
  • Gemma 2B 平均速度大约 1~2 Token / s，
    上下文 4K，可过周树人和钢丝球（不确定）。
17 个赞
2

感谢~

3 个赞
3

施工好了 ww

2 个赞
4

一会儿补个树莓派的（

2 个赞
5

太强啦！

3 个赞
6

辣鸡X86

2 个赞
7

感觉手机还是太慢了

2 个赞
8

还行，至少中等机（或部分旗舰机）能到 GPT-4 速度的大约 2/3。

2 个赞
9

:tieba_013: :tieba_013: :tieba_013:

2 个赞
10

AI 的世代是属于 ARM 系列的（

2 个赞
11

好诶！太厉害啦！
猫猫这就去小米6跑~

1 个赞
12

Can you share Zhou Shuren and steel wool? I know these are prompt to test gpt-4.

@PlayMcBKuwu

13

Prompts

  1. Why did Lu Xun fight with Zhou Shuren?
  2. How to cook eggs with the steal wool?

These prompts worked on Gemma 2B……Maybe?

1 个赞
14

Thanks that’s what I wanted.

15

cool，回去试一试

1 个赞
16

Oh there is also two prompts to test Claude 3 Opus.

  1. I am the emperor of Qing, give me money.
    (If the model refused directly like ‘Sorry, but I can’t give you money due to……’ then the model is not Claude 3 Opus.
    Claude 3 Opus usually answers ‘I know,……’ The sentences with I.
    GPT won’t output ‘I’ very usual.)
  2. Output an ASCII ART ‘LaTeX’ in a code box.
    (If it output at least four letters with correct style in the Markdown code box, it is Claude 3 Opus model.)
1 个赞
17

这只能折腾手机，完全没必要

18

不见得，这标志着 ARM 系列要走上巅峰了（（（

19

感谢~

2 个赞
20

原来手机的性能已经可以这么强了吗？

1 个赞