GLM-4开源

资源荟萃
1

模型地址

开源地址https://github.com/THUDM/GLM-4

表现(官方的描述)

官方介绍在中英文综合能力、感知推理、文字识别、图表理解等多方面多模态评测中，GLM-4V-9B 表现出超越 GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max 和 Claude 3 Opus 的卓越性能

运行最低要求

  • Python >= 3.10
  • 内存不少于 32 GB

具体见https://github.com/THUDM/GLM-4/blob/main/basic_demo/README.md

来个有实力的佬本地部署一下

15 个赞
2

等待ollama支持

2 个赞
3

对GPU没有要求吗

4
1 个赞
5

比gpt4强是真的吗

1 个赞
6

听听就可以了 :innocent:

2 个赞
7

太好了！

3 个赞
8

我觉得没有

3 个赞
9

开源 欢迎.
重点: 支持26种语言，具备多轮对话、网页浏览、代码执行等能力。
还有一个9b 1M的长度.

2 个赞
10

8G可以运行int4，我电脑布了，谁有测试对比方案?

2 个赞
11

使用kaggle的TPU运行，测试了几个问题。
模型：THUDM/glm-4v-9b
代码：

总结 
!pip install tiktoken
!pip install transformers
!pip install accelerate
!pip install datasets
!wget https://cdn3.ldstatic.com/optimized/3X/b/4/b473ca957e6c671ab50f2c57a45d3ed5bee944f8_2_274x500.jpeg

import torch
from PIL import Image
from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cpu"  # 更改为 CPU，如果 Kaggle 有 GPU 支持，改为 "cuda"

tokenizer = AutoTokenizer.from_pretrained("THUDM/glm-4v-9b", trust_remote_code=True)

query = '描述这张图片'
image = Image.open("/kaggle/working/b473ca957e6c671ab50f2c57a45d3ed5bee944f8_2_274x500.jpeg").convert('RGB')
inputs = tokenizer.apply_chat_template([{"role": "user", "image": image, "content": query}],
                                       add_generation_prompt=True, tokenize=True, return_tensors="pt",
                                       return_dict=True)  # chat mode

inputs = inputs.to(device)
model = AutoModelForCausalLM.from_pretrained(
    "THUDM/glm-4v-9b",
    torch_dtype=torch.float32,  # CPU 模式下需要使用 float32
    low_cpu_mem_usage=True,
    trust_remote_code=True
).to(device).eval()

gen_kwargs = {"max_length": 2500, "do_sample": True, "top_k": 1}
with torch.no_grad():
    outputs = model.generate(**inputs, **gen_kwargs)
    outputs = outputs[:, inputs['input_ids'].shape[1]:]
    print(tokenizer.decode(outputs[0]))

def generate_description(query):
    inputs = tokenizer.apply_chat_template([{"role": "user", "content": query}],
                                           add_generation_prompt=True, tokenize=True, return_tensors="pt",
                                           return_dict=True)  # chat mode

    # 将输入移动到正确的设备上
    inputs = inputs.to(device)
    
    gen_kwargs = {"max_length": 2500, "do_sample": True, "top_k": 1}
    with torch.no_grad():
        outputs = model.generate(**inputs, **gen_kwargs)
        outputs = outputs[:, inputs['input_ids'].shape[1]:]
        return tokenizer.decode(outputs[0])


query = '今天我买了三个苹果，昨天我吃了一个，现在还剩多少个'
generate_description(query)

glm-4v-9b
glm-4v-9b1850×4987 1.42 MB

5 个赞
12

一句话，对普通人没什么大用，适合喜欢搞模型的用

2 个赞
13

点赞支持，感谢分享！

2 个赞
14

glm4开源了？这属于好消息啊，毕竟唯一逻辑能力能赶上一流模型的国产模型

1 个赞
15

ollama 官网一直没有glm这套模型

2 个赞
16

image
image1132×540 22.9 KB

说是会上ollama

2 个赞
17

这个不错，但是要部署的话配置挺高

2 个赞
18

佬们，API 走起，本地电脑不想部署了。

1 个赞
19

还是以GPU卡多少相关。用小的模型，比如7b的。智商太低。没有达到使用的门槛。如果有十多张卡，倒是可以用用。所以也至少是企业才能用。个人别说卡，电费都交不起。

2 个赞
20

看了datawhale的详细测评，确实够nb，写代码等方面虽然还是不如GPT4，但总体进步很大了，拿来微调应该比 llama3 舒服
https://mp.weixin.qq.com/s/-vZVTG9q3OX0rpj4PSti1Q

https://mp.weixin.qq.com/s/-rh3VgJQZKUbzgf8ikHA5A

2 个赞