本地部署chatglm-6b
chatglm-6b
清华chatglm-6b是一个60亿参数的开源双语对话语言模型，我认为它的语言表达能力不输chatgpt3.5
以下是它自述。
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答
相较于chatgpt的限制，它可以本地化部署，实为一大优势。本文记录了本地化部署chatglm-6b
主要分为：
- 下载
- 修改代码
- 运行
下载
从github下载项目代码
git clone https://github.com/THUDM/ChatGLM-6B.git下载模型。下载模型有两种方法，一种是自动下载，一种是手工下载。
#自动下载, 直接运行demo，就会下载了
python web_demo.py下载后，模型位于 $user/.cache/huggingface/hub/models--THUDM--chatglm-6b/snapshots/$model_hash_code，将模型拷至自己的目录。
另一种方式是手工下载，即手工去huggingface上下载，具体的地址请见项目主页。
修改代码
修改web_demo.py，按下图修改路径，注意，路径必须这么写，否则会报错。
由于我显卡显存不足，因此我使用int4量化方式，即使用了"quantize(4)"，正常如果是fp16按说明是不用写的，如果是int8，则参数由4改为8
运行代码
python web_demo.py之后会自己打开127.0.0.1:7860
效果
文章评论
Влияет ли возраст домена на [url=https://prodvizhenie-molodyh-sajtov.ru]продвижение молодых сайтов[/url]?
Как [url=https://domashnie-zhivotnye-1.ru]домашние животные[/url] реагируют на незнакомых людей в доме?
Стоит ли [url=https://zakazat-prodvizhenie-sajta.ru]заказать продвижение сайта[/url], если он сделан на Tilda или другом конструкторе?
Как отзывы влияют на [url=https://geo-prodvizhenie-sajta.ru]Гео продвижение сайта[/url] — стоит ли ими активно управлять?
[url=https://marketingovoe-agentstvo-1.ru]Маркетинговое агентство[/url] — как выбрать подходящее, если нет опыта работы с подрядчиками?
Что нужно подготовить со стороны клиента, прежде чем [url=https://zakazat-prodvizhenie-sajta.ru]заказать продвижение сайта[/url]?
Почему [url=https://domashnie-zhivotnye-1.ru]домашние животные[/url] иногда кажутся загрустившими без видимой причины?
seo оптимизация и продвижение сайтов [url=http://seo-optimizaciya-i-prodvizhenie-sajtov.ru]seo оптимизация и продвижение сайтов http://seo-optimizaciya-i-prodvizhenie-sajtov.ru[/url%5D .
[url=https://sozdanie-sajtov-1.ru]Создание сайтов[/url] — кто несёт ответственность за баги, обнаруженные после финального запуска?
[url=https://seo-prodvizhenie-molodogo-sajta.ru]SEO продвижение молодого сайта[/url] через гостевые публикации — это безопасно или рискованно?