如何使用PerfXCloud實(shí)現(xiàn)一次與多個(gè)ai模型對(duì)話

一、準(zhǔn)備

本項(xiàng)目使用?www.perfxcloud.net?大模型平臺(tái)，網(wǎng)站上有詳細(xì)的說明文檔。

注意：PerfXCloud的API接口兼容 OpenAI 的ChatGPT，可以直接使用 OpenAI SDK或者其他中間件來訪問 PerfXCloud。這使得開發(fā)者從ChatGPT或者其他平臺(tái)切換到PerfXCloud變得非常非常容易。

1.如果還沒有PerfXCloud的賬號(hào)，可以登錄網(wǎng)站創(chuàng)建一個(gè)。

2.PerfXCloud目前支持：

Qwen1.5-110B-Chat-GPTQ-Int4, Qwen1.5-72B-Chat-GPTQ-Int4, Qwen2-72B-Instruct-GPTQ-Int4, Meta-Llama-3-70B-Instruct-GPTQ-Int4, Qwen-14B-Chat-Int4, Meta-Llama-3-8B-Instruct,Llama3-Chinese_v2, chatglm3-6b,llama-3-8b, Qwen1.5-7B,Qwen2-7B,gpt2, SOLAR-10_7B-Instruct,llama-2-7b, PHI_1-5,opt-1b3, phi-2,internLM, Mistral-7B-Instruct, MindChat-Qwen-7B-v2,StarCoder-1B （還在持續(xù)更新中）

二、Chatall

ChatAll是一個(gè)能夠同時(shí)與多個(gè) AI 模型對(duì)話的網(wǎng)頁(yè)應(yīng)用，讓你可以免費(fèi)使用而無需 API 密鑰。

三、程序部署

下載源碼

git clone  https://gitee.com/PerfXCloud-APP/chatall
cd chatall

依賴包

"ChatAll" 項(xiàng)目使用了一系列依賴包和開發(fā)時(shí)的輔助工具。

這里重點(diǎn)介紹幾個(gè)核心的依賴包及其作用：

1. openai:OpenAI 是一個(gè)用于構(gòu)建人工智能模型的平臺(tái)，它提供了強(qiáng)大的自然語(yǔ)言處理功能。ChatAll 使用 OpenAI 來調(diào)用perfxcloud的api 來與大模型進(jìn)行對(duì)話。

2. streamlit:Streamlit 是一個(gè)用于構(gòu)建數(shù)據(jù)可視化應(yīng)用的 Python 框架。

配置

在?aibackend.py?代碼里面配置模型名稱和 api-key （可以從www.perfxcloud.net注冊(cè)賬號(hào)獲取）

四、運(yùn)行

python運(yùn)行項(xiàng)目

streamlit run aitalk.py

運(yùn)行效果如下圖：

本項(xiàng)目視頻教程地址：

本項(xiàng)目代碼地址：