一、Yi-Coder 简介

Yi-Coder 是一系列开源代码语言模型，以少于 100 亿个参数提供最先进的编码性能。

它的主要特点有：

擅长长上下文理解，最大上下文长度为 128K 个标记。
支持 52 种主流编程语言，包括 Java、Python、JavaScript 和 C++ 等流行语言。能够帮助编程人员高效完成工作。

二、如何在算家云搭建？

基础环境最低要求说明：

环境名称	版本信息 1
Ubuntu	22.04.4 LTS
Cuda	V12.1.105
Python	3.9
NVIDIA Corporation	RTX 3060 * 2

1. 根据需求选择主机和镜像，进行一键创建实例

在租用实例页面，通过专业创建选择 2 张 RTX 3060 GPU

扩容数据盘（可选），然后进入应用社区

搜索并选择 Yi-Coder 大模型

创建实例

2. 进入网页端命令行

在项目实例页面，点击 WebSSH

进入 WebSSH 页面，运行后续的功能代码

3. 启动 web 页面

# 切换到项目工作目录
cd /Yi-Coder/cookbook/Webpage

# 激活 Yi-Coder 虚拟环境
conda activate Yi-Coder

# 运行 web_demo.py 文件
python web_demo.py

4. 获取端口号

第一次使用需要进行实名认证（通过实名认证可跳过此步骤）

实名认证之后进行开发对外端口

获取访问地址

5. 进入 web 页面

将获取到的链接复制到本地浏览器：

# 比如当前获取的地址如下：
http://hn-a.suanjiayun.com:30758

二、如何在本地部署？

基础环境最低要求说明：

环境名称	版本信息 1
Ubuntu	22.04.4 LTS
Cuda	V12.1.105
Python	3.9
NVIDIA Corporation	RTX 3060 * 2

1. 更新基础软件包

查看系统版本信息

# 查看系统版本信息，包括ID（如ubuntu、centos等）、版本号、名称、版本号ID等
cat /etc/os-release

配置 apt 国内源

# 更新软件包列表
apt-get update

这个命令用于更新本地软件包索引。它会从所有配置的源中检索最新的软件包列表信息，但不会安装或升级任何软件包。这是安装新软件包或进行软件包升级之前的推荐步骤，因为它确保了您获取的是最新版本的软件包。

# 安装 Vim 编辑器
apt-get install -y vim

这个命令用于安装 Vim 文本编辑器。-y 选项表示自动回答所有的提示为“是”，这样在安装过程中就不需要手动确认。Vim 是一个非常强大的文本编辑器，广泛用于编程和配置文件的编辑。

为了安全起见，先备份当前的 sources.list 文件之后，再进行修改：

# 备份现有的软件源列表
cp /etc/apt/sources.list /etc/apt/sources.list.bak

这个命令将当前的 sources.list 文件复制为一个名为 sources.list.bak 的备份文件。这是一个好习惯，因为编辑 sources.list 文件时可能会出错，导致无法安装或更新软件包。有了备份，如果出现问题，您可以轻松地恢复原始的文件。

# 编辑软件源列表文件
vim /etc/apt/sources.list

这个命令使用 Vim 编辑器打开 sources.list 文件，以便您可以编辑它。这个文件包含了 APT（Advanced Package Tool）用于安装和更新软件包的软件源列表。通过编辑这个文件，您可以添加新的软件源、更改现有软件源的优先级或禁用某些软件源。

在 Vim 中，您可以使用方向键来移动光标，i 键进入插入模式（可以开始编辑文本），Esc 键退出插入模式，:wq 命令保存更改并退出 Vim，或 :q! 命令不保存更改并退出 Vim。

编辑 sources.list 文件时，请确保您了解自己在做什么，特别是如果您正在添加新的软件源。错误的源可能会导致软件包安装失败或系统安全问题。如果您不确定，最好先搜索并找到可靠的源信息，或者咨询有经验的 Linux 用户。

使用 Vim 编辑器打开 sources.list 文件，复制以下代码替换 sources.list 里面的全部代码，配置 apt 国内阿里源。

deb http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse

安装常用软件和工具

# 更新源列表，输入以下命令：
apt-get update

# 更新系统软件包，输入以下命令：
apt-get upgrade

# 安装常用软件和工具，输入以下命令：
apt-get -y install vim wget git git-lfs unzip lsof net-tools gcc cmake build-essential

出现以下页面，说明国内 apt 源已替换成功，且能正常安装 apt 软件和工具

2. 安装 NVIDIA CUDA Toolkit 12.1

下载 CUDA Keyring ：

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.0-1_all.deb

这个命令用于下载 CUDA 的 GPG 密钥环，它用于验证 CUDA 软件包的签名。这是确保软件包安全性的一个重要步骤。

安装 CUDA Keyring ：

dpkg -i cuda-keyring_1.0-1_all.deb

使用 dpkg 安装下载的密钥环。这是必要的，以便 apt 能够验证从 NVIDIA 仓库下载的软件包的签名。

删除旧的 apt 密钥（如果必要） ：

apt-key del 7fa2af80

这一步可能不是必需的，除非您知道 7fa2af80 是与 CUDA 相关的旧密钥，并且您想从系统中删除它以避免混淆。通常情况下，如果您只是安装 CUDA 并使用 NVIDIA 提供的最新密钥环，这一步可以跳过。

更新 apt 包列表 ：

apt-get update

更新 apt 的软件包列表，以便包括刚刚通过 cuda-keyring 添加的 NVIDIA 仓库中的软件包。

安装 CUDA Toolkit ：

apt-get -y install cuda-toolkit-12-1

出现以下页面，说明 NVIDIA CUDA Toolkit 12.1 安装成功

注意：这里可能有一个问题。NVIDIA 官方 Ubuntu 仓库中可能不包含直接名为 cuda-toolkit-12-1 的包。通常，您会安装一个名为 cuda 或 cuda-12-1 的元包，它会作为依赖项拉入 CUDA Toolkit 的所有组件。请检查 NVIDIA 的官方文档或仓库，以确认正确的包名。

如果您正在寻找安装特定版本的 CUDA Toolkit，您可能需要安装类似 cuda-12-1 的包（如果可用），或者从 NVIDIA 的官方网站下载 CUDA Toolkit 的 .run 安装程序进行手动安装。

请确保您查看 NVIDIA 的官方文档或 Ubuntu 的 NVIDIA CUDA 仓库以获取最准确的包名和安装指令。

出现以上情况，需要配置 NVIDIA CUDA Toolkit 12.1 系统环境变量

编辑 ~/.bashrc 文件

# 编辑 ~/.bashrc 文件
vim ~/.bashrc

插入以下环境变量

# 插入以下环境变量
export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

激活 ~/.bashrc 文件

# 激活 ~/.bashrc 文件
source ~/.bashrc

查看 cuda 系统环境变量

which nvcc
nvcc -V

3. 安装 Miniconda

下载 Miniconda 安装脚本 ：使用 wget 命令从 Anaconda 的官方仓库下载 Miniconda 的安装脚本。Miniconda 是一个更小的 Anaconda 发行版，包含了 Anaconda 的核心组件，用于安装和管理 Python 包。
运行 Miniconda 安装脚本 ：使用 bash 命令运行下载的 Miniconda 安装脚本。这将启动 Miniconda 的安装过程。

# 下载 Miniconda 安装脚本
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

# 运行 Miniconda 安装脚本
bash Miniconda3-latest-Linux-x86_64.sh

# 初次安装需要激活 base 环境
source ~/.bashrc

按下回车键（enter）

输入 yes

安装成功如下图所示

pip 配置清华源加速

# 编辑 /etc/pip.conf 文件
vim  /etc/pip.conf

加入以下代码

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

注意事项：

请确保您的系统是 Linux x86_64 架构，因为下载的 Miniconda 版本是为该架构设计的。
在运行安装脚本之前，您可能需要使用 chmod +x Miniconda3-latest-Linux-x86_64.sh 命令给予脚本执行权限。
安装过程中，您将被提示是否同意许可协议，以及是否将 Miniconda 初始化。通常选择 "yes" 以完成安装和初始化。
安装完成后，您可以使用 conda 命令来管理 Python 环境和包。
如果链接无法访问或解析失败，可能是因为网络问题或链接本身的问题。请检查网络连接，并确保链接是最新的和有效的。如果问题依旧，请访问 Anaconda 的官方网站获取最新的下载链接。

4. 从github 仓库克隆项目：

克隆存储库：

# 克隆项目
git clone https://github.com/01-ai/Yi-Coder.git

出现以上页面即是克隆项目成功！

请注意，如果 git clone https://github.com/01-ai/Yi-Coder.git 这个链接不存在或者无效，git clone 命令将不会成功克隆项目，并且会报错。确保链接是有效的，并且您有足够的权限访问该存储库。

5. 创建虚拟环境

# 创建一个名为 Yi-Coder 的新虚拟环境，并指定 Python 版本为 3.9
conda create -n Yi-Coder python=3.9 -y

等待安装完成

6. 安装模型依赖库：

切换到项目目录、激活 Yi-Coder 虚拟环境、安装 requirements.txt 依赖

# 切换到项目工作目录
cd /Yi-Coder

# 激活 Yi-Coder 虚拟环境
conda activate Yi-Coder

# 在 Yi-Coder 环境中安装 requirements.txt 依赖
pip install -r requirements.txt

依赖安装成功如下图所示：

7. 下载预训练模型：

安装 modelscope 依赖包

pip install modelscope

创建一个 Python 下载脚本

cd cookbook/Webpage/
vim modelscope_download.py

插入以下下载代码

# Python 代码下载模型
from modelscope import snapshot_download
model_dir = snapshot_download('01ai/Yi-Coder-9B-Chat', cache_dir='./', revision='master')

保存文件：Esc --》Shift + ：--》输入英文的：--》输入：wq

如果你正在编辑文本，先按 Esc 键退出插入模式。
然后，直接按 Shift + :（不需要先按冒号，这个组合键已经包含了冒号的输入），屏幕上会出现一个冒号，提示你输入命令。
接着，输入 wq，表示你想要保存文件并退出。
最后，按 Enter 键执行命令。

执行 modelscope_download.py 文件进行模型下载

python modelscope_download.py

8. 运行 web_demo.py 文件

# 编辑 web_demo.py 文件
vim web_demo.py

插入以下代码

"""A simple web interactive chat demo based on gradio."""

from argparse import ArgumentParser
from threading import Thread

import gradio as gr
import torch
from transformers import (
    AutoModelForCausalLM,
    AutoTokenizer,
    StoppingCriteria,
    StoppingCriteriaList,
    TextIteratorStreamer,
)


class StopOnTokens(StoppingCriteria):
    def __call__(
        self, input_ids: torch.LongTensor, scores: torch.FloatTensor, **kwargs
    ) -> bool:
        stop_ids = (
            [2, 6, 7, 8],
        )  # "<|endoftext|>", "<|im_start|>", "<|im_end|>", "<|im_sep|>"
        for stop_id in stop_ids:
            if input_ids[0][-1] == stop_id:
                return True
        return False


def parse_text(text):
    lines = text.split("\n")
    lines = [line for line in lines if line != ""]
    count = 0
    for i, line in enumerate(lines):
        if "```" in line:
            count += 1
            items = line.split("`")
            if count % 2 == 1:
                lines[i] = f''
            else:
                lines[i] = f"
"
        else:
            if i > 0:
                if count % 2 == 1:
                    line = line.replace("`", "\`")
                    line = line.replace("<", "<")
                    line = line.replace(">", ">")
                    line = line.replace(" ", " ")
                    line = line.replace("*", "*")
                    line = line.replace("_", "_")
                    line = line.replace("-", "-")
                    line = line.replace(".", ".")
                    line = line.replace("!", "!")
                    line = line.replace("(", "(")
                    line = line.replace(")", ")")
                    line = line.replace("$", "$")
                lines[i] = "
" + line
    text = "".join(lines)
    return text


def predict(history, max_length, top_p, temperature):
    stop = StopOnTokens()
    messages = []
    for idx, (user_msg, model_msg) in enumerate(history):
        if idx == len(history) - 1 and not model_msg:
            messages.append({"role": "user", "content": user_msg})
            break
        if user_msg:
            messages.append({"role": "user", "content": user_msg})
        if model_msg:
            messages.append({"role": "assistant", "content": model_msg})

    print("\n\n====conversation====\n", messages)
    model_inputs = tokenizer.apply_chat_template(
        messages, add_generation_prompt=True, tokenize=True, return_tensors="pt"
    ).to(next(model.parameters()).device)
    streamer = TextIteratorStreamer(
        tokenizer, timeout=60, skip_prompt=True, skip_special_tokens=True
    )
    generate_kwargs = {
        "input_ids": model_inputs,
        "streamer": streamer,
        "max_new_tokens": max_length,
        "do_sample": True,
        "top_p": top_p,
        "temperature": temperature,
        "stopping_criteria": StoppingCriteriaList([stop]),
        "repetition_penalty": 1.2,
    }
    t = Thread(target=model.generate, kwargs=generate_kwargs)
    t.start()

    for new_token in streamer:
        if new_token != "":
            history[-1][1] += new_token
            yield history


def main(args):
    with gr.Blocks() as demo:
        gr.Markdown(
            """\
"""
        )
        gr.Markdown("""
Yi-Coder-9B-Chat Bot""")

        chatbot = gr.Chatbot()

        with gr.Row():
            with gr.Column(scale=4):
                with gr.Column(scale=12):
                    user_input = gr.Textbox(
                        show_label=False,
                        placeholder="Input...",
                        lines=10,
                        container=False,
                    )
                with gr.Column(min_width=32, scale=1):
                    submitBtn = gr.Button(" Submit")
            with gr.Column(scale=1):
                emptyBtn = gr.Button(" Clear History")
                max_length = gr.Slider(
                    0,
                    32768,
                    value=4096,
                    step=1.0,
                    label="Maximum length",
                    interactive=True,
                )
                top_p = gr.Slider(
                    0, 1, value=0.8, step=0.01, label="Top P", interactive=True
                )
                temperature = gr.Slider(
                    0.01, 1, value=0.6, step=0.01, label="Temperature", interactive=True
                )

        def user(query, history):
            return "", history + [[parse_text(query), ""]]

        submitBtn.click(
            user, [user_input, chatbot], [user_input, chatbot], queue=False
        ).then(predict, [chatbot, max_length, top_p, temperature], chatbot)
        user_input.submit(
            user, [user_input, chatbot], [user_input, chatbot], queue=False
        ).then(predict, [chatbot, max_length, top_p, temperature], chatbot)
        emptyBtn.click(lambda: None, None, chatbot, queue=False)

    demo.queue()

    demo.launch(
        server_name=args.server_name,
        server_port=args.server_port,
        inbrowser=args.inbrowser,
        share=args.share,
    )


if __name__ == "__main__":
    parser = ArgumentParser()
    parser.add_argument(
        "-c",
        "--checkpoint-path",
        type=str,
        default="01ai/Yi-Coder-9B-Chat",
        help="Checkpoint name or path, default to %(default)r",
    )
    parser.add_argument(
        "--cpu-only", action="store_true", help="Run demo with CPU only"
    )
    parser.add_argument(
        "--share",
        action="store_true",
        default=False,
        help="Create a publicly shareable link for the interface.",
    )
    parser.add_argument(
        "--inbrowser",
        action="store_true",
        default=True,
        help="Automatically launch the interface in a new tab on the default browser.",
    )
    parser.add_argument(
        "--server-port", type=int, default=8080, help="Demo server port."
    )
    parser.add_argument(
        "--server-name", type=str, default="0.0.0.0", help="Demo server name."
    )

    args = parser.parse_args()

    tokenizer = AutoTokenizer.from_pretrained(
        args.checkpoint_path, trust_remote_code=True
    )

    if args.cpu_only:
        device_map = "cpu"
    else:
        device_map = "auto"

    model = AutoModelForCausalLM.from_pretrained(
        args.checkpoint_path,
        device_map=device_map,
        torch_dtype="auto",
        trust_remote_code=True,
    ).eval()

    main(args)

运行 web_demo.py 文件

# 运行 web_demo.py 文件
python web_demo.py

9. 网页演示

出现以下 Gradio 页面，即是模型已搭建完成。

以上就是一键使用以及本地部署的详细教程。进入算家云-AI-应用社区 | 模型社区 | 镜像社区即可一键使用~

网站首页 > 知识剖析正文

掌握未来编程，尽在 Yi-Coder（编写未来少儿编程）

一、Yi-Coder 简介

二、如何在算家云搭建？

1. 根据需求选择主机和镜像，进行一键创建实例

2. 进入网页端命令行

3. 启动 web 页面

4. 获取端口号

5. 进入 web 页面

二、如何在本地部署？

1. 更新基础软件包

2. 安装 NVIDIA CUDA Toolkit 12.1

3. 安装 Miniconda

4. 从github 仓库克隆项目：

5. 创建虚拟环境

6. 安装模型依赖库：

7. 下载预训练模型：

8. 运行 web_demo.py 文件

9. 网页演示

算家云——简单、高效、便宜

猜你喜欢

网站首页 > 知识剖析 正文

掌握未来编程，尽在 Yi-Coder（编写未来少儿编程）

一、Yi-Coder 简介

二、如何在算家云搭建？

1. 根据需求选择主机和镜像，进行一键创建实例

2. 进入网页端命令行

3. 启动 web 页面

4. 获取端口号

5. 进入 web 页面

二、如何在本地部署？

1. 更新基础软件包

2. 安装 NVIDIA CUDA Toolkit 12.1

3. 安装 Miniconda

4. 从github 仓库克隆项目：

5. 创建虚拟环境

6. 安装模型依赖库：

7. 下载预训练模型：

8. 运行 web_demo.py 文件

9. 网页演示

算家云——简单、高效、便宜

猜你喜欢

网站首页 > 知识剖析正文