Docker部署GPU模型服务


Docker部署GPU模型服务

GPU 设置

Nvidia 开启GPU的持久模式

nvidia-smi -pm 1

添加docker 插件

# 不是ubuntu 18.04 这里要需要改
curl -s -L https://nvidia.github.io/nvidia-docker/ubuntu18.04/nvidia-docker.list | tee /etc/apt/sources.list.d/nvidia-docker.list


sudo apt-get update

sudo apt-get install -y nvidia-container-toolkit

下载基础镜像 — 也可以自己配置

docker pull renoyuan/gpu_base:latest

启动 gpu docker

docker run  --gpus all -itd -p 8888:8899   --name zx_poc  renoyuan/gpu_base:latest nvdia-smi

Docker 基础

基本结构

镜像仓库 —> 有开源有公司的用于存放镜像

Docker 服务 —> 镜像,容器管理工具

镜像—> 打包好的系统环境

容器—> 运行后的镜像实际运行的docker服务

ID —>镜像和容器都有uuid 很多时候使用ID更可靠

命令启动-常用命令

镜像拉取

镜像拉取 默认是从官方仓库拉取的

docker pull renoyuan/gpu_base:latest

镜像上传

#登录远程仓库
docker login # 如果镜像仓库不需要登录可以忽略
#标记要上传的镜像为本地镜像
docker tag 镜像ID renoyuan/gpu_base:latest
#将镜像上传到远程仓库
docker push renoyuan/gpu_base:latest

启动镜像

启动镜像 == 生成容器实例

顺序一定不能错

顺序一定不能错

顺序一定不能错

 docker run [OPTIONS] IMAGE [COMMAND] [ARG...] # **顺序一定不能错**  IMAGE 一定是在参数后面命令前面

docker run  --gpus all -itd -p 8888:8899  --name zx_poc  renoyuan/gpu_base:latest nvdia-smi
# 参数
-i: 交互式操作。
-t: 终端。
-d: 后台运行
-p 端口映射 宿主机:容器
-v 资源映射 宿主机目录:容器目录
--name:容器名字

renoyuan/gpu_base:latest 镜像。
 
nvdia-smi :放在镜像名后的是命令

容器操作

进入容器

在使用 -d 参数时,容器启动后会进入后台。此时想要进入容器,可以通过以下指令进入:

docker attach <容器 ID>

docker exec <容器 ID>:推荐使用 docker exec 命令,因为此命令会退出容器终端,但不会导致容器的停止。

退出

exit

停止容器

docker stop uuid|name

启动容器

docker start uuid|name

docker restar uuid|name

删除容器|镜像

docker rm uuid 删除多个可以用空格隔开 -f:表示强制删除

文件传输

docker cp 文件路径 容器id:容器路径

docker cp 容器id:容器路径 文件路径

查询

docker ps -a # 查看容器

docker images # 查看镜像

容器打成镜像

docker commit [OPTIONS] CONTAINER [REPOSITORY[:TAG]]

sudo docker commit -a "renoyuan" -m "gpu_base" 8462b4eb4157 gpu_base:v0
Option	功能
-a	指定新镜像作者
-c	使用 Dockerfile 指令来创建镜像
-m	提交生成镜像的说明信息
-p	在 commit 时,将容器暂停

本地文件镜像导入导出

docker导入本地镜像

载入快照

cat gpu_base.tar.gz | docker import – gpu_base:v0(镜像名自己定义)

载入镜像

我们有了本地的镜像文件,在需要的时候可以使用docker load将本地保存的镜像再次导入docker中。
docker load –input gpu_base.tar | docker load < gpu_base.tar

docker导出本地镜像

导出镜像

docker save -o gpu_base.tar gpu_base

-o:指定保存的镜像的名字;gpu_base.tar:保存到本地的镜像名称;gpu_base:镜像名字,通过”docker images”查看

导出容器快照

这样将导出容器快照到本地文件。

docker export 1e560fca3906 > gpu_base.tar.gz

DOCKERFILE

说明

运行docker 运行脚本文件 带有一定规范可以不

编写dockerfile

# 指定Python环境
FROM docker pull nvidia/cuda:11.0.3-runtime-ubuntu18.04
# 拷贝Python依赖库requirements文件到当前目录下
ADD requirements.txt /
# 安装依赖库
RUN pip install -r /requirements.txt
# 拷贝所有文件到app目录下
ADD . /app
# 指定app为工作目录
WORKDIR /app
# 声明端口
EXPOSE 5000
# docker容器启动
CMD [ "python" , "app.py"]

docker build命令建立改项目镜像:

docker build -t python_gpu .
docker build -t zxpoc .
# Sending build context to Docker daemon  911.9MB 构建镜像中 

其他

安装docker for ubuntu

一、安装docker

1、安装docker:sudo apt-get install -y docker.io

2、启动docker服务:systemctl start docker

3、设置开机启动:systemctl enable docker

4、查看docker状态:systemctl status docker

5、停止docker服务:systemctl stop docker

6、查看docker版本:docker version

二、非root用户运行docker

1、添加docker用户组:sudo groupadd docker

执行以上命令会提示已存在,原因是在安装docker时已自动创建。

2、将指定用户添加到用户组(username为你的用户名):sudo gpasswd -a username docker

3、查看是否添加成功:cat /etc/group | grep ^docker

3、重启docker:sudo systemctl restart docker

5、更新用户组:newgrp docker

6、执行docker命令,比如:docker ps -a

原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/281886.html

(0)
上一篇 2022年8月23日
下一篇 2022年8月23日

相关推荐

发表回复

登录后才能评论