This commit is contained in:
parent
02d9f61786
commit
1cabcc5373
@ -1,4 +0,0 @@
|
|||||||
apiVersion: v1
|
|
||||||
kind: Namespace
|
|
||||||
metadata:
|
|
||||||
name: text-gen-ns
|
|
@ -1,53 +0,0 @@
|
|||||||
apiVersion: apps/v1
|
|
||||||
kind: Deployment
|
|
||||||
metadata:
|
|
||||||
name: text-gen
|
|
||||||
namespace: text-gen-ns
|
|
||||||
spec:
|
|
||||||
replicas: 1
|
|
||||||
selector:
|
|
||||||
matchLabels:
|
|
||||||
app: text-generation-webui
|
|
||||||
template:
|
|
||||||
metadata:
|
|
||||||
labels:
|
|
||||||
app: text-generation-webui
|
|
||||||
spec:
|
|
||||||
runtimeClassName: nvidia
|
|
||||||
containers:
|
|
||||||
- name: text-generation-webui
|
|
||||||
image: atinoda/text-generation-webui:default-nvidia
|
|
||||||
env:
|
|
||||||
- name: EXTRA_LAUNCH_ARGS
|
|
||||||
value: "--listen --verbose --api"
|
|
||||||
ports:
|
|
||||||
- containerPort: 7860
|
|
||||||
- containerPort: 5000 # Api port
|
|
||||||
- containerPort: 5005
|
|
||||||
volumeMounts:
|
|
||||||
- name: config-volume
|
|
||||||
mountPath: /app/characters
|
|
||||||
subPath: characters
|
|
||||||
- name: config-volume
|
|
||||||
mountPath: /app/loras
|
|
||||||
subPath: loras
|
|
||||||
- name: config-volume
|
|
||||||
mountPath: /app/models
|
|
||||||
subPath: models
|
|
||||||
- name: config-volume
|
|
||||||
mountPath: /app/presets
|
|
||||||
subPath: presets
|
|
||||||
- name: config-volume
|
|
||||||
mountPath: /app/prompts
|
|
||||||
subPath: prompts
|
|
||||||
- name: config-volume
|
|
||||||
mountPath: /app/training
|
|
||||||
subPath: training
|
|
||||||
|
|
||||||
resources:
|
|
||||||
limits:
|
|
||||||
nvidia.com/gpu: 1
|
|
||||||
volumes:
|
|
||||||
- name: config-volume
|
|
||||||
persistentVolumeClaim:
|
|
||||||
claimName: text-gen-pvc
|
|
@ -1,12 +0,0 @@
|
|||||||
apiVersion: v1
|
|
||||||
kind: PersistentVolumeClaim
|
|
||||||
metadata:
|
|
||||||
name: text-gen-pvc
|
|
||||||
namespace: text-gen-ns
|
|
||||||
spec:
|
|
||||||
accessModes:
|
|
||||||
- ReadWriteMany
|
|
||||||
storageClassName: longhorn
|
|
||||||
resources:
|
|
||||||
requests:
|
|
||||||
storage: 100Gi
|
|
@ -1,19 +0,0 @@
|
|||||||
apiVersion: v1
|
|
||||||
kind: Service
|
|
||||||
metadata:
|
|
||||||
name: text-generation-webui-service
|
|
||||||
namespace: text-gen-ns
|
|
||||||
spec:
|
|
||||||
type: LoadBalancer
|
|
||||||
ports:
|
|
||||||
- name: web
|
|
||||||
port: 7860
|
|
||||||
targetPort: 7860
|
|
||||||
- name: api
|
|
||||||
port: 5000
|
|
||||||
targetPort: 5000
|
|
||||||
- name: stream
|
|
||||||
port: 5005
|
|
||||||
targetPort: 5005
|
|
||||||
selector:
|
|
||||||
app: text-generation-webui
|
|
Loading…
Reference in New Issue
Block a user