parent
c7a613c9ca
commit
70685fb135
4
base/text-gen/text-gen-namespace.yaml
Normal file
4
base/text-gen/text-gen-namespace.yaml
Normal file
@ -0,0 +1,4 @@
|
|||||||
|
apiVersion: v1
|
||||||
|
kind: Namespace
|
||||||
|
metadata:
|
||||||
|
name: text-gen-ns
|
52
text-ui/text-ui-deployment.yaml
Normal file
52
text-ui/text-ui-deployment.yaml
Normal file
@ -0,0 +1,52 @@
|
|||||||
|
apiVersion: apps/v1
|
||||||
|
kind: Deployment
|
||||||
|
metadata:
|
||||||
|
name: text-gen
|
||||||
|
namespace: text-gen-ns
|
||||||
|
spec:
|
||||||
|
replicas: 1
|
||||||
|
selector:
|
||||||
|
matchLabels:
|
||||||
|
app: text-generation-webui
|
||||||
|
template:
|
||||||
|
metadata:
|
||||||
|
labels:
|
||||||
|
app: text-generation-webui
|
||||||
|
spec:
|
||||||
|
containers:
|
||||||
|
- name: text-generation-webui
|
||||||
|
image: atinoda/text-generation-webui:default-nvidia
|
||||||
|
env:
|
||||||
|
- name: EXTRA_LAUNCH_ARGS
|
||||||
|
value: "--listen --verbose --api"
|
||||||
|
ports:
|
||||||
|
- containerPort: 7860
|
||||||
|
- containerPort: 5000 # Api port
|
||||||
|
- containerPort: 5005
|
||||||
|
volumeMounts:
|
||||||
|
- name: config-volume
|
||||||
|
mountPath: /app/characters
|
||||||
|
subPath: characters
|
||||||
|
- name: config-volume
|
||||||
|
mountPath: /app/loras
|
||||||
|
subPath: loras
|
||||||
|
- name: config-volume
|
||||||
|
mountPath: /app/models
|
||||||
|
subPath: models
|
||||||
|
- name: config-volume
|
||||||
|
mountPath: /app/presets
|
||||||
|
subPath: presets
|
||||||
|
- name: config-volume
|
||||||
|
mountPath: /app/prompts
|
||||||
|
subPath: prompts
|
||||||
|
- name: config-volume
|
||||||
|
mountPath: /app/training
|
||||||
|
subPath: training
|
||||||
|
|
||||||
|
resources:
|
||||||
|
limits:
|
||||||
|
nvidia.com/gpu: 1
|
||||||
|
volumes:
|
||||||
|
- name: config-volume
|
||||||
|
persistentVolumeClaim:
|
||||||
|
claimName: text-gen-pvc
|
12
text-ui/text-ui-pvc.yaml
Normal file
12
text-ui/text-ui-pvc.yaml
Normal file
@ -0,0 +1,12 @@
|
|||||||
|
apiVersion: v1
|
||||||
|
kind: PersistentVolumeClaim
|
||||||
|
metadata:
|
||||||
|
name: text-gen-pvc
|
||||||
|
namespace: text-gen-ns
|
||||||
|
spec:
|
||||||
|
accessModes:
|
||||||
|
- ReadWriteMany
|
||||||
|
storageClassName: longhorn
|
||||||
|
resources:
|
||||||
|
requests:
|
||||||
|
storage: 100Gi
|
19
text-ui/text-ui-service.yaml
Normal file
19
text-ui/text-ui-service.yaml
Normal file
@ -0,0 +1,19 @@
|
|||||||
|
apiVersion: v1
|
||||||
|
kind: Service
|
||||||
|
metadata:
|
||||||
|
name: text-generation-webui-service
|
||||||
|
namespace: text-gen-ns
|
||||||
|
spec:
|
||||||
|
type: LoadBalancer
|
||||||
|
ports:
|
||||||
|
- name: web
|
||||||
|
port: 7860
|
||||||
|
targetPort: 7860
|
||||||
|
- name: api
|
||||||
|
port: 5000
|
||||||
|
targetPort: 5000
|
||||||
|
- name: stream
|
||||||
|
port: 5005
|
||||||
|
targetPort: 5005
|
||||||
|
selector:
|
||||||
|
app: text-generation-webui
|
Loading…
Reference in New Issue
Block a user