Ettore Di Giacinto
|
096d98c3d9
|
fix: add rope settings during model load, fix CUDA (#821)
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-27 21:56:05 +02:00 |
|
Ettore Di Giacinto
|
b96e30e66c
|
fix: use bytes in gRPC proto instead of strings (#813)
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-27 18:41:04 +02:00 |
|
Ettore Di Giacinto
|
569c1d1163
|
feat: add rope settings and negative prompt, drop grammar backend (#797)
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-25 19:05:27 +02:00 |
|
Aman Gupta Karmani
|
12fe0932c4
|
feat: cancel stream generation if client disappears (#792)
|
2023-07-24 23:10:54 +02:00 |
|
Ettore Di Giacinto
|
c71c729bc2
|
debug
|
2023-07-21 10:53:26 +02:00 |
|
Ettore Di Giacinto
|
94916749c5
|
feat: add external grpc and model autoloading
|
2023-07-20 22:10:12 +02:00 |
|
Ettore Di Giacinto
|
1d0ed95a54
|
feat: move other backends to grpc
This finally makes everything more consistent
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-15 01:19:43 +02:00 |
|
Ettore Di Giacinto
|
5dcfdbe51d
|
feat: various refactorings
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-15 01:19:43 +02:00 |
|