Ettore Di Giacinto
|
548959b50f
|
feat: queue up requests if not running parallel requests (#1296)
Return a GRPC which handles a lock in case it is not meant to be
parallel.
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-11-16 22:20:16 +01:00 |
|
Ettore Di Giacinto
|
cc060a283d
|
fix: drop racy code, refactor and group API schema (#931)
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-08-20 14:04:45 +02:00 |
|
Ettore Di Giacinto
|
afdc0ebfd7
|
feat: add --single-active-backend to allow only one backend active at the time (#925)
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-08-19 01:49:33 +02:00 |
|
Dave
|
8cb1061c11
|
Usage Features (#863)
|
2023-08-18 21:23:14 +02:00 |
|
Ettore Di Giacinto
|
b96e30e66c
|
fix: use bytes in gRPC proto instead of strings (#813)
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-27 18:41:04 +02:00 |
|
Ettore Di Giacinto
|
1d0ed95a54
|
feat: move other backends to grpc
This finally makes everything more consistent
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-15 01:19:43 +02:00 |
|
Ettore Di Giacinto
|
58f6aab637
|
feat: move llama to a grpc
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-15 01:19:43 +02:00 |
|
Ettore Di Giacinto
|
b816009db0
|
feat: add falcon ggllm via grpc client
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-15 01:19:43 +02:00 |
|