Ettore Di Giacinto
|
bdf3f95346
|
feat(python-grpc): allow to set max workers with PYTHON_GRPC_MAX_WORKERS (#1081)
**Description**
this allows to customize the maximum number of grpc workers for python
backends
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-09-19 21:30:39 +02:00 |
|
Ettore Di Giacinto
|
afdc0ebfd7
|
feat: add --single-active-backend to allow only one backend active at the time (#925)
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-08-19 01:49:33 +02:00 |
|
Ettore Di Giacinto
|
219751bb21
|
fix: cut prompt from AutoGPTQ answers
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-08-08 01:27:38 +02:00 |
|
Ettore Di Giacinto
|
bb7772a364
|
fix: byte utf-8 encode results from autogptq
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-08-08 01:20:07 +02:00 |
|
Ettore Di Giacinto
|
3c8fc37c56
|
feat: Add UseFastTokenizer
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-08-08 01:10:05 +02:00 |
|
Ettore Di Giacinto
|
a843e64fc2
|
feat: add initial AutoGPTQ backend implementation
|
2023-08-07 22:53:28 +02:00 |
|