5 Commits

Author	SHA1	Message	Date
Ettore Di Giacinto	afdc0ebfd7	feat: add --single-active-backend to allow only one backend active at the time (#925) ... Signed-off-by: Ettore Di Giacinto <mudler@localai.io>	2023-08-19 01:49:33 +02:00
Ettore Di Giacinto	219751bb21	fix: cut prompt from AutoGPTQ answers ... Signed-off-by: Ettore Di Giacinto <mudler@localai.io>	2023-08-08 01:27:38 +02:00
Ettore Di Giacinto	bb7772a364	fix: byte utf-8 encode results from autogptq ... Signed-off-by: Ettore Di Giacinto <mudler@localai.io>	2023-08-08 01:20:07 +02:00
Ettore Di Giacinto	3c8fc37c56	feat: Add UseFastTokenizer ... Signed-off-by: Ettore Di Giacinto <mudler@localai.io>	2023-08-08 01:10:05 +02:00
Ettore Di Giacinto	a843e64fc2	feat: add initial AutoGPTQ backend implementation	2023-08-07 22:53:28 +02:00