5 Commits

Author	SHA1	Message	Date
Ettore Di Giacinto	a843e64fc2	feat: add initial AutoGPTQ backend implementation	2023-08-07 22:53:28 +02:00
Ettore Di Giacinto	94916749c5	feat: add external grpc and model autoloading	2023-07-20 22:10:12 +02:00
Ettore Di Giacinto	1d0ed95a54	feat: move other backends to grpc ... This finally makes everything more consistent Signed-off-by: Ettore Di Giacinto <mudler@localai.io>	2023-07-15 01:19:43 +02:00
Ettore Di Giacinto	58f6aab637	feat: move llama to a grpc ... Signed-off-by: Ettore Di Giacinto <mudler@localai.io>	2023-07-15 01:19:43 +02:00
Ettore Di Giacinto	b816009db0	feat: add falcon ggllm via grpc client ... Signed-off-by: Ettore Di Giacinto <mudler@localai.io>	2023-07-15 01:19:43 +02:00