Ettore Di Giacinto
|
00ccb8d4f1
|
fix: set default rope freq base to 10000 during model load
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-29 10:40:56 +02:00 |
|
Dave
|
8b90ac2b1a
|
1000 -> 10,000 for ropeFreqBase?
the error message talks about a default of 10k, so setting this to 10k instead of 1k experimentally.
|
2023-07-29 02:37:24 -04:00 |
|
Ettore Di Giacinto
|
f085baa77d
|
fix: set default rope if not specified
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-29 01:07:16 +02:00 |
|
Ettore Di Giacinto
|
096d98c3d9
|
fix: add rope settings during model load, fix CUDA (#821)
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-27 21:56:05 +02:00 |
|
Ettore Di Giacinto
|
b96e30e66c
|
fix: use bytes in gRPC proto instead of strings (#813)
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-27 18:41:04 +02:00 |
|
Ettore Di Giacinto
|
569c1d1163
|
feat: add rope settings and negative prompt, drop grammar backend (#797)
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-25 19:05:27 +02:00 |
|
Ettore Di Giacinto
|
c71c729bc2
|
debug
|
2023-07-21 10:53:26 +02:00 |
|
Ettore Di Giacinto
|
3feb632eb4
|
refactor: rename "llama-master" and "llama" (#776)
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-20 00:36:16 +02:00 |
|
Ettore Di Giacinto
|
6352448b72
|
feat: add llama-master backend (#752)
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-17 23:58:15 +02:00 |
|
Ettore Di Giacinto
|
1d0ed95a54
|
feat: move other backends to grpc
This finally makes everything more consistent
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-15 01:19:43 +02:00 |
|
Ettore Di Giacinto
|
5dcfdbe51d
|
feat: various refactorings
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-15 01:19:43 +02:00 |
|
Ettore Di Giacinto
|
f2f1d7fe72
|
feat: use gRPC for transformers
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-15 01:19:43 +02:00 |
|
Ettore Di Giacinto
|
ae533cadef
|
feat: move gpt4all to a grpc service
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-15 01:19:43 +02:00 |
|
Ettore Di Giacinto
|
58f6aab637
|
feat: move llama to a grpc
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-15 01:19:43 +02:00 |
|
Ettore Di Giacinto
|
b816009db0
|
feat: add falcon ggllm via grpc client
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-15 01:19:43 +02:00 |
|