Ettore Di Giacinto
|
00ccb8d4f1
|
fix: set default rope freq base to 10000 during model load
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-29 10:40:56 +02:00 |
|
Dave
|
8b90ac2b1a
|
1000 -> 10,000 for ropeFreqBase?
the error message talks about a default of 10k, so setting this to 10k instead of 1k experimentally.
|
2023-07-29 02:37:24 -04:00 |
|
Ettore Di Giacinto
|
f085baa77d
|
fix: set default rope if not specified
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-29 01:07:16 +02:00 |
|
Ettore Di Giacinto
|
096d98c3d9
|
fix: add rope settings during model load, fix CUDA (#821)
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-27 21:56:05 +02:00 |
|
Ettore Di Giacinto
|
569c1d1163
|
feat: add rope settings and negative prompt, drop grammar backend (#797)
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-25 19:05:27 +02:00 |
|
Ettore Di Giacinto
|
3feb632eb4
|
refactor: rename "llama-master" and "llama" (#776)
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-20 00:36:16 +02:00 |
|
Ettore Di Giacinto
|
1d0ed95a54
|
feat: move other backends to grpc
This finally makes everything more consistent
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-15 01:19:43 +02:00 |
|
Ettore Di Giacinto
|
58f6aab637
|
feat: move llama to a grpc
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
2023-07-15 01:19:43 +02:00 |
|