63 Commits

Author	SHA1	Message	Date
Ettore Di Giacinto	f085baa77d	fix: set default rope if not specified ... Signed-off-by: Ettore Di Giacinto <mudler@localai.io>	2023-07-29 01:07:16 +02:00
Ettore Di Giacinto	096d98c3d9	fix: add rope settings during model load, fix CUDA (#821) ... Signed-off-by: Ettore Di Giacinto <mudler@localai.io>	2023-07-27 21:56:05 +02:00
Ettore Di Giacinto	b96e30e66c	fix: use bytes in gRPC proto instead of strings (#813) ... Signed-off-by: Ettore Di Giacinto <mudler@localai.io>	2023-07-27 18:41:04 +02:00
Ettore Di Giacinto	569c1d1163	feat: add rope settings and negative prompt, drop grammar backend (#797) ... Signed-off-by: Ettore Di Giacinto <mudler@localai.io>	2023-07-25 19:05:27 +02:00
Ettore Di Giacinto	c71c729bc2	debug	2023-07-21 10:53:26 +02:00
Ettore Di Giacinto	3feb632eb4	refactor: rename "llama-master" and "llama" (#776) ... Signed-off-by: Ettore Di Giacinto <mudler@localai.io>	2023-07-20 00:36:16 +02:00
Ettore Di Giacinto	6352448b72	feat: add llama-master backend (#752) ... Signed-off-by: Ettore Di Giacinto <mudler@localai.io>	2023-07-17 23:58:15 +02:00
Ettore Di Giacinto	1d0ed95a54	feat: move other backends to grpc ... This finally makes everything more consistent Signed-off-by: Ettore Di Giacinto <mudler@localai.io>	2023-07-15 01:19:43 +02:00
Ettore Di Giacinto	5dcfdbe51d	feat: various refactorings ... Signed-off-by: Ettore Di Giacinto <mudler@localai.io>	2023-07-15 01:19:43 +02:00
Ettore Di Giacinto	f2f1d7fe72	feat: use gRPC for transformers ... Signed-off-by: Ettore Di Giacinto <mudler@localai.io>	2023-07-15 01:19:43 +02:00
Ettore Di Giacinto	ae533cadef	feat: move gpt4all to a grpc service ... Signed-off-by: Ettore Di Giacinto <mudler@localai.io>	2023-07-15 01:19:43 +02:00
Ettore Di Giacinto	58f6aab637	feat: move llama to a grpc ... Signed-off-by: Ettore Di Giacinto <mudler@localai.io>	2023-07-15 01:19:43 +02:00
Ettore Di Giacinto	b816009db0	feat: add falcon ggllm via grpc client ... Signed-off-by: Ettore Di Giacinto <mudler@localai.io>	2023-07-15 01:19:43 +02:00