diff --git a/api/prediction.go b/api/prediction.go
index ff4866f0..7a49a57e 100644
--- a/api/prediction.go
+++ b/api/prediction.go
@@ -44,6 +44,8 @@ func defaultLLamaOpts(c Config) []llama.ModelOption {
 	llamaOpts = append(llamaOpts, llama.SetTensorSplit(c.TensorSplit))
 	if c.Batch != 0 {
 		llamaOpts = append(llamaOpts, llama.SetNBatch(c.Batch))
+	} else {
+		llamaOpts = append(llamaOpts, llama.SetNBatch(512))
 	}
 
 	return llamaOpts