speculative : add grammar support

2025-11-10 10:27:03 +00:00 · 2023-09-03 15:25:53 +03:00
parent 3103568144
commit 69f2fafebc
3 changed files with 100 additions and 2 deletions
--- a/llama.h
+++ b/llama.h
@@ -410,6 +410,8 @@ extern "C" {

    LLAMA_API void llama_grammar_free(struct llama_grammar * grammar);

+    LLAMA_API struct llama_grammar * llama_grammar_copy(const struct llama_grammar * grammar);
+
    //
    // Sampling functions
    //