CS348Project/llama.cpp
5
0
Fork 0
mirror of https://github.com/ggml-org/llama.cpp.git synced 2025-11-19 11:57:07 +00:00
Code Issues Packages Projects Releases Wiki Activity

llama : update llama_kv_self API

Browse Source 
ggml-ci
This commit is contained in:
Georgi Gerganov
2025-01-14 16:47:34 +02:00
parent fd05ab87aa
commit 17b363afd3
30 changed files with 387 additions and 205 deletions
Download Patch File Download Diff File Expand all files Collapse all files

20
src/llama-kv-cache.cpp
View File

@@ -1072,7 +1072,17 @@ bool llama_kv_cache::state_read_data(const io & io, const llama_hparams & hparam
return true;
}
/////////////
//
// interface implementation
//
int32_t llama_kv_cache_n_tokens(const llama_kv_cache * kv) {
return kv->n_tokens();
}
int32_t llama_kv_cache_used_cells(const llama_kv_cache * kv) {
return kv->used;
}
void llama_kv_cache_clear(llama_kv_cache * kv) {
kv->clear();
@@ -1125,14 +1135,6 @@ void llama_kv_cache_defrag(llama_kv_cache * kv) {
kv->defrag();
}
int32_t llama_kv_cache_n_tokens(const llama_kv_cache * kv) {
return kv->n_tokens();
}
int32_t llama_kv_cache_used_cells(const llama_kv_cache * kv) {
return kv->used;
}
bool llama_kv_cache_can_shift(const llama_kv_cache * kv) {
return kv->can_shift;
}