Class: LlamaCpp::LlamaKvCacheView

Inherits:
Object
  • Object
show all
Defined in:
ext/llama_cpp/llama_cpp.c,
ext/llama_cpp/llama_cpp.c

Overview

“struct llama_kv_cache_view” wrapper class

Instance Method Summary collapse

Instance Method Details

#max_contiguous ⇒ Integer

Returns:

  • (Integer) 


1921
1922
1923
1924
 
# File 'ext/llama_cpp/llama_cpp.c', line 1921

static VALUE llama_kv_cache_view_get_max_contiguous(VALUE self) {
  struct llama_kv_cache_view* data = get_llama_kv_cache_view(self);
  return INT2NUM(data->max_contiguous);
}

#max_contiguous_idx ⇒ Integer

Returns:

  • (Integer) 


1926
1927
1928
1929
 
# File 'ext/llama_cpp/llama_cpp.c', line 1926

static VALUE llama_kv_cache_view_get_max_contiguous_idx(VALUE self) {
  struct llama_kv_cache_view* data = get_llama_kv_cache_view(self);
  return INT2NUM(data->max_contiguous_idx);
}

#n_cells ⇒ Integer

Returns:

  • (Integer) 


1901
1902
1903
1904
 
# File 'ext/llama_cpp/llama_cpp.c', line 1901

static VALUE llama_kv_cache_view_get_n_cells(VALUE self) {
  struct llama_kv_cache_view* data = get_llama_kv_cache_view(self);
  return INT2NUM(data->n_cells);
}

#n_seq_max ⇒ Integer

Returns:

  • (Integer) 


1906
1907
1908
1909
 
# File 'ext/llama_cpp/llama_cpp.c', line 1906

static VALUE llama_kv_cache_view_get_n_seq_max(VALUE self) {
  struct llama_kv_cache_view* data = get_llama_kv_cache_view(self);
  return INT2NUM(data->n_seq_max);
}

#token_count ⇒ Integer

Returns:

  • (Integer) 


1911
1912
1913
1914
 
# File 'ext/llama_cpp/llama_cpp.c', line 1911

static VALUE llama_kv_cache_view_get_token_count(VALUE self) {
  struct llama_kv_cache_view* data = get_llama_kv_cache_view(self);
  return INT2NUM(data->token_count);
}

#used_cells ⇒ Integer

Returns:

  • (Integer) 


1916
1917
1918
1919
 
# File 'ext/llama_cpp/llama_cpp.c', line 1916

static VALUE llama_kv_cache_view_get_used_cells(VALUE self) {
  struct llama_kv_cache_view* data = get_llama_kv_cache_view(self);
  return INT2NUM(data->used_cells);
}