Class: LlamaCpp::LlamaKvCacheView

Inherits:
Object
  • Object
show all
Defined in:
ext/llama_cpp/llama_cpp.c,
ext/llama_cpp/llama_cpp.c

Overview

“struct llama_kv_cache_view” wrapper class

Instance Method Summary collapse

Instance Method Details

#max_contiguous ⇒ Integer

Returns:

  • (Integer) 


1866
1867
1868
1869
 
# File 'ext/llama_cpp/llama_cpp.c', line 1866

static VALUE llama_kv_cache_view_get_max_contiguous(VALUE self) {
  struct llama_kv_cache_view* data = get_llama_kv_cache_view(self);
  return INT2NUM(data->max_contiguous);
}

#max_contiguous_idx ⇒ Integer

Returns:

  • (Integer) 


1871
1872
1873
1874
 
# File 'ext/llama_cpp/llama_cpp.c', line 1871

static VALUE llama_kv_cache_view_get_max_contiguous_idx(VALUE self) {
  struct llama_kv_cache_view* data = get_llama_kv_cache_view(self);
  return INT2NUM(data->max_contiguous_idx);
}

#n_cells ⇒ Integer

Returns:

  • (Integer) 


1846
1847
1848
1849
 
# File 'ext/llama_cpp/llama_cpp.c', line 1846

static VALUE llama_kv_cache_view_get_n_cells(VALUE self) {
  struct llama_kv_cache_view* data = get_llama_kv_cache_view(self);
  return INT2NUM(data->n_cells);
}

#n_seq_max ⇒ Integer

Returns:

  • (Integer) 


1851
1852
1853
1854
 
# File 'ext/llama_cpp/llama_cpp.c', line 1851

static VALUE llama_kv_cache_view_get_n_seq_max(VALUE self) {
  struct llama_kv_cache_view* data = get_llama_kv_cache_view(self);
  return INT2NUM(data->n_seq_max);
}

#token_count ⇒ Integer

Returns:

  • (Integer) 


1856
1857
1858
1859
 
# File 'ext/llama_cpp/llama_cpp.c', line 1856

static VALUE llama_kv_cache_view_get_token_count(VALUE self) {
  struct llama_kv_cache_view* data = get_llama_kv_cache_view(self);
  return INT2NUM(data->token_count);
}

#used_cells ⇒ Integer

Returns:

  • (Integer) 


1861
1862
1863
1864
 
# File 'ext/llama_cpp/llama_cpp.c', line 1861

static VALUE llama_kv_cache_view_get_used_cells(VALUE self) {
  struct llama_kv_cache_view* data = get_llama_kv_cache_view(self);
  return INT2NUM(data->used_cells);
}