Class: LlamaCpp::LlamaKvCacheView

Inherits:
Object
  • Object
show all
Defined in:
ext/llama_cpp/llama_cpp.c,
ext/llama_cpp/llama_cpp.c

Overview

“struct llama_kv_cache_view” wrapper class

Instance Method Summary collapse

Instance Method Details

#max_contiguous ⇒ Integer

Returns:

  • (Integer) 


1965
1966
1967
1968
 
# File 'ext/llama_cpp/llama_cpp.c', line 1965

static VALUE llama_kv_cache_view_get_max_contiguous(VALUE self) {
  struct llama_kv_cache_view* data = get_llama_kv_cache_view(self);
  return INT2NUM(data->max_contiguous);
}

#max_contiguous_idx ⇒ Integer

Returns:

  • (Integer) 


1970
1971
1972
1973
 
# File 'ext/llama_cpp/llama_cpp.c', line 1970

static VALUE llama_kv_cache_view_get_max_contiguous_idx(VALUE self) {
  struct llama_kv_cache_view* data = get_llama_kv_cache_view(self);
  return INT2NUM(data->max_contiguous_idx);
}

#n_cells ⇒ Integer

Returns:

  • (Integer) 


1945
1946
1947
1948
 
# File 'ext/llama_cpp/llama_cpp.c', line 1945

static VALUE llama_kv_cache_view_get_n_cells(VALUE self) {
  struct llama_kv_cache_view* data = get_llama_kv_cache_view(self);
  return INT2NUM(data->n_cells);
}

#n_seq_max ⇒ Integer

Returns:

  • (Integer) 


1950
1951
1952
1953
 
# File 'ext/llama_cpp/llama_cpp.c', line 1950

static VALUE llama_kv_cache_view_get_n_seq_max(VALUE self) {
  struct llama_kv_cache_view* data = get_llama_kv_cache_view(self);
  return INT2NUM(data->n_seq_max);
}

#token_count ⇒ Integer

Returns:

  • (Integer) 


1955
1956
1957
1958
 
# File 'ext/llama_cpp/llama_cpp.c', line 1955

static VALUE llama_kv_cache_view_get_token_count(VALUE self) {
  struct llama_kv_cache_view* data = get_llama_kv_cache_view(self);
  return INT2NUM(data->token_count);
}

#used_cells ⇒ Integer

Returns:

  • (Integer) 


1960
1961
1962
1963
 
# File 'ext/llama_cpp/llama_cpp.c', line 1960

static VALUE llama_kv_cache_view_get_used_cells(VALUE self) {
  struct llama_kv_cache_view* data = get_llama_kv_cache_view(self);
  return INT2NUM(data->used_cells);
}