Class: LlamaCpp::LlamaContextParams

Inherits:
Object
  • Object
show all
Defined in:
ext/llama_cpp/llama_cpp.c,
ext/llama_cpp/llama_cpp.c

Overview

“struct llama_context_params” wrapper class

Instance Method Summary collapse

Instance Method Details

#attention_type ⇒ Integer

Returns:

  • (Integer) 


675
676
677
678
 
# File 'ext/llama_cpp/llama_cpp.c', line 675

static VALUE llama_context_params_get_attention_type(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return INT2NUM(data->attention_type);
}

#attention_type=(attention_type) ⇒ Integer

Parameters:

  • attention_type (Integer)

Returns:

  • (Integer) 


680
681
682
683
684
 
# File 'ext/llama_cpp/llama_cpp.c', line 680

static VALUE llama_context_params_set_attention_type(VALUE self, VALUE attention_type) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->attention_type = (enum llama_attention_type)NUM2INT(attention_type);
  return attention_type;
}

#defrag_thold ⇒ Float

Returns:

  • (Float) 


774
775
776
777
 
# File 'ext/llama_cpp/llama_cpp.c', line 774

static VALUE llama_context_params_get_defrag_thold(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return DBL2NUM(data->defrag_thold);
}

#defrag_thold=(defrag_thold) ⇒ Float

Parameters:

  • defrag_thold (Float)

Returns:

  • (Float) 


779
780
781
782
783
 
# File 'ext/llama_cpp/llama_cpp.c', line 779

static VALUE llama_context_params_set_defrag_thold(VALUE self, VALUE defrag_thold) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->defrag_thold = NUM2DBL(defrag_thold);
  return defrag_thold;
}

#embeddings ⇒ Boolean

Returns:

  • (Boolean) 


807
808
809
810
 
# File 'ext/llama_cpp/llama_cpp.c', line 807

static VALUE llama_context_params_get_embeddings(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return data->embeddings ? Qtrue : Qfalse;
}

#embeddings=(embeddings) ⇒ Boolean

Parameters:

  • embeddings (Boolean)

Returns:

  • (Boolean) 


812
813
814
815
816
 
# File 'ext/llama_cpp/llama_cpp.c', line 812

static VALUE llama_context_params_set_embeddings(VALUE self, VALUE embeddings) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->embeddings = RTEST(embeddings) ? true : false;
  return embeddings;
}

#flash_attn_type ⇒ Integer

Returns:

  • (Integer) 


686
687
688
689
 
# File 'ext/llama_cpp/llama_cpp.c', line 686

static VALUE llama_context_params_get_flash_attn_type(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return INT2NUM(data->flash_attn_type);
}

#flash_attn_type=(flash_attn_type) ⇒ Integer

Parameters:

  • flash_attn_type (Integer)

Returns:

  • (Integer) 


691
692
693
694
695
 
# File 'ext/llama_cpp/llama_cpp.c', line 691

static VALUE llama_context_params_set_flash_attn_type(VALUE self, VALUE flash_attn_type) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->flash_attn_type = (enum llama_flash_attn_type)NUM2INT(flash_attn_type);
  return flash_attn_type;
}

#kv_unified ⇒ Boolean

Returns:

  • (Boolean) 


862
863
864
865
 
# File 'ext/llama_cpp/llama_cpp.c', line 862

static VALUE llama_context_params_get_kv_unified(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return data->kv_unified ? Qtrue : Qfalse;
}

#kv_unified=(kv_unified) ⇒ Boolean

Parameters:

  • kv_unified (Boolean)

Returns:

  • (Boolean) 


867
868
869
870
871
 
# File 'ext/llama_cpp/llama_cpp.c', line 867

static VALUE llama_context_params_set_kv_unified(VALUE self, VALUE kv_unified) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->kv_unified = RTEST(kv_unified) ? true : false;
  return kv_unified;
}

#n_batch ⇒ Integer

Returns:

  • (Integer) 


598
599
600
601
 
# File 'ext/llama_cpp/llama_cpp.c', line 598

static VALUE llama_context_params_get_n_batch(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return UINT2NUM(data->n_batch);
}

#n_batch=(n_batch) ⇒ Integer

Parameters:

  • n_batch (Integer)

Returns:

  • (Integer) 


603
604
605
606
607
 
# File 'ext/llama_cpp/llama_cpp.c', line 603

static VALUE llama_context_params_set_n_batch(VALUE self, VALUE n_batch) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->n_batch = NUM2UINT(n_batch);
  return n_batch;
}

#n_ctx ⇒ Integer

Returns:

  • (Integer) 


587
588
589
590
 
# File 'ext/llama_cpp/llama_cpp.c', line 587

static VALUE llama_context_params_get_n_ctx(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return UINT2NUM(data->n_ctx);
}

#n_ctx=(n_ctx) ⇒ Integer

Parameters:

  • n_ctx (Integer)

Returns:

  • (Integer) 


592
593
594
595
596
 
# File 'ext/llama_cpp/llama_cpp.c', line 592

static VALUE llama_context_params_set_n_ctx(VALUE self, VALUE n_ctx) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->n_ctx = NUM2UINT(n_ctx);
  return n_ctx;
}

#n_seq_max ⇒ Integer

Returns:

  • (Integer) 


620
621
622
623
 
# File 'ext/llama_cpp/llama_cpp.c', line 620

static VALUE llama_context_params_get_n_seq_max(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return UINT2NUM(data->n_seq_max);
}

#n_seq_max=(n_seq_max) ⇒ Integer

Parameters:

  • n_seq_max (Integer)

Returns:

  • (Integer) 


625
626
627
628
629
 
# File 'ext/llama_cpp/llama_cpp.c', line 625

static VALUE llama_context_params_set_n_seq_max(VALUE self, VALUE n_seq_max) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->n_seq_max = NUM2UINT(n_seq_max);
  return n_seq_max;
}

#n_threads ⇒ Integer

Returns:

  • (Integer) 


631
632
633
634
 
# File 'ext/llama_cpp/llama_cpp.c', line 631

static VALUE llama_context_params_get_n_threads(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return INT2NUM(data->n_threads);
}

#n_threads=(n_threads) ⇒ Integer

Parameters:

  • n_threads (Integer)

Returns:

  • (Integer) 


636
637
638
639
640
 
# File 'ext/llama_cpp/llama_cpp.c', line 636

static VALUE llama_context_params_set_n_threads(VALUE self, VALUE n_threads) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->n_threads = NUM2INT(n_threads);
  return n_threads;
}

#n_threads_batch ⇒ Integer

Returns:

  • (Integer) 


642
643
644
645
 
# File 'ext/llama_cpp/llama_cpp.c', line 642

static VALUE llama_context_params_get_n_threads_batch(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return INT2NUM(data->n_threads_batch);
}

#n_threads_batch=(n_threads_batch) ⇒ Integer

Parameters:

  • n_threads_batch (Integer)

Returns:

  • (Integer) 


647
648
649
650
651
 
# File 'ext/llama_cpp/llama_cpp.c', line 647

static VALUE llama_context_params_set_n_threads_batch(VALUE self, VALUE n_threads_batch) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->n_threads = NUM2INT(n_threads_batch);
  return n_threads_batch;
}

#n_ubatch ⇒ Integer

Returns:

  • (Integer) 


609
610
611
612
 
# File 'ext/llama_cpp/llama_cpp.c', line 609

static VALUE llama_context_params_get_n_ubatch(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return UINT2NUM(data->n_ubatch);
}

#n_ubatch=(n_ubatch) ⇒ Integer

Parameters:

  • n_ubatch (Integer)

Returns:

  • (Integer) 


614
615
616
617
618
 
# File 'ext/llama_cpp/llama_cpp.c', line 614

static VALUE llama_context_params_set_n_ubatch(VALUE self, VALUE n_ubatch) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->n_ubatch = NUM2UINT(n_ubatch);
  return n_ubatch;
}

#no_perf ⇒ Boolean

Returns:

  • (Boolean) 


829
830
831
832
 
# File 'ext/llama_cpp/llama_cpp.c', line 829

static VALUE llama_context_params_get_no_perf(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return data->no_perf ? Qtrue : Qfalse;
}

#no_perf=(no_perf) ⇒ Boolean

Parameters:

  • no_perf (Boolean)

Returns:

  • (Boolean) 


834
835
836
837
838
 
# File 'ext/llama_cpp/llama_cpp.c', line 834

static VALUE llama_context_params_set_no_perf(VALUE self, VALUE no_perf) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->no_perf = RTEST(no_perf) ? true : false;
  return no_perf;
}

#offload_kqv ⇒ Boolean

Returns:

  • (Boolean) 


818
819
820
821
 
# File 'ext/llama_cpp/llama_cpp.c', line 818

static VALUE llama_context_params_get_offload_kqv(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return data->offload_kqv ? Qtrue : Qfalse;
}

#offload_kqv=(offload_kqv) ⇒ Boolean

Parameters:

  • offload_kqv (Boolean)

Returns:

  • (Boolean) 


823
824
825
826
827
 
# File 'ext/llama_cpp/llama_cpp.c', line 823

static VALUE llama_context_params_set_offload_kqv(VALUE self, VALUE offload_kqv) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->offload_kqv = RTEST(offload_kqv) ? true : false;
  return offload_kqv;
}

#op_offload ⇒ Boolean

Returns:

  • (Boolean) 


840
841
842
843
 
# File 'ext/llama_cpp/llama_cpp.c', line 840

static VALUE llama_context_params_get_op_offload(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return data->op_offload ? Qtrue : Qfalse;
}

#op_offload=(op_offload) ⇒ Boolean

Parameters:

  • op_offload (Boolean)

Returns:

  • (Boolean) 


845
846
847
848
849
 
# File 'ext/llama_cpp/llama_cpp.c', line 845

static VALUE llama_context_params_set_op_offload(VALUE self, VALUE op_offload) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->op_offload = RTEST(op_offload) ? true : false;
  return op_offload;
}

#pooling_type ⇒ Integer

Returns:

  • (Integer) 


664
665
666
667
 
# File 'ext/llama_cpp/llama_cpp.c', line 664

static VALUE llama_context_params_get_pooling_type(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return INT2NUM(data->pooling_type);
}

#pooling_type=(pooling_type) ⇒ Integer

Parameters:

  • pooling_type (Integer)

Returns:

  • (Integer) 


669
670
671
672
673
 
# File 'ext/llama_cpp/llama_cpp.c', line 669

static VALUE llama_context_params_set_pooling_type(VALUE self, VALUE pooling_type) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->pooling_type = (enum llama_pooling_type)NUM2INT(pooling_type);
  return pooling_type;
}

#rope_freq_base ⇒ Float

Returns:

  • (Float) 


697
698
699
700
 
# File 'ext/llama_cpp/llama_cpp.c', line 697

static VALUE llama_context_params_get_rope_freq_base(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return DBL2NUM(data->rope_freq_base);
}

#rope_freq_base=(rope_freq_base) ⇒ Float

Parameters:

  • rope_freq_base (Float)

Returns:

  • (Float) 


702
703
704
705
706
 
# File 'ext/llama_cpp/llama_cpp.c', line 702

static VALUE llama_context_params_set_rope_freq_base(VALUE self, VALUE rope_freq_base) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->rope_freq_base = NUM2DBL(rope_freq_base);
  return rope_freq_base;
}

#rope_freq_scale ⇒ Float

Returns:

  • (Float) 


708
709
710
711
 
# File 'ext/llama_cpp/llama_cpp.c', line 708

static VALUE llama_context_params_get_rope_freq_scale(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return DBL2NUM(data->rope_freq_scale);
}

#rope_freq_scale=(rope_freq_scale) ⇒ Float

Parameters:

  • rope_freq_scale (Float)

Returns:

  • (Float) 


713
714
715
716
717
 
# File 'ext/llama_cpp/llama_cpp.c', line 713

static VALUE llama_context_params_set_rope_freq_scale(VALUE self, VALUE rope_freq_scale) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->rope_freq_scale = NUM2DBL(rope_freq_scale);
  return rope_freq_scale;
}

#rope_scaling_type ⇒ Integer

Returns:

  • (Integer) 


653
654
655
656
 
# File 'ext/llama_cpp/llama_cpp.c', line 653

static VALUE llama_context_params_get_rope_scaling_type(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return INT2NUM(data->rope_scaling_type);
}

#rope_scaling_type=(rope_scaling_type) ⇒ Integer

Parameters:

  • rope_scaling_type (Integer)

Returns:

  • (Integer) 


658
659
660
661
662
 
# File 'ext/llama_cpp/llama_cpp.c', line 658

static VALUE llama_context_params_set_rope_scaling_type(VALUE self, VALUE rope_scaling_type) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->rope_scaling_type = (enum llama_rope_scaling_type)NUM2INT(rope_scaling_type);
  return rope_scaling_type;
}

#swa_full ⇒ Boolean

Returns:

  • (Boolean) 


851
852
853
854
 
# File 'ext/llama_cpp/llama_cpp.c', line 851

static VALUE llama_context_params_get_swa_full(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return data->swa_full ? Qtrue : Qfalse;
}

#swa_full=(swa_full) ⇒ Boolean

Parameters:

  • swa_full (Boolean)

Returns:

  • (Boolean) 


856
857
858
859
860
 
# File 'ext/llama_cpp/llama_cpp.c', line 856

static VALUE llama_context_params_set_swa_full(VALUE self, VALUE swa_full) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->swa_full = RTEST(swa_full) ? true : false;
  return swa_full;
}

#type_k ⇒ Integer

Returns:

  • (Integer) 


785
786
787
788
 
# File 'ext/llama_cpp/llama_cpp.c', line 785

static VALUE llama_context_params_get_type_k(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return INT2NUM(data->type_k);
}

#type_k=(type_k) ⇒ Integer

Parameters:

  • type_k (Integer)

Returns:

  • (Integer) 


790
791
792
793
794
 
# File 'ext/llama_cpp/llama_cpp.c', line 790

static VALUE llama_context_params_set_type_k(VALUE self, VALUE type_k) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->type_k = (enum ggml_type)NUM2INT(type_k);
  return type_k;
}

#type_v ⇒ Integer

Returns:

  • (Integer) 


796
797
798
799
 
# File 'ext/llama_cpp/llama_cpp.c', line 796

static VALUE llama_context_params_get_type_v(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return INT2NUM(data->type_v);
}

#type_v=(type_v) ⇒ Integer

Parameters:

  • type_v (Integer)

Returns:

  • (Integer) 


801
802
803
804
805
 
# File 'ext/llama_cpp/llama_cpp.c', line 801

static VALUE llama_context_params_set_type_v(VALUE self, VALUE type_v) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->type_v = (enum ggml_type)NUM2INT(type_v);
  return type_v;
}

#yarn_attn_factor ⇒ Float

Returns:

  • (Float) 


730
731
732
733
 
# File 'ext/llama_cpp/llama_cpp.c', line 730

static VALUE llama_context_params_get_yarn_attn_factor(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return DBL2NUM(data->yarn_attn_factor);
}

#yarn_attn_factor=(yarn_attn_factor) ⇒ Float

Parameters:

  • yarn_attn_factor (Float)

Returns:

  • (Float) 


735
736
737
738
739
 
# File 'ext/llama_cpp/llama_cpp.c', line 735

static VALUE llama_context_params_set_yarn_attn_factor(VALUE self, VALUE yarn_attn_factor) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->yarn_attn_factor = NUM2DBL(yarn_attn_factor);
  return yarn_attn_factor;
}

#yarn_beta_fast ⇒ Float

Returns:

  • (Float) 


741
742
743
744
 
# File 'ext/llama_cpp/llama_cpp.c', line 741

static VALUE llama_context_params_get_yarn_beta_fast(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return DBL2NUM(data->yarn_beta_fast);
}

#yarn_beta_fast=(yarn_beta_fast) ⇒ Float

Parameters:

  • yarn_beta_fast (Float)

Returns:

  • (Float) 


746
747
748
749
750
 
# File 'ext/llama_cpp/llama_cpp.c', line 746

static VALUE llama_context_params_set_yarn_beta_fast(VALUE self, VALUE yarn_beta_fast) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->yarn_beta_fast = NUM2DBL(yarn_beta_fast);
  return yarn_beta_fast;
}

#yarn_beta_slow ⇒ Float

Returns:

  • (Float) 


752
753
754
755
 
# File 'ext/llama_cpp/llama_cpp.c', line 752

static VALUE llama_context_params_get_yarn_beta_slow(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return DBL2NUM(data->yarn_beta_slow);
}

#yarn_beta_slow=(yarn_beta_slow) ⇒ Float

Parameters:

  • yarn_beta_slow (Float)

Returns:

  • (Float) 


757
758
759
760
761
 
# File 'ext/llama_cpp/llama_cpp.c', line 757

static VALUE llama_context_params_set_yarn_beta_slow(VALUE self, VALUE yarn_beta_slow) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->yarn_beta_slow = NUM2DBL(yarn_beta_slow);
  return yarn_beta_slow;
}

#yarn_ext_factor ⇒ Float

Returns:

  • (Float) 


719
720
721
722
 
# File 'ext/llama_cpp/llama_cpp.c', line 719

static VALUE llama_context_params_get_yarn_ext_factor(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return DBL2NUM(data->yarn_ext_factor);
}

#yarn_ext_factor=(yarn_ext_factor) ⇒ Float

Parameters:

  • yarn_ext_factor (Float)

Returns:

  • (Float) 


724
725
726
727
728
 
# File 'ext/llama_cpp/llama_cpp.c', line 724

static VALUE llama_context_params_set_yarn_ext_factor(VALUE self, VALUE yarn_ext_factor) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->yarn_ext_factor = NUM2DBL(yarn_ext_factor);
  return yarn_ext_factor;
}

#yarn_orig_ctx ⇒ Integer

Returns:

  • (Integer) 


763
764
765
766
 
# File 'ext/llama_cpp/llama_cpp.c', line 763

static VALUE llama_context_params_get_yarn_orig_ctx(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return UINT2NUM(data->yarn_orig_ctx);
}

#yarn_orig_ctx=(yarn_orig_ctx) ⇒ Integer

Parameters:

  • yarn_orig_ctx (Integer)

Returns:

  • (Integer) 


768
769
770
771
772
 
# File 'ext/llama_cpp/llama_cpp.c', line 768

static VALUE llama_context_params_set_yarn_orig_ctx(VALUE self, VALUE yarn_orig_ctx) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->yarn_orig_ctx = NUM2UINT(yarn_orig_ctx);
  return yarn_orig_ctx;
}