Class: LlamaCpp::LlamaContextParams

Inherits:
Object
  • Object
show all
Defined in:
ext/llama_cpp/llama_cpp.c,
ext/llama_cpp/llama_cpp.c

Overview

“struct llama_context_params” wrapper class

Instance Method Summary collapse

Instance Method Details

#attention_type ⇒ Integer

Returns:

  • (Integer) 


654
655
656
657
 
# File 'ext/llama_cpp/llama_cpp.c', line 654

static VALUE llama_context_params_get_attention_type(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return INT2NUM(data->attention_type);
}

#attention_type=(attention_type) ⇒ Integer

Parameters:

  • attention_type (Integer)

Returns:

  • (Integer) 


659
660
661
662
663
 
# File 'ext/llama_cpp/llama_cpp.c', line 659

static VALUE llama_context_params_set_attention_type(VALUE self, VALUE attention_type) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->attention_type = (enum llama_attention_type)NUM2INT(attention_type);
  return attention_type;
}

#defrag_thold ⇒ Float

Returns:

  • (Float) 


742
743
744
745
 
# File 'ext/llama_cpp/llama_cpp.c', line 742

static VALUE llama_context_params_get_defrag_thold(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return DBL2NUM(data->defrag_thold);
}

#defrag_thold=(defrag_thold) ⇒ Float

Parameters:

  • defrag_thold (Float)

Returns:

  • (Float) 


747
748
749
750
751
 
# File 'ext/llama_cpp/llama_cpp.c', line 747

static VALUE llama_context_params_set_defrag_thold(VALUE self, VALUE defrag_thold) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->defrag_thold = NUM2DBL(defrag_thold);
  return defrag_thold;
}

#embeddings ⇒ Boolean

Returns:

  • (Boolean) 


775
776
777
778
 
# File 'ext/llama_cpp/llama_cpp.c', line 775

static VALUE llama_context_params_get_embeddings(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return data->embeddings ? Qtrue : Qfalse;
}

#embeddings=(embeddings) ⇒ Boolean

Parameters:

  • embeddings (Boolean)

Returns:

  • (Boolean) 


780
781
782
783
784
 
# File 'ext/llama_cpp/llama_cpp.c', line 780

static VALUE llama_context_params_set_embeddings(VALUE self, VALUE embeddings) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->embeddings = RTEST(embeddings) ? true : false;
  return embeddings;
}

#flash_attn ⇒ Boolean

Returns:

  • (Boolean) 


797
798
799
800
 
# File 'ext/llama_cpp/llama_cpp.c', line 797

static VALUE llama_context_params_get_flash_attn(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return data->flash_attn ? Qtrue : Qfalse;
}

#flash_attn=(flash_attn) ⇒ Boolean

Parameters:

  • flash_attn (Boolean)

Returns:

  • (Boolean) 


802
803
804
805
806
 
# File 'ext/llama_cpp/llama_cpp.c', line 802

static VALUE llama_context_params_set_flash_attn(VALUE self, VALUE flash_attn) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->flash_attn = RTEST(flash_attn) ? true : false;
  return flash_attn;
}

#n_batch ⇒ Integer

Returns:

  • (Integer) 


577
578
579
580
 
# File 'ext/llama_cpp/llama_cpp.c', line 577

static VALUE llama_context_params_get_n_batch(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return UINT2NUM(data->n_batch);
}

#n_batch=(n_batch) ⇒ Integer

Parameters:

  • n_batch (Integer)

Returns:

  • (Integer) 


582
583
584
585
586
 
# File 'ext/llama_cpp/llama_cpp.c', line 582

static VALUE llama_context_params_set_n_batch(VALUE self, VALUE n_batch) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->n_batch = NUM2UINT(n_batch);
  return n_batch;
}

#n_ctx ⇒ Integer

Returns:

  • (Integer) 


566
567
568
569
 
# File 'ext/llama_cpp/llama_cpp.c', line 566

static VALUE llama_context_params_get_n_ctx(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return UINT2NUM(data->n_ctx);
}

#n_ctx=(n_ctx) ⇒ Integer

Parameters:

  • n_ctx (Integer)

Returns:

  • (Integer) 


571
572
573
574
575
 
# File 'ext/llama_cpp/llama_cpp.c', line 571

static VALUE llama_context_params_set_n_ctx(VALUE self, VALUE n_ctx) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->n_ctx = NUM2UINT(n_ctx);
  return n_ctx;
}

#n_seq_max ⇒ Integer

Returns:

  • (Integer) 


599
600
601
602
 
# File 'ext/llama_cpp/llama_cpp.c', line 599

static VALUE llama_context_params_get_n_seq_max(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return UINT2NUM(data->n_seq_max);
}

#n_seq_max=(n_seq_max) ⇒ Integer

Parameters:

  • n_seq_max (Integer)

Returns:

  • (Integer) 


604
605
606
607
608
 
# File 'ext/llama_cpp/llama_cpp.c', line 604

static VALUE llama_context_params_set_n_seq_max(VALUE self, VALUE n_seq_max) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->n_seq_max = NUM2UINT(n_seq_max);
  return n_seq_max;
}

#n_threads ⇒ Integer

Returns:

  • (Integer) 


610
611
612
613
 
# File 'ext/llama_cpp/llama_cpp.c', line 610

static VALUE llama_context_params_get_n_threads(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return INT2NUM(data->n_threads);
}

#n_threads=(n_threads) ⇒ Integer

Parameters:

  • n_threads (Integer)

Returns:

  • (Integer) 


615
616
617
618
619
 
# File 'ext/llama_cpp/llama_cpp.c', line 615

static VALUE llama_context_params_set_n_threads(VALUE self, VALUE n_threads) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->n_threads = NUM2INT(n_threads);
  return n_threads;
}

#n_threads_batch ⇒ Integer

Returns:

  • (Integer) 


621
622
623
624
 
# File 'ext/llama_cpp/llama_cpp.c', line 621

static VALUE llama_context_params_get_n_threads_batch(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return INT2NUM(data->n_threads_batch);
}

#n_threads_batch=(n_threads_batch) ⇒ Integer

Parameters:

  • n_threads_batch (Integer)

Returns:

  • (Integer) 


626
627
628
629
630
 
# File 'ext/llama_cpp/llama_cpp.c', line 626

static VALUE llama_context_params_set_n_threads_batch(VALUE self, VALUE n_threads_batch) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->n_threads = NUM2INT(n_threads_batch);
  return n_threads_batch;
}

#n_ubatch ⇒ Integer

Returns:

  • (Integer) 


588
589
590
591
 
# File 'ext/llama_cpp/llama_cpp.c', line 588

static VALUE llama_context_params_get_n_ubatch(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return UINT2NUM(data->n_ubatch);
}

#n_ubatch=(n_ubatch) ⇒ Integer

Parameters:

  • n_ubatch (Integer)

Returns:

  • (Integer) 


593
594
595
596
597
 
# File 'ext/llama_cpp/llama_cpp.c', line 593

static VALUE llama_context_params_set_n_ubatch(VALUE self, VALUE n_ubatch) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->n_ubatch = NUM2UINT(n_ubatch);
  return n_ubatch;
}

#no_perf ⇒ Boolean

Returns:

  • (Boolean) 


808
809
810
811
 
# File 'ext/llama_cpp/llama_cpp.c', line 808

static VALUE llama_context_params_get_no_perf(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return data->no_perf ? Qtrue : Qfalse;
}

#no_perf=(no_perf) ⇒ Boolean

Parameters:

  • no_perf (Boolean)

Returns:

  • (Boolean) 


813
814
815
816
817
 
# File 'ext/llama_cpp/llama_cpp.c', line 813

static VALUE llama_context_params_set_no_perf(VALUE self, VALUE no_perf) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->no_perf = RTEST(no_perf) ? true : false;
  return no_perf;
}

#offload_kqv ⇒ Boolean

Returns:

  • (Boolean) 


786
787
788
789
 
# File 'ext/llama_cpp/llama_cpp.c', line 786

static VALUE llama_context_params_get_offload_kqv(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return data->offload_kqv ? Qtrue : Qfalse;
}

#offload_kqv=(offload_kqv) ⇒ Boolean

Parameters:

  • offload_kqv (Boolean)

Returns:

  • (Boolean) 


791
792
793
794
795
 
# File 'ext/llama_cpp/llama_cpp.c', line 791

static VALUE llama_context_params_set_offload_kqv(VALUE self, VALUE offload_kqv) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->offload_kqv = RTEST(offload_kqv) ? true : false;
  return offload_kqv;
}

#pooling_type ⇒ Integer

Returns:

  • (Integer) 


643
644
645
646
 
# File 'ext/llama_cpp/llama_cpp.c', line 643

static VALUE llama_context_params_get_pooling_type(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return INT2NUM(data->pooling_type);
}

#pooling_type=(pooling_type) ⇒ Integer

Parameters:

  • pooling_type (Integer)

Returns:

  • (Integer) 


648
649
650
651
652
 
# File 'ext/llama_cpp/llama_cpp.c', line 648

static VALUE llama_context_params_set_pooling_type(VALUE self, VALUE pooling_type) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->pooling_type = (enum llama_pooling_type)NUM2INT(pooling_type);
  return pooling_type;
}

#rope_freq_base ⇒ Float

Returns:

  • (Float) 


665
666
667
668
 
# File 'ext/llama_cpp/llama_cpp.c', line 665

static VALUE llama_context_params_get_rope_freq_base(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return DBL2NUM(data->rope_freq_base);
}

#rope_freq_base=(rope_freq_base) ⇒ Float

Parameters:

  • rope_freq_base (Float)

Returns:

  • (Float) 


670
671
672
673
674
 
# File 'ext/llama_cpp/llama_cpp.c', line 670

static VALUE llama_context_params_set_rope_freq_base(VALUE self, VALUE rope_freq_base) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->rope_freq_base = NUM2DBL(rope_freq_base);
  return rope_freq_base;
}

#rope_freq_scale ⇒ Float

Returns:

  • (Float) 


676
677
678
679
 
# File 'ext/llama_cpp/llama_cpp.c', line 676

static VALUE llama_context_params_get_rope_freq_scale(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return DBL2NUM(data->rope_freq_scale);
}

#rope_freq_scale=(rope_freq_scale) ⇒ Float

Parameters:

  • rope_freq_scale (Float)

Returns:

  • (Float) 


681
682
683
684
685
 
# File 'ext/llama_cpp/llama_cpp.c', line 681

static VALUE llama_context_params_set_rope_freq_scale(VALUE self, VALUE rope_freq_scale) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->rope_freq_scale = NUM2DBL(rope_freq_scale);
  return rope_freq_scale;
}

#rope_scaling_type ⇒ Integer

Returns:

  • (Integer) 


632
633
634
635
 
# File 'ext/llama_cpp/llama_cpp.c', line 632

static VALUE llama_context_params_get_rope_scaling_type(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return INT2NUM(data->rope_scaling_type);
}

#rope_scaling_type=(rope_scaling_type) ⇒ Integer

Parameters:

  • rope_scaling_type (Integer)

Returns:

  • (Integer) 


637
638
639
640
641
 
# File 'ext/llama_cpp/llama_cpp.c', line 637

static VALUE llama_context_params_set_rope_scaling_type(VALUE self, VALUE rope_scaling_type) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->rope_scaling_type = (enum llama_rope_scaling_type)NUM2INT(rope_scaling_type);
  return rope_scaling_type;
}

#type_k ⇒ Integer

Returns:

  • (Integer) 


753
754
755
756
 
# File 'ext/llama_cpp/llama_cpp.c', line 753

static VALUE llama_context_params_get_type_k(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return INT2NUM(data->type_k);
}

#type_k=(type_k) ⇒ Integer

Parameters:

  • type_k (Integer)

Returns:

  • (Integer) 


758
759
760
761
762
 
# File 'ext/llama_cpp/llama_cpp.c', line 758

static VALUE llama_context_params_set_type_k(VALUE self, VALUE type_k) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->type_k = (enum ggml_type)NUM2INT(type_k);
  return type_k;
}

#type_v ⇒ Integer

Returns:

  • (Integer) 


764
765
766
767
 
# File 'ext/llama_cpp/llama_cpp.c', line 764

static VALUE llama_context_params_get_type_v(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return INT2NUM(data->type_v);
}

#type_v=(type_v) ⇒ Integer

Parameters:

  • type_v (Integer)

Returns:

  • (Integer) 


769
770
771
772
773
 
# File 'ext/llama_cpp/llama_cpp.c', line 769

static VALUE llama_context_params_set_type_v(VALUE self, VALUE type_v) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->type_v = (enum ggml_type)NUM2INT(type_v);
  return type_v;
}

#yarn_attn_factor ⇒ Float

Returns:

  • (Float) 


698
699
700
701
 
# File 'ext/llama_cpp/llama_cpp.c', line 698

static VALUE llama_context_params_get_yarn_attn_factor(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return DBL2NUM(data->yarn_attn_factor);
}

#yarn_attn_factor=(yarn_attn_factor) ⇒ Float

Parameters:

  • yarn_attn_factor (Float)

Returns:

  • (Float) 


703
704
705
706
707
 
# File 'ext/llama_cpp/llama_cpp.c', line 703

static VALUE llama_context_params_set_yarn_attn_factor(VALUE self, VALUE yarn_attn_factor) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->yarn_attn_factor = NUM2DBL(yarn_attn_factor);
  return yarn_attn_factor;
}

#yarn_beta_fast ⇒ Float

Returns:

  • (Float) 


709
710
711
712
 
# File 'ext/llama_cpp/llama_cpp.c', line 709

static VALUE llama_context_params_get_yarn_beta_fast(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return DBL2NUM(data->yarn_beta_fast);
}

#yarn_beta_fast=(yarn_beta_fast) ⇒ Float

Parameters:

  • yarn_beta_fast (Float)

Returns:

  • (Float) 


714
715
716
717
718
 
# File 'ext/llama_cpp/llama_cpp.c', line 714

static VALUE llama_context_params_set_yarn_beta_fast(VALUE self, VALUE yarn_beta_fast) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->yarn_beta_fast = NUM2DBL(yarn_beta_fast);
  return yarn_beta_fast;
}

#yarn_beta_slow ⇒ Float

Returns:

  • (Float) 


720
721
722
723
 
# File 'ext/llama_cpp/llama_cpp.c', line 720

static VALUE llama_context_params_get_yarn_beta_slow(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return DBL2NUM(data->yarn_beta_slow);
}

#yarn_beta_slow=(yarn_beta_slow) ⇒ Float

Parameters:

  • yarn_beta_slow (Float)

Returns:

  • (Float) 


725
726
727
728
729
 
# File 'ext/llama_cpp/llama_cpp.c', line 725

static VALUE llama_context_params_set_yarn_beta_slow(VALUE self, VALUE yarn_beta_slow) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->yarn_beta_slow = NUM2DBL(yarn_beta_slow);
  return yarn_beta_slow;
}

#yarn_ext_factor ⇒ Float

Returns:

  • (Float) 


687
688
689
690
 
# File 'ext/llama_cpp/llama_cpp.c', line 687

static VALUE llama_context_params_get_yarn_ext_factor(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return DBL2NUM(data->yarn_ext_factor);
}

#yarn_ext_factor=(yarn_ext_factor) ⇒ Float

Parameters:

  • yarn_ext_factor (Float)

Returns:

  • (Float) 


692
693
694
695
696
 
# File 'ext/llama_cpp/llama_cpp.c', line 692

static VALUE llama_context_params_set_yarn_ext_factor(VALUE self, VALUE yarn_ext_factor) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->yarn_ext_factor = NUM2DBL(yarn_ext_factor);
  return yarn_ext_factor;
}

#yarn_orig_ctx ⇒ Integer

Returns:

  • (Integer) 


731
732
733
734
 
# File 'ext/llama_cpp/llama_cpp.c', line 731

static VALUE llama_context_params_get_yarn_orig_ctx(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return UINT2NUM(data->yarn_orig_ctx);
}

#yarn_orig_ctx=(yarn_orig_ctx) ⇒ Integer

Parameters:

  • yarn_orig_ctx (Integer)

Returns:

  • (Integer) 


736
737
738
739
740
 
# File 'ext/llama_cpp/llama_cpp.c', line 736

static VALUE llama_context_params_set_yarn_orig_ctx(VALUE self, VALUE yarn_orig_ctx) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->yarn_orig_ctx = NUM2UINT(yarn_orig_ctx);
  return yarn_orig_ctx;
}