Class: LlamaCpp::LlamaContextParams

Inherits:
Object
  • Object
show all
Defined in:
ext/llama_cpp/llama_cpp.c,
ext/llama_cpp/llama_cpp.c

Overview

“struct llama_context_params” wrapper class

Instance Method Summary collapse

Instance Method Details

#attention_type ⇒ Integer

Returns:

  • (Integer) 


609
610
611
612
 
# File 'ext/llama_cpp/llama_cpp.c', line 609

static VALUE llama_context_params_get_attention_type(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return INT2NUM(data->attention_type);
}

#attention_type=(attention_type) ⇒ Integer

Parameters:

  • attention_type (Integer)

Returns:

  • (Integer) 


614
615
616
617
618
 
# File 'ext/llama_cpp/llama_cpp.c', line 614

static VALUE llama_context_params_set_attention_type(VALUE self, VALUE attention_type) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->attention_type = (enum llama_attention_type)NUM2INT(attention_type);
  return attention_type;
}

#defrag_thold ⇒ Float

Returns:

  • (Float) 


697
698
699
700
 
# File 'ext/llama_cpp/llama_cpp.c', line 697

static VALUE llama_context_params_get_defrag_thold(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return DBL2NUM(data->defrag_thold);
}

#defrag_thold=(defrag_thold) ⇒ Float

Parameters:

  • defrag_thold (Float)

Returns:

  • (Float) 


702
703
704
705
706
 
# File 'ext/llama_cpp/llama_cpp.c', line 702

static VALUE llama_context_params_set_defrag_thold(VALUE self, VALUE defrag_thold) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->defrag_thold = NUM2DBL(defrag_thold);
  return defrag_thold;
}

#embeddings ⇒ Boolean

Returns:

  • (Boolean) 


741
742
743
744
 
# File 'ext/llama_cpp/llama_cpp.c', line 741

static VALUE llama_context_params_get_embeddings(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return data->embeddings ? Qtrue : Qfalse;
}

#embeddings=(embeddings) ⇒ Boolean

Parameters:

  • embeddings (Boolean)

Returns:

  • (Boolean) 


746
747
748
749
750
 
# File 'ext/llama_cpp/llama_cpp.c', line 746

static VALUE llama_context_params_set_embeddings(VALUE self, VALUE embeddings) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->embeddings = RTEST(embeddings) ? true : false;
  return embeddings;
}

#flash_attn ⇒ Boolean

Returns:

  • (Boolean) 


763
764
765
766
 
# File 'ext/llama_cpp/llama_cpp.c', line 763

static VALUE llama_context_params_get_flash_attn(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return data->flash_attn ? Qtrue : Qfalse;
}

#flash_attn=(flash_attn) ⇒ Boolean

Parameters:

  • flash_attn (Boolean)

Returns:

  • (Boolean) 


768
769
770
771
772
 
# File 'ext/llama_cpp/llama_cpp.c', line 768

static VALUE llama_context_params_set_flash_attn(VALUE self, VALUE flash_attn) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->flash_attn = RTEST(flash_attn) ? true : false;
  return flash_attn;
}

#logits_all ⇒ Boolean

Returns:

  • (Boolean) 


730
731
732
733
 
# File 'ext/llama_cpp/llama_cpp.c', line 730

static VALUE llama_context_params_get_logits_all(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return data->logits_all ? Qtrue : Qfalse;
}

#logits_all=(logits_all) ⇒ Boolean

Parameters:

  • logits_all (Boolean)

Returns:

  • (Boolean) 


735
736
737
738
739
 
# File 'ext/llama_cpp/llama_cpp.c', line 735

static VALUE llama_context_params_set_logits_all(VALUE self, VALUE logits_all) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->logits_all = RTEST(logits_all) ? true : false;
  return logits_all;
}

#n_batch ⇒ Integer

Returns:

  • (Integer) 


532
533
534
535
 
# File 'ext/llama_cpp/llama_cpp.c', line 532

static VALUE llama_context_params_get_n_batch(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return UINT2NUM(data->n_batch);
}

#n_batch=(n_batch) ⇒ Integer

Parameters:

  • n_batch (Integer)

Returns:

  • (Integer) 


537
538
539
540
541
 
# File 'ext/llama_cpp/llama_cpp.c', line 537

static VALUE llama_context_params_set_n_batch(VALUE self, VALUE n_batch) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->n_batch = NUM2UINT(n_batch);
  return n_batch;
}

#n_ctx ⇒ Integer

Returns:

  • (Integer) 


521
522
523
524
 
# File 'ext/llama_cpp/llama_cpp.c', line 521

static VALUE llama_context_params_get_n_ctx(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return UINT2NUM(data->n_ctx);
}

#n_ctx=(n_ctx) ⇒ Integer

Parameters:

  • n_ctx (Integer)

Returns:

  • (Integer) 


526
527
528
529
530
 
# File 'ext/llama_cpp/llama_cpp.c', line 526

static VALUE llama_context_params_set_n_ctx(VALUE self, VALUE n_ctx) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->n_ctx = NUM2UINT(n_ctx);
  return n_ctx;
}

#n_seq_max ⇒ Integer

Returns:

  • (Integer) 


554
555
556
557
 
# File 'ext/llama_cpp/llama_cpp.c', line 554

static VALUE llama_context_params_get_n_seq_max(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return UINT2NUM(data->n_seq_max);
}

#n_seq_max=(n_seq_max) ⇒ Integer

Parameters:

  • n_seq_max (Integer)

Returns:

  • (Integer) 


559
560
561
562
563
 
# File 'ext/llama_cpp/llama_cpp.c', line 559

static VALUE llama_context_params_set_n_seq_max(VALUE self, VALUE n_seq_max) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->n_seq_max = NUM2UINT(n_seq_max);
  return n_seq_max;
}

#n_threads ⇒ Integer

Returns:

  • (Integer) 


565
566
567
568
 
# File 'ext/llama_cpp/llama_cpp.c', line 565

static VALUE llama_context_params_get_n_threads(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return INT2NUM(data->n_threads);
}

#n_threads=(n_threads) ⇒ Integer

Parameters:

  • n_threads (Integer)

Returns:

  • (Integer) 


570
571
572
573
574
 
# File 'ext/llama_cpp/llama_cpp.c', line 570

static VALUE llama_context_params_set_n_threads(VALUE self, VALUE n_threads) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->n_threads = NUM2INT(n_threads);
  return n_threads;
}

#n_threads_batch ⇒ Integer

Returns:

  • (Integer) 


576
577
578
579
 
# File 'ext/llama_cpp/llama_cpp.c', line 576

static VALUE llama_context_params_get_n_threads_batch(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return INT2NUM(data->n_threads_batch);
}

#n_threads_batch=(n_threads_batch) ⇒ Integer

Parameters:

  • n_threads_batch (Integer)

Returns:

  • (Integer) 


581
582
583
584
585
 
# File 'ext/llama_cpp/llama_cpp.c', line 581

static VALUE llama_context_params_set_n_threads_batch(VALUE self, VALUE n_threads_batch) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->n_threads = NUM2INT(n_threads_batch);
  return n_threads_batch;
}

#n_ubatch ⇒ Integer

Returns:

  • (Integer) 


543
544
545
546
 
# File 'ext/llama_cpp/llama_cpp.c', line 543

static VALUE llama_context_params_get_n_ubatch(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return UINT2NUM(data->n_ubatch);
}

#n_ubatch=(n_ubatch) ⇒ Integer

Parameters:

  • n_ubatch (Integer)

Returns:

  • (Integer) 


548
549
550
551
552
 
# File 'ext/llama_cpp/llama_cpp.c', line 548

static VALUE llama_context_params_set_n_ubatch(VALUE self, VALUE n_ubatch) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->n_ubatch = NUM2UINT(n_ubatch);
  return n_ubatch;
}

#no_perf ⇒ Boolean

Returns:

  • (Boolean) 


774
775
776
777
 
# File 'ext/llama_cpp/llama_cpp.c', line 774

static VALUE llama_context_params_get_no_perf(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return data->no_perf ? Qtrue : Qfalse;
}

#no_perf=(no_perf) ⇒ Boolean

Parameters:

  • no_perf (Boolean)

Returns:

  • (Boolean) 


779
780
781
782
783
 
# File 'ext/llama_cpp/llama_cpp.c', line 779

static VALUE llama_context_params_set_no_perf(VALUE self, VALUE no_perf) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->no_perf = RTEST(no_perf) ? true : false;
  return no_perf;
}

#offload_kqv ⇒ Boolean

Returns:

  • (Boolean) 


752
753
754
755
 
# File 'ext/llama_cpp/llama_cpp.c', line 752

static VALUE llama_context_params_get_offload_kqv(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return data->offload_kqv ? Qtrue : Qfalse;
}

#offload_kqv=(offload_kqv) ⇒ Boolean

Parameters:

  • offload_kqv (Boolean)

Returns:

  • (Boolean) 


757
758
759
760
761
 
# File 'ext/llama_cpp/llama_cpp.c', line 757

static VALUE llama_context_params_set_offload_kqv(VALUE self, VALUE offload_kqv) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->offload_kqv = RTEST(offload_kqv) ? true : false;
  return offload_kqv;
}

#pooling_type ⇒ Integer

Returns:

  • (Integer) 


598
599
600
601
 
# File 'ext/llama_cpp/llama_cpp.c', line 598

static VALUE llama_context_params_get_pooling_type(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return INT2NUM(data->pooling_type);
}

#pooling_type=(pooling_type) ⇒ Integer

Parameters:

  • pooling_type (Integer)

Returns:

  • (Integer) 


603
604
605
606
607
 
# File 'ext/llama_cpp/llama_cpp.c', line 603

static VALUE llama_context_params_set_pooling_type(VALUE self, VALUE pooling_type) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->pooling_type = (enum llama_pooling_type)NUM2INT(pooling_type);
  return pooling_type;
}

#rope_freq_base ⇒ Float

Returns:

  • (Float) 


620
621
622
623
 
# File 'ext/llama_cpp/llama_cpp.c', line 620

static VALUE llama_context_params_get_rope_freq_base(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return DBL2NUM(data->rope_freq_base);
}

#rope_freq_base=(rope_freq_base) ⇒ Float

Parameters:

  • rope_freq_base (Float)

Returns:

  • (Float) 


625
626
627
628
629
 
# File 'ext/llama_cpp/llama_cpp.c', line 625

static VALUE llama_context_params_set_rope_freq_base(VALUE self, VALUE rope_freq_base) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->rope_freq_base = NUM2DBL(rope_freq_base);
  return rope_freq_base;
}

#rope_freq_scale ⇒ Float

Returns:

  • (Float) 


631
632
633
634
 
# File 'ext/llama_cpp/llama_cpp.c', line 631

static VALUE llama_context_params_get_rope_freq_scale(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return DBL2NUM(data->rope_freq_scale);
}

#rope_freq_scale=(rope_freq_scale) ⇒ Float

Parameters:

  • rope_freq_scale (Float)

Returns:

  • (Float) 


636
637
638
639
640
 
# File 'ext/llama_cpp/llama_cpp.c', line 636

static VALUE llama_context_params_set_rope_freq_scale(VALUE self, VALUE rope_freq_scale) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->rope_freq_scale = NUM2DBL(rope_freq_scale);
  return rope_freq_scale;
}

#rope_scaling_type ⇒ Integer

Returns:

  • (Integer) 


587
588
589
590
 
# File 'ext/llama_cpp/llama_cpp.c', line 587

static VALUE llama_context_params_get_rope_scaling_type(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return INT2NUM(data->rope_scaling_type);
}

#rope_scaling_type=(rope_scaling_type) ⇒ Integer

Parameters:

  • rope_scaling_type (Integer)

Returns:

  • (Integer) 


592
593
594
595
596
 
# File 'ext/llama_cpp/llama_cpp.c', line 592

static VALUE llama_context_params_set_rope_scaling_type(VALUE self, VALUE rope_scaling_type) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->rope_scaling_type = (enum llama_rope_scaling_type)NUM2INT(rope_scaling_type);
  return rope_scaling_type;
}

#type_k ⇒ Integer

Returns:

  • (Integer) 


708
709
710
711
 
# File 'ext/llama_cpp/llama_cpp.c', line 708

static VALUE llama_context_params_get_type_k(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return INT2NUM(data->type_k);
}

#type_k=(type_k) ⇒ Integer

Parameters:

  • type_k (Integer)

Returns:

  • (Integer) 


713
714
715
716
717
 
# File 'ext/llama_cpp/llama_cpp.c', line 713

static VALUE llama_context_params_set_type_k(VALUE self, VALUE type_k) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->type_k = (enum ggml_type)NUM2INT(type_k);
  return type_k;
}

#type_v ⇒ Integer

Returns:

  • (Integer) 


719
720
721
722
 
# File 'ext/llama_cpp/llama_cpp.c', line 719

static VALUE llama_context_params_get_type_v(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return INT2NUM(data->type_v);
}

#type_v=(type_v) ⇒ Integer

Parameters:

  • type_v (Integer)

Returns:

  • (Integer) 


724
725
726
727
728
 
# File 'ext/llama_cpp/llama_cpp.c', line 724

static VALUE llama_context_params_set_type_v(VALUE self, VALUE type_v) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->type_v = (enum ggml_type)NUM2INT(type_v);
  return type_v;
}

#yarn_attn_factor ⇒ Float

Returns:

  • (Float) 


653
654
655
656
 
# File 'ext/llama_cpp/llama_cpp.c', line 653

static VALUE llama_context_params_get_yarn_attn_factor(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return DBL2NUM(data->yarn_attn_factor);
}

#yarn_attn_factor=(yarn_attn_factor) ⇒ Float

Parameters:

  • yarn_attn_factor (Float)

Returns:

  • (Float) 


658
659
660
661
662
 
# File 'ext/llama_cpp/llama_cpp.c', line 658

static VALUE llama_context_params_set_yarn_attn_factor(VALUE self, VALUE yarn_attn_factor) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->yarn_attn_factor = NUM2DBL(yarn_attn_factor);
  return yarn_attn_factor;
}

#yarn_beta_fast ⇒ Float

Returns:

  • (Float) 


664
665
666
667
 
# File 'ext/llama_cpp/llama_cpp.c', line 664

static VALUE llama_context_params_get_yarn_beta_fast(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return DBL2NUM(data->yarn_beta_fast);
}

#yarn_beta_fast=(yarn_beta_fast) ⇒ Float

Parameters:

  • yarn_beta_fast (Float)

Returns:

  • (Float) 


669
670
671
672
673
 
# File 'ext/llama_cpp/llama_cpp.c', line 669

static VALUE llama_context_params_set_yarn_beta_fast(VALUE self, VALUE yarn_beta_fast) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->yarn_beta_fast = NUM2DBL(yarn_beta_fast);
  return yarn_beta_fast;
}

#yarn_beta_slow ⇒ Float

Returns:

  • (Float) 


675
676
677
678
 
# File 'ext/llama_cpp/llama_cpp.c', line 675

static VALUE llama_context_params_get_yarn_beta_slow(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return DBL2NUM(data->yarn_beta_slow);
}

#yarn_beta_slow=(yarn_beta_slow) ⇒ Float

Parameters:

  • yarn_beta_slow (Float)

Returns:

  • (Float) 


680
681
682
683
684
 
# File 'ext/llama_cpp/llama_cpp.c', line 680

static VALUE llama_context_params_set_yarn_beta_slow(VALUE self, VALUE yarn_beta_slow) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->yarn_beta_slow = NUM2DBL(yarn_beta_slow);
  return yarn_beta_slow;
}

#yarn_ext_factor ⇒ Float

Returns:

  • (Float) 


642
643
644
645
 
# File 'ext/llama_cpp/llama_cpp.c', line 642

static VALUE llama_context_params_get_yarn_ext_factor(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return DBL2NUM(data->yarn_ext_factor);
}

#yarn_ext_factor=(yarn_ext_factor) ⇒ Float

Parameters:

  • yarn_ext_factor (Float)

Returns:

  • (Float) 


647
648
649
650
651
 
# File 'ext/llama_cpp/llama_cpp.c', line 647

static VALUE llama_context_params_set_yarn_ext_factor(VALUE self, VALUE yarn_ext_factor) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->yarn_ext_factor = NUM2DBL(yarn_ext_factor);
  return yarn_ext_factor;
}

#yarn_orig_ctx ⇒ Integer

Returns:

  • (Integer) 


686
687
688
689
 
# File 'ext/llama_cpp/llama_cpp.c', line 686

static VALUE llama_context_params_get_yarn_orig_ctx(VALUE self) {
  struct llama_context_params* data = get_llama_context_params(self);
  return UINT2NUM(data->yarn_orig_ctx);
}

#yarn_orig_ctx=(yarn_orig_ctx) ⇒ Integer

Parameters:

  • yarn_orig_ctx (Integer)

Returns:

  • (Integer) 


691
692
693
694
695
 
# File 'ext/llama_cpp/llama_cpp.c', line 691

static VALUE llama_context_params_set_yarn_orig_ctx(VALUE self, VALUE yarn_orig_ctx) {
  struct llama_context_params* data = get_llama_context_params(self);
  data->yarn_orig_ctx = NUM2UINT(yarn_orig_ctx);
  return yarn_orig_ctx;
}