Top-p (Nucleus Sampling)
Alternatif isimler: top p, nucleus sampling, nükleus örneklemesi
Modelin bir sonraki token'ı seçerken dikkate alacağı olasılık kümesini sınırlandıran parametredir.
Top-p (örneğin 0.9), modelin yalnızca toplam olasılığı %90'a ulaşan en olası token'lar arasından örnekleme yapmasını sağlar. Temperature ile birlikte kullanılır ve genelde ikisinden birini sabitlemek daha öngörülebilir sonuç verir.
Yaratıcı görevlerde 0.9-0.95, hassas görevlerde 0.5-0.7 tipik değerlerdir. Top-p, temperature'a göre daha lokal bir kontroldür çünkü yalnızca olasılık dağılımının uç bölgelerini keser.
Sık yapılan hatalar
- Temperature ve top-p'yi birlikte agresif değiştirmek; her iki parametre etkileşince beklenmedik sonuç verir.
Sıkça sorulan sorular
Top-p mı temperature mı kullanmalı?
Birini sabitleyip diğeri ile oynamak iyi bir pratiktir. Çoğu üretim sisteminde temperature kullanılır; top-p genellikle 1.0'da bırakılır.