Metodoloji
Gürültüyü başarı diye satmayız
Yapay zekâ cevapları her seferinde değişir. Bu yüzden ölçümümüzün nasıl yapıldığını, neyi söyleyip neyi söyleyemediğini açıkça yazıyoruz.
Örneklem büyüdükçe aralık daralır
Kaydırıcıyı oynatın: aynı oran, farklı soru sayısı. Az soruda aralık geniştir ve “fark var” demek için erkendir; çok azsa aralık hiç verilmez.
6 sorunun 4 tanesinde anıldı. Aralık genişliği: 60 puan. Henüz geniş: küçük farkları yorumlamayız.
Gösterim amaçlı sabit oran (%60) ve basit oran aralığı. Gerçek ölçüm, aynı promptun tekrarlarını bağımsız saymaz (prompt-kümeli bootstrap) ve eşleştirilmiş farkla karşılaştırır.
Dört temel kural
01
Neden en az 3 kez?
Yapay zekâ cevapları olasılıksaldır: aynı soru farklı zamanlarda farklı marka listeleri üretir. Tek bir cevap bir örnektir, ölçüm değildir. Her soru × her sistem en az 3 kez çalıştırılır; sonuç bu tekrarların toplamıdır.
02
Güven aralığı nasıl okunur?
Görünürlük payı, markanın anıldığı cevapların oranıdır. Aralık, bu oranın örneklem büyüklüğüne göre ne kadar oynayabileceğini gösterir. Dar aralık güçlü kanıttır; geniş aralık “henüz emin değiliz” demektir. Aralıklar örtüşmüyorsa fark güçlü bir işarettir; örtüşüyorsa fark kanıtlanmamıştır. Karşılaştırmalar prompt başına eşleştirilmiş farkla yapılır.
03
Deney nasıl doğrulanır?
Değişiklikten önce hedef ve kontrol soruları kaydedilir. Kontrol soruları değişiklikten etkilenmemesi beklenen sorulardır; sistemlerin kendiliğinden değişimini yakalamak için kullanılır. Değerlendirme bir kez yapılır; fark kontrol grubundan ayırt edilemiyorsa iyileşme sayılmaz.
04
API ölçümünün sınırı
Ölçümler sistemlerin resmî API’leriyle yapılır. Kişiselleştirme, konum, sürüm ve oturum geçmişi tüketici arayüzündeki cevabı değiştirebilir; bu yüzden sonuçlar “API tabanlı ölçüm” diye etiketlenir ve arayüzle birebir eşleşme iddia edilmez.
Tek seferlik bakış ile BrandPick
| Konu | Tek seferlik bakış | BrandPick |
|---|---|---|
| Örnekleme | Bir soru, bir cevap | Her soru her sistemde en az 3 kez |
| Sonuç | “Bizi andı / anmadı” | Yüzde ve %95 güven aralığı |
| Kıyas | Rakiple gözle karşılaştırma | Aynı sorularda payların yan yana ölçümü |
| Neden? | Tahmin | Kaynak, atıf ve sağlayıcı farkıyla açıklanmış açıklar |
| Etki | “Bir şey yaptık, sanki düzeldi” | Önceden kayıtlı deney, kontrol sorularıyla |
Erken erişim için sıraya girin
BrandPick özel erken erişimde. Sıra geldiğinde size yazarız.