Tahmin doğruluğunu nasıl ölçüyoruz

Ölçütler

• nMAE, normalize ortalama mutlak hata: saatlik mutlak hataların ortalamasının kurulu güce bölümü. 100 MW’lık bir santralde %5 nMAE, tahminin ortalama bir saatte 5 MW saptığı anlamına gelir.
• nRMSE, normalize kök ortalama kare hata: nMAE gibidir ama hatalar önce karesi alınarak toplanır; büyük ıskalar daha ağır basar.
• Sapma (bias): tahmin eksi gerçekleşen üretimin ortalaması. Pozitif sapma tahminin yüksek kaldığını gösterir.
• Aralık kapsaması: gerçekleşen üretimin P10–P90 aralığına düştüğü saatlerin oranı. %80’e yakın olmalıdır.
• Dengesizlik maliyeti: sapmanın gerçekleşen dengesizlik fiyatlarıyla tutarı. Faturanıza yansıyan sayı budur.

Puanı dürüst tutan kurallar

1. Karar anında puanlama. Her tahmin zaman damgasıyla saklanır. Puan, karar anından önce, örneğin gün öncesi piyasa kapanmadan önce var olan son tahminle hesaplanır; sonradan gelen bir güncellemeyle değil.
2. Her kıyasta aynı saatler. Tahminimiz, gönderdiğiniz program ve basit kıyas tahmini tam olarak aynı saatlerde karşılaştırılır.
3. Eksik veri eksik kalır. Sayaç verisi olmayan saatler dışarıda bırakılır ve raporlanır. Asla sıfırla doldurulmaz; santralin hiç üretmediği günler, örneğin sezon boyunca kapalı bir HES, kolay başarı sayılmaz.
4. Kıyas için basit bir tahmin. Basit bir kalıcılık tahmini, yani iki gün önceki üretim, de raporlanır; hava modelinin ne kattığını görürsünüz.
5. Seçici dönem yok. Değerlendirme dönemleri sonuçlara bakılarak değil, önceden belirlenir.

Yeni bir model mevcut modelin yerini nasıl alır

Yeni modeller önce canlı modelin gölgesinde çalışır. Bir aday ancak şu koşulların hepsi sağlanırsa terfi eder:

• en az 60 günlük eğitim verisi, ayrı 14 günlük kalibrasyon dönemi ve en az iki mevsimi kapsayan üç kilitli 14 günlük test dönemi;
• karar anından önce yapılmış tahminlerle ayrı 14 günlük canlı gölge dönemi;
• hem mevcut modelden hem kıyas tahmininden en az %2 daha düşük nMAE ve bunu doğrulayan bir güven aralığı;
• hedefe yakın aralık kapsaması ve bugünkünden kötü olmayan dengesizlik maliyeti.

Kanıt sonradan zayıflarsa aday devreden çıkar, fiziksel model işine devam eder.

Neden tek bir doğruluk rakamı yayımlamıyoruz

Doğruluk teknolojiye, araziye, mevsime ve kıyas dönemine bağlıdır. Aynı tahmin sakin bir ayda çok iyi, fırtınalı bir ayda zayıf görünebilir. Tek bir manşet rakam sizin santralleriniz hakkında pek bir şey söylemez. Size kendi santrallerinizde, bu sayfadaki kurallarla hesaplanmış günlük puanları göstermeyi tercih ederiz.