Ulaşılamayan %90
PIMA diyabet veri setinde takıntı haline getirdiğim bir hedef, 9 sprintlik sistematik bir araştırma ve onun arta kalanlarından doğan bir Python paketinin hikayesi.
Birkaç ay önce küçük bir hedefe takıldım. PIMA diyabet veri setinde %90 accuracy yakalamak istedim. Bu, 768 satırlık, 1990 öncesi toplanmış, label gürültüsü olduğu bilinen klinik bir veri. Literatürün dürüst tavanı %85-89. Yine de denemek istedim. "Yapılmayanı yap" diye düşündüm.
9 sprint, 40+ deney, 14 yeni hibrit teknik. Hepsine isim koydum. Diyalektik ML, latent alt-tip routing, conformal selective classification, başkaları. Her birini kodladım, çalıştırdım, sonucu kaydettim.
Sonra hepsinin üstüne sistematik bir test koydum. 50 farklı seed, 4 farklı threshold stratejisi. 200 deney. Tek bir tane bile %90'a yaklaşmadı. Üst sınır 0.83 çıktı, ortalama ise 0.74. Matematik açık konuştu.
PIMA verisetinde %90'a bir türlü ulaşılamıyordu. Sebep model zayıflığı değildi. Veri, label gürültüsü, sınıf örtüşmesi yüzünden istatistiksel olarak ulaşılamayan bir hedefti.
Başta hayal kırıklığı vardı. Yenildiğimi düşündüm. Sonra fark ettim ki ulaşılamadığını kanıtlamak, ulaşmaktan farklı ama eşdeğer bir bilimsel sonuç. Literatürdeki "%99 accuracy" iddialarının büyük kısmı data leakage veya seed cherry-pick'ten geliyor. Ben bunu sistematik bir şekilde gösterdim.
Sonra elimde kalanlara baktım. 14 sınıflandırıcı, deney izleme sistemi, kalibrasyon araçları, fairness denetimi, klinik raporlama. Çöpe atmak istemedim.
Yapılamayanı kanıtlamak da bir sonuçtur. Üstelik bazen ondan daha kalıcı bir şey çıkar.
İki seçeneğim vardı. Ya hepsini bir klasörde unutmak ya da başkasının da kullanabileceği bir pakete dönüştürmek. İkincisini seçtim.
clinikit böyle doğdu. Tabular makine öğrenmesi için hafif, sklearn uyumlu bir araç kiti.
- 14 hibrit sınıflandırıcı, tek pip install ile
- 5 deney protokolü, leakage ve sampling otomatik denetlenir
- Cleanlab, neighborhood conflict, LOO analizi tek modülde
- Platt, isotonic, temperature scaling kalibrasyon
- Subgroup fairness ve dokümantasyon yardımcıları
- Jinja tabanlı yapılandırılmış HTML rapor üretici
Yeni bir icat değil. Mevcut tekniklerin (Mixture of Experts, conformal prediction, co-training, label refinement) klinik araştırma odaklı bir entegrasyonu.
Hedefe ulaşmak her zaman en değerli şey değil. Bazen yolun sonunda ulaşılamadığını dürüstçe göstermek, kullandığın araçları başkasına bırakmak daha kalıcı bir iz bırakır.
clinikit'i incele: