Başkasının veri kümesi,başkasının puanlayıcısı.

Açık beyansayıyı aktarmadan önce okuyun

Bu sayı kör değil ve üç turdur kör değil.

İlk iki koşu kördü: çekirdek bu veri kümesini hiç görmemişti ve okumadığı kod üzerinde aldığı skor 12.5 idi. Sonraki her koşu, kıyaslamanın kendi yanlış negatifleri okunup eksik kurallar yazıldıktan sonra ölçüldü.

Eklenen kuralların tamamı, herhangi bir SAST aracının zaten içerdiği türdendir — token için zayıf PRNG, çerez bayrakları, CSRF muafiyetleri, commit'lenmiş yedek imza anahtarı, açık yönlendirme, loglara düşen kimlik bilgileri — yani hiçbiri belirli bir fixture'a göre şekillendirilmemiştir. Ancak seçim üç kez veri kümesine bakılarak yapılmıştır ve avantaj birikmektedir. 12.5 ile 61.2 arasındaki fark bu avantajın büyüklüğüdür. Görülmemiş bir kod tabanı için temkinli rakam 12.5'tir; bu ölçümün dürüst devamı, bu deponun hiç görmediği bir kıyaslamadır.

Koşu geçmişitek veri kümesi, 30 koşu

Her turun skoru ve o skorun maliyeti.

Aynı veri kümesi, aynı puanlayıcı, aynı klon. Her tur önce bir önceki çekirdeği güncel checkout üzerinde yeniden puanlıyor ve commit'lenmiş rakamlarını hane hane yeniden üretiyor; hareketi veri kümesine değil çekirdeğe bağlayan şey bu.

İlkinden sonraki her turda precision, recall ile birlikte yükseliyor. Depo bunu “bunlar kural, eğri uydurma değil” sinyali sayıyor; precision'ın düştüğü bir tur ise kuralı korumak yerine durup daraltma sinyalidir.

Referans değerler

Kıyaslamanın kendi yayımladığı rakamlara karşı.

RealVuln her kategori için en iyi bildirilen rakamı yayımlar. Aşağıdaki dört satırın üçü RealVuln'a aittir; kalın olan satır bu çekirdektir ve aynı veri kümesinde, aynı puanlayıcıyla ölçülmüştür. Bu sayfadaki her rakam puanlayıcının kendi biriminde bırakılmıştır — F3 0–100 aralığında, precision ve recall kesir olarak — böylece satırlar yayımlanmış tabloyla karşılaştırılabilir kalır. Ana sayfa aynı ölçümleri baştan sona yüzde olarak verir.

Kural tabanlı SAST'ın üzerinde, her iki metrikte de; genel amaçlı bir modelin ve amaca özel sistemin ise çok altında — ve o ikisi, bunun artık ölçülmediği biçimde ölçülmüştü. Doğru iddia “Semgrep'ten iyi” değil, “sonradan okuduğumuz bir veri kümesinde Semgrep'in üzerinde”.

Recall nereye gidiyor

Her aile, en büyük etiket havuzu önce.

Sıralama, çubuklardan daha önemli: en üstteki dört aile veri kümesindeki bütün etiketlerin yarısından fazlasını tutuyor ve bu katmanın en kötü olduğu dört aile de onlar. Bir skoru büyük havuzlar belirler, tarayıcının kolay bulduğu havuzlar değil.

• other536 / 83165%
• sensitive_data_exposure61 / 14143%
• security_misconfiguration90 / 10883%
• xss49 / 9850%
• broken_access_control2 / 763%
• missing_auth7 / 749%
• sql_injection67 / 7194%
• hardcoded_credentials25 / 5248%
• command_injection39 / 4685%
• denial_of_service31 / 4470%
• open_redirect37 / 4092%
• path_traversal23 / 3959%
• ssrf16 / 3743%
• xxe32 / 3689%
• insecure_deserialization27 / 3479%
• code_injection28 / 3093%
• xpath_injection0 / 40%
• http_header_injection0 / 10%

Desen sınıfları tavanına yakın — komut enjeksiyonu, açık yönlendirme, kod enjeksiyonu ve XXE hepsi %80'in üzerinde. Skoru belirleyen havuzlar ise desen sınıfı değil: sensitive_data_exposure ve security_misconfiguration etiketlerinin yaklaşık 130'u bir fonksiyon tanımının üzerinde duruyor — broken_access_control ve missing_auth ile aynı biçim. Bunlar başka bir kural değil, iş mantığı geçişi istiyor ve burada eklenen hiçbir kural onlara dokunmadı.

Depo bazında66 deponun 62 tanesi

Hepsi, en iyiden başlayarak — hiçbir şey bulunamayanlar dahil.

F3'e göre sıralı. İlk beş yerine tamamı yayımlanıyor; çünkü bu projenin kendi sayfasındaki ilk beş, puanlayıcı çıktısıyla karşılaştırılana kadar iki tur bayattı ve kimsenin denetlemediği bir sıralama kendini kayırır.

62 deponun 0 tanesi 0.0 aldı; ikisinde de etiketli hiçbir bulgu tespit edilmedi. Her ikisi de tablonun sonunda yer alır. Aşağıdaki gerekçe kıyaslama deposundan birebir alındığı için İngilizcedir: çevrilmiş bir kopya, kaynak değiştiğinde sessizce yanlış hâle gelirdi.

Diğer diliki koşu

JavaScript tarafı ne yapıyor — ve bunu okumadan önce ne yapıyordu.

Yukarıdaki her rakam Python'ı anlatıyor. Bu rakam JavaScript'i anlatıyor ve iki kez ölçüldü. İlk koşu kördü — bu çekirdekteki hiçbir kural o an bu kıyaslamanın etiketleri okunarak yazılmamış ya da seçilmemişti — ve 0.2286 aldı. Hiç görülmemiş kodun rakamı odur ve iyileşmez. Kör koşunun getirdiği şey bir teşhis oldu; buradaki sayı ona göre hareket edildikten sonraki sayı. İki veri kümesi hiçbir yönde kıyaslanamaz — o veri kümesi uygulamalardan, bu veri kümesi kütüphanelerden oluşuyor ve bir kütüphanenin, erişilebilirlik analizinin başlayabileceği bir istek işleyicisi yoktur.

• redos28 / 8732.2%
• prototype-pollution72 / 18538.9%
• command-injection62 / 10161.4%
• code-injection22 / 3366.7%
• path-traversal128 / 16776.6%

Kör koşu üç şey söyledi; her biri şuna dönüştü. ReDoS sıfır almıştı çünkü o analiz yalnızca Python içindi — tek bir paket çekilmeden önce yol haritasına yazıldı ki sonradan bir keşif gibi sunulamasın; artık JavaScript de okuyor ve 8/87, üstel geri izlemeyi tarif eden kriterlerin, gerçek raporların çoğunun polinomiyal olduğu bir dünyadaki dürüst karşılığı. Prototype pollution hâlâ en kötü sınıf, ama dokuzu bulan kural emekliye ayrıldı; yerine döngüyü değil yazma işlemini raporlayan bir analiz geldi. Ve dist/ ya da build/ altındaki 35 sink için "tespit hatası değil, kapsam kararı" denmişti — çekirdek artık paketin kendi manifesti oraları yayınlıyorsa okuyor, 29'u erişilebilir oldu ve ikisi bulundu. O iddia işin gurur okşayan yarısıydı ve yanlıştı.

Bu sayının söylemedikleri

Bu rakamın olmadığı üç şey.

• 1

  LLM katmanının ölçümü değil

  Tier 1, deterministik katmanın yapısal olarak ulaşamadığı sınıflara ulaşması beklenen katman. Ölçmek buradaki her depo için ücretli çıkarım gerektiriyor ve bu, backlog değil açıkça belirtilmiş bir hedef-dışı. Katman varsayılan kapalı geliyor; onun yerine iddia daraltıldı.

• 2

  JavaScript çekirdeğinin ölçümü değil

  RealVuln v1 yalnızca Python. Yapısal analizler bir JavaScript/TypeScript ön ucu kazandı; artık aynı dört soru iki dile de soruluyor ama iki cevaptan yalnızca biri başkası tarafından puanlandı. JS tarafı skor olarak değil, regresyon tabanı olarak geliyor.

• 3

  Başka bir depo hakkında bir iddia değil

  Etiketlerin çoğunu tutan aileler hâlâ sıfıra yakın olanlar ve burada eklenen hiçbir desen onlara dokunmuyor. Kasten zafiyetli uygulamalardan oluşan bir veri kümesi, üretim kod tabanının biçimi de değil — iki yönde birden.

Bunların hiçbiri sonradan eklenmiş bir çekince değil. Her biri bu ölçümün ilk koşudan beri taşıdığı bir sınır — ve aracın yazdığı rapor da kendi sınırlarını aynı şekilde belirtir.