Seria wyników z walidacji metodą oznacza więcej, niż sugeruje sama średnia: dla laboratorium liczy się też przedział, w którym może znajdować się szukana wartość. Poziom ufności opisuje, jak często procedura wyznaczania przedziałów obejmuje prawdziwy parametr w powtarzanych próbach, ale nie mówi sam z siebie, jak precyzyjny jest pojedynczy wynik.

Poziom ufności ocenia procedurę, a szerokość przedziału mówi o precyzji
- 95% ufności oznacza długookresowe pokrycie parametru przez przedziały wyznaczane tą samą metodą.
- Wyższy poziom ufności zwykle poszerza przedział, więc nie musi oznaczać bardziej użytecznego wyniku.
- Mała liczba stopni swobody może sprawić, że standardowy współczynnik rozszerzenia k = 2 nie zapewni pokrycia bliskiego 95%.
- W laboratorium poziom ufności trzeba odczytywać razem z niepewnością pomiaru, metodą i warunkami jej zastosowania.
95% dotyczy metody, a nie szans pojedynczego przedziału
Wynik pomiaru wynosi 12,4, a raport podaje przedział od 11,8 do 13,0 przy poziomie ufności 95%. Łatwo odczytać to jako 95-procentową szansę, że prawdziwa wartość mieści się właśnie w tym przedziale. W klasycznej interpretacji częstotliwościowej chodzi jednak o własność procedury, nie o prawdopodobieństwo przypisane już obliczonym granicom.
Gdyby z tej samej populacji wielokrotnie pobierać próby i za każdym razem wyznaczać przedział w ten sam sposób, około 95% takich przedziałów obejmowałoby prawdziwy parametr. Część przedziałów go nie obejmie, nawet jeśli obliczenia wykonano poprawnie. Tak rozumie poziom ufności NIST/SEMATECH e-Handbook of Statistical Methods.
Przedział opisuje możliwe wartości parametru populacji, a nie to, gdzie znajduje się określony odsetek pojedynczych obserwacji. Uważam, że właśnie to rozróżnienie najczęściej porządkuje rozmowę o wyniku: poziom ufności dotyczy powtarzalności metody w założonych warunkach, natomiast szerokość przedziału pokazuje, jak dokładnie oszacowano parametr.
Wyższa ufność daje szerszy przedział, nie dokładniejszy pomiar
Jeśli te same dane analizujesz przy poziomie 90%, 95% i 99%, najbardziej ufny przedział będzie zwykle najszerszy. Procedura staje się bardziej zachowawcza: obejmuje więcej możliwych wartości, lecz wynik trudniej wykorzystać do rozstrzygnięcia, czy pomiar spełnia wymagany limit. Większa ufność ma więc cenę w postaci mniejszej precyzji przedziału.
Przy danych o rozkładzie normalnym i znanym odchyleniu standardowym współczynnik dla dwustronnego przedziału rośnie od około 1,645 przy 90% do 1,96 przy 95% i 2,576 przy 99%. To porównanie dotyczy tego samego błędu standardowego; przy małej próbie i nieznanym odchyleniu standardowym trzeba uwzględnić rozkład t, którego współczynnik zależy również od liczby stopni swobody.
| Sytuacja | Co z niej wynika | Jak postąpić |
|---|---|---|
| Przedział jest bardzo szeroki, mimo wysokiego poziomu ufności | Wynik obejmuje wiele możliwych wartości i może być mało przydatny do oceny limitu | Sprawdź zmienność i plan próbkowania; rozważ, czy większa liczba pomiarów jest uzasadniona |
| Przedział jest wąski, lecz próba obejmuje mało danych | Wąski zakres nie dowodzi, że założenia metody są spełnione | Zweryfikuj model, rozkład i sposób szacowania niepewności |
| Wymagany limit leży wewnątrz przedziału | Dane nie rozstrzygają jednoznacznie, po której stronie limitu znajduje się parametr | Oceń skutek błędnej decyzji i dobierz procedurę do wcześniej ustalonego kryterium |
| Porównujesz dwa osobne przedziały ufności | Samo ich nakładanie się nie jest uniwersalnym testem różnicy między wynikami | Wyznacz przedział dla różnicy lub zastosuj właściwy test dla projektu badania |
W laboratorium k = 2 może nie wystarczyć przy małej liczbie stopni swobody
W raporcie pomiarowym zapis ±2 razy niepewność standardowa bywa odczytywany jako gwarancja około 95% pokrycia. Takie przybliżenie wymaga jednak odpowiednich założeń, między innymi rozkładu normalnego i pomijalnej niepewności samej oceny niepewności standardowej.
Załącznik B do NIST Technical Note 1297 wskazuje, że gdy efektywna liczba stopni swobody wynosi 8, współczynnik dla pokrycia bliskiego 95% to 2,3, a nie 2,0. Jeśli w konkretnym zastosowaniu użyje się k = 2, przedział może być zbyt wąski względem wymaganego poziomu ufności. To rozróżnienie jest szczególnie przydatne przy wynikach opartych na ograniczonej liczbie powtórzeń.
Efektywna liczba stopni swobody uwzględnia niepewność łączną i jej składowe, dlatego nie zawsze odpowiada po prostu liczbie replik minus jeden. Gdy jest mała, dobór współczynnika rozszerzenia powinien uwzględniać rozkład t oraz sposób oszacowania składników niepewności. Sam zapis „k = 2” nie wystarcza, by ocenić pokrycie.
Poziom ufności nie zastępuje specyfikacji metody pomiarowej
Wyobraź sobie wynik kalibracji, w którym wartość wynosi 100,02147 g, a rozszerzona niepewność to 0,00079 g. W przykładzie opisanym przez NIST ten przedział wiąże się z poziomem ufności około 95%, ponieważ współczynnik 2,26 wyznaczono z rozkładu t dla 9 stopni swobody. To nie jest automatycznie właściwy współczynnik dla każdego pomiaru, lecz ilustracja, dlaczego liczba stopni swobody i przyjęty model powinny być czytelne w raporcie.
NIST Technical Note 1297, sekcja o raportowaniu niepewności zwraca uwagę także na to, że niepewność podana przez laboratorium kalibracyjne nie musi uwzględniać zmian powstałych później, na przykład podczas transportu wzorca lub jego używania w innym laboratorium. W praktyce wynik kalibracji może wymagać osobnej oceny warunków, w jakich wzorzec jest dalej stosowany.
Dlatego w dokumentacji sprawdź, czy podano wynik, niepewność standardową lub rozszerzoną, współczynnik pokrycia oraz informację o poziomie ufności, jeśli została ustalona. W laboratorium wyposażonym w kilka stanowisk pomiarowych dodatkowe znaczenie mają warunki otoczenia, procedura i sposób przenoszenia wzorców. Bez tych informacji sam procent może dawać pozór precyzji.
Najpierw ustal decyzję, dopiero potem dobierz poziom ufności
Dobór poziomu ufności powinien wynikać z konsekwencji błędu i celu analizy. Gdy wynik służy do oszacowania średniej, przydatny może być standardowy poziom raportowania; gdy decyzja dotyczy przekroczenia limitu bezpieczeństwa lub zgodności, potrzebujesz procedury dopasowanej do takiego rozstrzygnięcia. Nie wybieraj poziomu wyłącznie dlatego, że jest powszechnie stosowany.
Przy porównywaniu dwóch partii nie wyciągaj wniosku o różnicy tylko z tego, czy ich osobne przedziały ufności się nakładają. Dla decyzji o zmianie procesu lepiej analizować przedział dla różnicy między partiami, uwzględniając projekt badania i zmienność pomiaru. Dzięki temu odpowiedź odnosi się bezpośrednio do pytania: jak duża może być zmiana, a nie tylko czy dwa osobne oszacowania wyglądają podobnie.
Jeden procent nie opowie całej historii wyniku
Przy odczycie wyniku zachowaj prostą kolejność: ustal, jaki parametr oszacowano, sprawdź przedział i jego szerokość, a następnie przejrzyj założenia metody oraz niepewność pomiaru. Poziom ufności opisuje zachowanie procedury przy powtarzaniu analizy; wiarygodność zastosowania zależy również od danych i tego, czy metoda pasuje do decyzji.
Jeśli raport podaje wyłącznie „95%”, bez informacji o przedziale, współczynniku lub założeniach, sam procent nie wystarczy do oceny precyzji wyniku. Właśnie wtedy liczba, która wygląda na jednoznaczną, wymaga najważniejszego pytania: co dokładnie obejmuje i jak wyznaczono jej granice?