Badania eksploracyjne

Kwartet Anscombe'a – ilustracja czterech znacząco różnych zbiorów danych, które mają identyczne podstawowe parametry opisowe (średnią arytmetyczną, wariancję, współczynnik korelacji oraz równanie regresji liniowej). Anscombe użył tego przykładu by podkreślić wagę używania graficznych reprezentacji danych.

Badania eksploracyjne (EDA, ang. exploratory data analysis) – podejście we wnioskowaniu statystycznym obejmujące opis, wizualizację i badanie zebranych danych bez potrzeby zakładania z góry hipotez badawczych. Jest wstępnym etapem procesu naukowego. Może korzystać z metod modelowania statystycznego i weryfikacji hipotez statystycznych, ale używa ich do odnajdywania, a nie potwierdzania idei. Ma ona na celu wzbogacenia wiedzy naukowej o hipotezy, które mogą nasunąć nieukierunkowana obserwacja i analizy. Badania eksploracyjne obejmują też wstępne sprawdzanie danych w celu skontrolowania założeń modeli statystycznych, lub występowania błędów w danych (np. brakujących odpowiedzi). Jest to klasyczne podejście, z którego wraz z rosnącą dostępnością komputerów wyłoniła się dziedzina komputerowej eksploracji danych (data miningu), oraz data science i big data. Eksplorację danych jako osobne podejście spopularyzował statystyk John Tukey.

Przegląd

Tukey zdefiniował analizę danych w 1961 r. jako „procedury analizowania danych, metody interpretowania wyników takich procedur, sposoby projektowania zbierania danych w celu uczynienia ich analizy łatwiejszą lub bardziej dokładną, oraz wszystkie techniki statystyczne które mogą być stosowane w badaniu danych.”

Promocja podejścia EDA była jednym z czynników stojących za dynamicznym rozwojem komputerowych pakietów statystycznych, w szczególności języka S w Laboratoriach Bella, który stał się protoplastą współczesnego języka programowania statystycznego R. Ta rodzina komputerowych środowisk statystycznych rozpowszechniła nowoczesne metody wizualizacji danych, co umożliwiło statystykom sprawniejsze rozpoznawanie w danych obserwacji odstających, oraz nieprzewidzianych trendów i wzorców, które mogą być warte dalszego zbadania.

Rozwój technik eksploracyjnych był też związany z postępem w dwóch innych obszarach statystyki: metod odpornościowych oraz statystyk nieparametrycznych, które służą uniezależnieniu wnioskowania statystycznego od wyidealizowanych modeli, i zmniejszeniu jej wrażliwości na niestandardowe postaci danych. Tukey zachęcał do korzystania z większej liczby statystyk opisowych, niż tylko średniej i odchylenia standardowego, do przedstawiania zbiorów obserwacji: minimum i maksimum, mediany i kwartyli – ponieważ charakteryzują one każdy rozkład empiryczny, i są bardziej odporne wobec wysokiej skośności lub kurtozy. Komputerowe pakiety statystyczne udostępniły także metody samowsporne (bootstrap), które są nieparametryczne i szczególnie odporne dla wielu klas problemów.

Eksploracja danych, statystyki odpornościowe i nieparametryczne, oraz rozwój języków programowania statystycznego ułatwiły pracę statystyków w wielu obszarach nauki i inżynierii, i doprowadziły do wyłonienia się odrębnych dziedzin komputerowej eksploracji danych (data mining), data science i analizowaniu big data.

Rozwój

John Tukey wyraził w opublikowanej w 1977 r. książce Exploratory Data Analysis przekonanie, że statystyka klasyczna kładzie zbyt duży nacisk na weryfikację hipotez statystycznych (badania konfirmacyjne); więcej uwagi należy, jego zdaniem, poświęcić możliwości używania danych na własnych prawach jako źródła nowych hipotez. Zauważył, że w praktyce badania o charakterze de facto eksploracyjnym są często przedstawiane, np. wskutek presji publikacyjnej, jako badania konfirmacyjne, co może prowadzić do systematycznych przekłamań wiążących się w podejściu częstościowym z testowaniem niezaplanowanych hipotez.

Cele badań eksploracyjnych obejmują:

• Proponowanie nowych hipotez o obserwowanych w danych zależnościach
• Sprawdzanie zgodności danych z założeniami modeli statystycznych
• Wybranie adekwatnego do charakteru danych zestawu narzędzi i technik analizy

Narzędzia

Badania eksploracyjne mogą korzystać z dowolnych narzędzi, ponieważ istotą tego podejścia jest stosunek do danych i hipotez. Niektóre techniki eksploracyjne to na przykład:

Wizualizacja

• Wykres punktowy
• Wykres pudełkowy
• Histogram
• Diagram Pareto

Wyszukiwanie wzorców

• Testy korelacji
• Analiza czynnikowa
• Analiza głównych składowych (PCA)
• Skalowanie wielowymiarowe
• Redukcja wymiarowości

Przykład

Odkrycia płynące z eksploracji danych są często efektem ubocznym podstawowego badania konfirmacyjnego. Przykładem może być badanie hipotezy, że liczba osób przy stoliku restauracyjnym wpływa na wielkość otrzymanego przez obsługę napiwku. Poza tymi zmiennymi, dane z badania zawierają ogólną wysokość rachunku, płeć klientów, obecność osób palących papierosy, porę dnia oraz dzień tygodnia. Test głównej hipotezy wykonany jest przy pomocy analizy regresji, która wyłania model:

napiwek = 0.18 - 0.01×liczba_osób

który sugeruje, że wysokość napiwku statystycznie maleje o 1% wraz z każdą kolejną osobą przy stoliku. Wykreślenie danych ujawnia dodatkowe potencjalne zależności, których nie przewidziano w badaniu, i które podsuwają nowe hipotezy do zbadania:

• 
  Histogram wielkości napiwków, w przedziałach wartości odpowiadających wzrostowi o $1. Rozkład wartości jest prawoskośny i unimodalny, co oznacza że napiwki są w większości niewielkie.
• 
  Histogram napiwków w przedziałach o szerokości odpowiadających wzrostowi o 10¢. Można zauważyć piki odpowiadające okrągłym liczbom, co wskazuje, że klienci mają skłonność do zaokrąglania kwot. Jest to często obserwowane i zrozumiałe zjawisko.
• 
  Wykres punktowy przedstawiający współzależność wysokości napiwków i płatności. Można byłoby oczekiwać bardziej ścisłej, liniowej zależności, jednak obserwujemy dużą zmienność.
• 
  Wykres punktowy wysokości napiwków względem rachunku, podzielony według płci i obecności palaczy. Palące osoby charakteryzuje większa zmienność wysokości napiwków. Mężczyźni płacą wyższe rachunki, a niepalące kobiety są grupą najbardziej przewidywalnie dającą napiwki.