Metodologia podstawowa Agata G całość

SAVE OFFLINE

Badania eksperymentalne

Po co w ogóle eksperymenty? zachowania Obserwacja w warunkach naturalnych OPIS

ale sam opis nie tworzy nauki

wyjaśnianie DLACZEGO?

Eksperyment

Badania ankietowe postaw i opinii

Uwaga! Nie powinno się rygorystycznie oddzielać metod eksperymentalnych od innych metod badań naukowych

Eksperyment Podjęcie działania

Eksperyment ma szczególne znaczenie i efektywność w ustalaniu związków przyczynowoskutkowych

Obserowanie skutków

Kiedy dobrze jest przeprowadzić eksperyment? •

Eksperymenty są szczególnie odpowiednie gdy chcemy testować hipotezy wyprowadzone z teorii

•

Eksperymenty koncentrują się na wyjaśnianiu związków przyczynowo-skutkowych, i dlatego bardziej nadają się do celów wyjaśniających (DLACZEGO?) niż opisowych (CO SIĘ DZIEJE?)

•

Eksperymenty w laboratorium a eksperymenty naturalne

Podstawowe właściwości eksperymentów 1. Propozycja teoretycznego procesu, postawienie hipotezy (a nie HARKing) 2. Manipulowanie jednym lub wieloma czynnikami 3. Kontrolowanie innych zmiennych niezależnych ubocznych 4. Minimalizowanie wpływu zmiennych niezależnych zakłócających na zmienną zależną 5. Pomiar (obserwacja) konsekwencji Jeśli chociaż jeden z warunków 2-5 nie jest spełniony - badanie ma charakter quasi-eksperymentalny

Przykład 1. 
 Eksperyment nad rozproszeniem odpowiedzialności Darley i Latane (1968) •

Interwencja świadka - norma odpowiedzialności a realne działania

•

Hipoteza rozproszenia odpowiedzialności: im większa jest liczba świadków, tym większe przekonanie że pomoże ktoś inny, i mniejsza faktyczna szansa że ktoś pomoże

•

Eksperyment z udziałem studentów, maskowanie

Przykład 1. 
 Eksperyment nad rozproszeniem odpowiedzialności Darley i Latane (1968) •

Interwencja świadka - norma odpowiedzialności a realne działania

•

Hipoteza rozproszenia odpowiedzialności: im większa jest liczba świadków, tym większe przekonanie że pomoże ktoś inny, i mniejsza faktyczna szansa że ktoś pomoże

•

Eksperyment z udziałem studentów, maskowanie pomoc w trakcie ataku

pomoc w kolejnych 4 minutach

100% 75% 50% 25% 0% B+5 świadków

B+2 świadków

B+1 świadek

Przykład 1. 
 Eksperyment nad rozproszeniem odpowiedzialności Darley i Latane (1968) •

Interwencja świadka - norma odpowiedzialności a realne działania

•

Hipoteza rozproszenia odpowiedzialności: im większa jest liczba świadków, tym większe przekonanie że pomoże ktoś inny, i mniejsza faktyczna szansa że ktoś pomoże

•

Eksperyment z udziałem studentów, maskowanie pomoc w trakcie ataku

pomoc w kolejnych 4 minutach

100% 75% 50% 25% 0% B+5 świadków

B+2 świadków

B+1 świadek

Przykład 1. 
 Eksperyment nad rozproszeniem odpowiedzialności Darley i Latane (1968) •

Interwencja świadka - norma odpowiedzialności a realne działania

•

Hipoteza rozproszenia odpowiedzialności: im większa jest liczba świadków, tym większe przekonanie że pomoże ktoś inny, i mniejsza faktyczna szansa że ktoś pomoże

•

Eksperyment z udziałem studentów, maskowanie pomoc w trakcie ataku

pomoc w kolejnych 4 minutach

100% 75% 50% 25% 0% B+5 świadków

B+2 świadków

B+1 świadek

Przykład 1. 
 Eksperyment nad rozproszeniem odpowiedzialności Darley i Latane (1968) •

Interwencja świadka - norma odpowiedzialności a realne działania

•

Hipoteza rozproszenia odpowiedzialności: im większa jest liczba świadków, tym większe przekonanie że pomoże ktoś inny, i mniejsza faktyczna szansa że ktoś pomoże

•

Eksperyment z udziałem studentów, maskowanie pomoc w trakcie ataku

pomoc w kolejnych 4 minutach

100% 75% 50% 25% 0% B+5 świadków

B+2 świadków

B+1 świadek

Przykład 2. Badanie artykulacji subwokalnej Haber i Haber (1982) •

Hipoteza: dorośli mówią do siebie w bezgłośny sposób, gdy czytają jakiś tekst

•

Jak to sprawdzić, skoro tego nie widać? She sells seashells by the seashore (Suchą szosą Sasza szedł)

He finds stringbeans by the small barn (Latem Jan chodzi drogą)

2.80s

2.14s

2.12s

1.79s

Cechy dobrego eksperymentu •

• •

•

Trafność wewnętrzna - kiedy mamy pewność że to manipulacja zmienną niezależną spowodowała zmianę w poziomie zmiennej zależnej Rzetelność - kiedy nasze wyniki nie są przypadkowe Wrażliwość - kiedy jesteśmy w stanie wykryć nawet niewielki wpływ zmiennej niezależnej na zmienną zależną Trafność zewnętrzna - gdy możemy uogólniać wyniki na inne osoby, sytuacje i warunki

Kontrola w eksperymencie •

Eksperymenty jako jedyna metoda badawcza pozwalają na kontrolę nad stworzonymi warunkami

•

Kontrola jest potrzebna, by można było dokonywać wnioskowania przyczynowo-skutkowego

•

Trzy warunki niezbędne do wnioskowania przyczynowoskutkowego •

współzmienność

•

porządek czasowy związku

•

eliminacja innych możliwych 
 wyjaśnień

Kontrola w eksperymencie •

Eksperymenty jako jedyna metoda badawcza pozwalają na kontrolę nad stworzonymi warunkami

•

Kontrola jest potrzebna, by można było dokonywać wnioskowania przyczynowo-skutkowego

•

Trzy warunki niezbędne do wnioskowania przyczynowoskutkowego •

współzmienność

•

porządek czasowy związku

•

eliminacja innych możliwych 
 wyjaśnień

Procedura kontroli w postaci manipulacji na przynajmniej dwóch poziomach

Kontrola w eksperymencie •

Eksperymenty jako jedyna metoda badawcza pozwalają na kontrolę nad stworzonymi warunkami

•

Kontrola jest potrzebna, by można było dokonywać wnioskowania przyczynowo-skutkowego

•

Trzy warunki niezbędne do wnioskowania przyczynowoskutkowego •

współzmienność

•

porządek czasowy związku

•

eliminacja innych możliwych 
 wyjaśnień

Procedura kontroli w postaci manipulacji na przynajmniej dwóch poziomach Procedura kontroli w postaci utrzymywania stałych warunków i równoważenia

Utrzymywanie stałych warunków

Utrzymywanie stałych warunków

Utrzymywanie stałych warunków

Utrzymywanie stałych warunków

Utrzymywanie stałych warunków

Utrzymywanie stałych warunków

•

Jeśli dwie grupy różnicowałby jeszcze inny czynnik niż manipulacja, to wyników eksperymentu nie dałoby się zinterpretować (nie byłby on trafny wewnętrznie)

•

Na czym polegało utrzymywanie stałych warunków?

•

•

Badanie Darley’a i Latane (1968)

•

Badanie Haber i Habera (1982)

Kontrolowanie istotnych czynników na stałym poziomie - nie da się kontrolować wszystkiego

Równoważenie •

•

•

Potrzebne, bo nie wszystkie czynniki które chcemy kontrolować da się utrzymać na stałym poziomie, np: • cechy osób badanych (różnice indywidualne, cechy demograficzne) • warunki badania (rano czy po południu) Co można zrobić? • selekcjonować: ↑ tr. wewn., ↓ tr. zewn. • równoważyć - by grupy nie różniły się pod względem istotnych cech Najczęściej problem równoważenia rozwiązuje się przez RANDOMIZACJĘ

Znaczenie grupy kontrolnej •

• •

Co to znaczy że grupa kontrolna jest faktycznie kontrolna? Punkt odniesienia bez żadnej manipulacji Przykłady • Derley i Latane (1968) • Vohs, Mead, Goode (2006) • Vohs, Heatherton (2001) • Sui Han (2007)

Przykład 1. Derley i Latane (1968)

Przykład 1. Derley i Latane (1968)

Przykład 1. Derley i Latane (1968)

Przykład 1. Derley i Latane (1968)

Przykład 2. Vohs, Mead i Goode (2006)

Przykład 2. Vohs, Mead i Goode (2006) 13

Figure S1: Money Screensaver used in Experiments 7 and 9

Przykład 2. Vohs, Mead i Goode (2006) 13

Figure S1: Money Screensaver used in Experiments 7 and 9

Przykład 2. Vohs, Mead i Goode (2006) 13

Figure S1: Money Screensaver used in Experiments 7 and 9

Figure S2: Fish Screensaver used in Experiments 7 and 9

14

Przykład 2. Vohs, Mead i Goode (2006) 13

Figure S1: Money Screensaver used in Experiments 7 and 9

Figure S2: Fish Screensaver used in Experiments 7 and 9

15

Figure S3: Money Poster used in Experiment 8

14

Przykład 2. Vohs, Mead i Goode (2006) 13

Figure S1: Money Screensaver used in Experiments 7 and 9

14

Figure S2: Fish Screensaver used in Experiments 7 and 9

15

Figure S3: Money Poster used in Experiment 8

Figure S5: Seascape Poster used in Experiment 8

Przykład 2. Vohs, Mead i Goode (2006) 13

Figure S1: Money Screensaver used in Experiments 7 and 9

Figure S2: Fish Screensaver used in Experiments 7 and 9

15

Figure S3: Money Poster used in Experiment 8

14

Figure S4: Flower Poster used in Experiment 8

16

Figure S5: Seascape Poster used in Experiment 8

Przykład 3. Vohs, Heatherton (2001) •

Manipulacja zagrożeniem ego

•

GE: test na inteligencję, informacja zwrotna że źle wypadli

•

GK: test na inteligencję, brak informacji zwrotnej

Przykład 4. Sui, Han (2007)

Przykład 4. Sui, Han (2007) •

Wzbudzanie dostępności konstruktu Ja niezależnego i współzależnego

•

Tekst o wycieczce

Przykład 4. Sui, Han (2007) •

Wzbudzanie dostępności konstruktu Ja niezależnego i współzależnego

•

Tekst o wycieczce •

GE 1 - 1 os. l.p. „JA”

Przykład 4. Sui, Han (2007) •

Wzbudzanie dostępności konstruktu Ja niezależnego i współzależnego

•

Tekst o wycieczce •

GE 1 - 1 os. l.p. „JA”

•

GE 2 - 1 os. l.m. „MY”

Przykład 4. Sui, Han (2007) •

Wzbudzanie dostępności konstruktu Ja niezależnego i współzależnego

•

Tekst o wycieczce •

GE 1 - 1 os. l.p. „JA”

•

GE 2 - 1 os. l.m. „MY”

•

GK - 3 os. l.p. „ON/ONA”

Przykład 5. Badania Reotisbergera i Dicksona (1939) •

Badania dotyczące warunków pracy w hali okablować central telefonicznych w Western Electric Works na przedmieściach Chicago Hawthorne w stanie Illinois

•

Manipulowanie oświetleniem, monitorowanie wydajności pracy

•

Efekt Hawthorne

Przykład 6. Badania nad skutecznością leków czy oddziaływań terapeutycznych

Przykład 6. Badania nad skutecznością leków czy oddziaływań terapeutycznych •

Co może wpłynąć na wyniki?

Przykład 6. Badania nad skutecznością leków czy oddziaływań terapeutycznych •

Co może wpłynąć na wyniki? •

Sam fakt brania udziału w badaniu

Przykład 6. Badania nad skutecznością leków czy oddziaływań terapeutycznych •

Co może wpłynąć na wyniki? •

Sam fakt brania udziału w badaniu

•

Spontaniczne wyzdrowienia

Przykład 6. Badania nad skutecznością leków czy oddziaływań terapeutycznych •

Co może wpłynąć na wyniki? •

Sam fakt brania udziału w badaniu

•

Spontaniczne wyzdrowienia

Przykład 6. Badania nad skutecznością leków czy oddziaływań terapeutycznych •

•

Co może wpłynąć na wyniki? •

Sam fakt brania udziału w badaniu

•

Spontaniczne wyzdrowienia

Jak zapobiegać?

Przykład 6. Badania nad skutecznością leków czy oddziaływań terapeutycznych •

•

Co może wpłynąć na wyniki? •

Sam fakt brania udziału w badaniu

•

Spontaniczne wyzdrowienia

Jak zapobiegać? •

Stosowanie placebo

Przykład 6. Badania nad skutecznością leków czy oddziaływań terapeutycznych •

•

Co może wpłynąć na wyniki? •

Sam fakt brania udziału w badaniu

•

Spontaniczne wyzdrowienia

Jak zapobiegać? •

Stosowanie placebo

•

Eksperyment podwójnie ślepy

Eksperyment 
 podwójnie ślepy •

Efekt badacza (Rosenthal, 1963)

•

Jak zapobiegać?

•

•

Ani osoba badana, ani osoba przeprowadzająca badanie nie wie, do której grupy należy konkretny uczestnik

•

Eksperymentator który zna hipotezy i przydział nie ma styczności z badanymi

Jak to wygląda w praktyce?

Eksperymenty w planie grup niezależnych

Plany eksperymentalne •

Plan grup niezależnych (between-subjects design)

•

Plan grup zależnych (within-subjects design)

•

Plan grup mieszanych (mixed subject design)

UWAGA: hipotezy → plan badawczy → rodzaj analizy

Przegląd planów eksperymentalnych •

jednogrupowy, z pretestem i posttestem

GZ

•

dwugrupowy, z pretestem i posttestem w obydwu grupach

GM

•

dwugrupowy, z posttestem w obydwu grupach GN

•

dwugrupowy, z pretestem w grupie kontrolnej i posttestem w grupie eksperymentalnej

•

czterogrupowy, z pretestem w pierwszej grupie kontrolnej i eksperymentalnej oraz posttestem w wszystkich grupach

GM

Najprostszy eksperyment 
 w planie grup niezależnych Plan  dwugrupowy,  z  pos1estem  w  obydwu  grupach

Sednem  badania  eksperymentalnego  w  planie  grup  niezależnych  jest  stworzenie   podobnych  (porównywalnych)  grup  na  początku  eksperymentu

Najprostszy eksperyment 
 w planie grup niezależnych Plan  dwugrupowy,  z  pos1estem  w  obydwu  grupach

próba&

Sednem  badania  eksperymentalnego  w  planie  grup  niezależnych  jest  stworzenie   podobnych  (porównywalnych)  grup  na  początku  eksperymentu

Najprostszy eksperyment 
 w planie grup niezależnych Plan  dwugrupowy,  z  pos1estem  w  obydwu  grupach

eksperymentalna, próba&

manipulacja, kontrolna,

Sednem  badania  eksperymentalnego  w  planie  grup  niezależnych  jest  stworzenie   podobnych  (porównywalnych)  grup  na  początku  eksperymentu

Najprostszy eksperyment 
 w planie grup niezależnych Plan  dwugrupowy,  z  pos1estem  w  obydwu  grupach

eksperymentalna, próba&

manipulacja, kontrolna,

Sednem  badania  eksperymentalnego  w  planie  grup  niezależnych  jest  stworzenie   podobnych  (porównywalnych)  grup  na  początku  eksperymentu

Najprostszy eksperyment 
 w planie grup niezależnych Plan  dwugrupowy,  z  pos1estem  w  obydwu  grupach

próba&

eksperymentalna,

eksperymentalna,

manipulacja,

pomiar,

kontrolna,

kontrolna,

Sednem  badania  eksperymentalnego  w  planie  grup  niezależnych  jest  stworzenie   podobnych  (porównywalnych)  grup  na  początku  eksperymentu

Najprostszy eksperyment 
 w planie grup niezależnych Plan  dwugrupowy,  z  pos1estem  w  obydwu  grupach

eksperymentalna, próba&

eksperymentalna,

manipulacja,

pomiar,

kontrolna,

kontrolna,

NHST:& =&≠&>&&&&& 0 - rozkład leptokurtyczny

•

K = 0 rozkład mezokurtyczny

•

K < 0 - rozkład platykurtyczny

0,005" 0" )100"

)50"

0"

50"

100"

150"

200"

Kurtoza 0,045"

•

Ocenia kształt rozkładu miara zagęszczenia (koncentracji) wyników wokół wartości centralnej

0,04" 0,035" 0,03" 0,025"

M"="50,"SD"="20" M"="50,"SD"="10"

0,02"

M"="50,"SD"="50"

0,015" 0,01"

•

K > 0 - rozkład leptokurtyczny

•

K = 0 rozkład mezokurtyczny

•

K < 0 - rozkład platykurtyczny

0,005" 0" )100"

)50"

0"

50"

100"

150"

200"

Skośność •

Ocenia kształt rozkładu miara asymetrii rozkładu wyników wokół wartości centralnej

•

K > 0 - rozkład prawoskośny

•

K = 0 - rozkład symetryczny

•

K < 0 - rozkład lewoskośny

Skośność •

Ocenia kształt rozkładu miara asymetrii rozkładu wyników wokół wartości centralnej

•

K > 0 - rozkład prawoskośny

•

K = 0 - rozkład symetryczny

•

K < 0 - rozkład lewoskośny

Skośność •

Ocenia kształt rozkładu miara asymetrii rozkładu wyników wokół wartości centralnej

•

K > 0 - rozkład prawoskośny

•

K = 0 - rozkład symetryczny

•

K < 0 - rozkład lewoskośny

Etap 3. Interpretacja danych •

Inaczej - konfirmacyjna analiza danych

•

Przykład: Kto wybrał wybory, A czy B? •

Dane z komisji wyborczych

•

Dane z sondaży

•

PROBLEM: nasze dane pochodzą z próby, a nie z populacji

•

ROZWIĄZANIE: Wnioskowanie statystyczne •

Testowanie istotności hipotez zerowych

•

Testowanie przedziałów ufności

Testowanie przedziałów ufności •

Przedział ufności - pewien zakres wartości, w którym z określonym poziomem ufności możemy oczekiwać pojawienia się analogicznych charakterystyk dla całej populacji

8

95%CI

7 6 5 4 papierki

8

•

Nie możemy dokładnie podać wartości jaka będzie w populacji, bo istnieje błąd próby

pieniądze 
 pieniądze 
 prawdziwe zabawkowe

99%CI

7 6 5 4 papierki

pieniądze 
 pieniądze 
 prawdziwe zabawkowe

Testowanie hipotez zerowych (1) •

Ma na celu sprawdzić, czy róznice między warunkami eksperymentalnymi są przypadkowe, czy też większe niż wynikałoby to z przypadku

•

Ma charakter •

indukcyjny - na podstawie wyników w próbie chcemy wyciągać wnioski ogólne

•

pośredni - zakładanie hipotez zerowych

Testowanie hipotez zerowych (2) •

H0: założenie że ZN nie ma żadnego wpływu na ZZ

•

Za pomocą narzędzi teorii prawdopodobieństwa oceniamy prawdopodobieństwo uzyskania takiej różnicy jak w naszym eksperymencie jeśli H0 jest prawdziwa, czyli jeśli w rzeczywistości różnic by nie było

•

Gdy jest ono wystarczająco małe, to H0 odrzucamy, a wyniki uznajemy za istotne statystycznie (odrzucamy H0)

•

Gdy nie jest ono wystarczająco małe, nie mamy podstaw do odrzucenia H0

Błędy związane z wnioskowaniem statystycznym opartym na prawdopodobieństwie Stany rzeczywiste H0 jest prawdziwa

Wyniki testowania statystycznego

Nie ma postaw do odrzucenia H0 p > alfa

Odrzucamy H0 p < alfa

OK

H0 jest fałszywa Błąd drugiego rodzaju 1-moc testu

Błąd pierwszego rodzaju p

OK

Ograniczenia testowania hipotezy zerowej •

Wynik istotny statystycznie •

to nie to samo, co wynik ważny naukowo albo mający znaczenie praktyczne

•

to nie to samo, że to wynik interpretowalny

•

nie mówi nam że H0 jest prawdziwa

•

nie mówi nam, czy eksperyment zostanie zreplikowany

Dlaczego w takim razie… •

… dalej stosuje się wnioskowanie oparte na testowaniu hipotez zerowych, skoro ma ono tyle ograniczeń?

Nie ma sensu szukać żadnej cudownej alternatywy do testowania hipotez zerowych albo innych obiektywnych metod, aby je zastąpić. One nie istnieją. (Cohen, 1995, s. 1001).

Co robić? •

Wykorzystywać różne metody analizy: graficzna analiza danych, przedziały ufności, statystyka Bayesowska

•

Szacować wielkość efektów a nie tylko podawać p

•

Ulepszać pomiar psychologiczny i konstruować takie teorie, aby hipotezy które chcemy weryfikować były bardziej konkretne

•

Uczyć się statystyki

Analiza wyników badania eksperymentalnego Zmienna zależna nominalna

Ile grup 
 (ile poziomów zmiennej niezależnej)

Dwie

Trzy lub więcej

𝜒2

𝜒2

przedziałowa/ porządkowa ilościowa

U MannWhithey’a

t Studenta dla prób niezależnych

H KruskallaWallisa

Analiza wariancji ANOVA

Wielkość efektu •

•

PROBLEM: wynik stosowania testów statystycznych (wartość p) mocno zależy od wielkości grupy badanej w eksperymencie Potrzebujemy takich miar, które będą mówiły jak silnie ZN wpływa na ZZ (wartość p nam o tym nie mówi) kobiety

mężczyźni

N = 118

t(116) = -2.22, p = 0.028

N = 2 x 118

t(234) = -3.15, p = 0.002 0

0,1

0,2

0,3

0,4

0,5

Miary wielkości efektu d Cohena

η2 ω2

R2

o ile odchyleń standardowych różnią się średnie ZZ w dwóch grupach (ZN)

mała: 0,2-0,5 średnia 0,5-0,8 duża > 0,8

% wariancji ZZ wyjaśnianej przez ZN 
 w analizie wariancji

mała: < 0,06 średnia 0,06-0,14 duża >0,14

% wariancji ZZ wyjaśnianej przez ZN 
 w analizie regresji

Co nam daje posługiwanie się wielkością efektu? •

Wiemy jak silnie ZN wpływa na ZZ, co uzupełnia testy statystyczne

•

Możemy porównywać wyniki eksperymentów z różną liczebnością grup

•

Możemy przez to szacować ogólną wielkość efektu ZN na ZZ w serii podobnych eksperymentów

Metaanaliza •

•

•

Wyniki pojedynczego (choć prawidłowo przeprowadzonego) eksperymentu nie są wystarczającą podstawą do udzielenia odpowiedzi na pytanie, czy dana prawidłowość psychologiczna istnieje Jeśli jednak wynik powtarza się w różnych sytuacjach, jesteśmy na dobrej drodze do sformułowania ogólnego prawa psychologicznego Metaanaliza to narzędzie, które umożliwia systematyczne podsumowanie wyników wielu eksperymentów badających tą samą ZN lub/i ZZ • eksperyment: analizujemy odpowiedzi osób badanych • metaanaliza: analizujemy wyniki eksperymentów