Wiarygodność badań jakościowych

Szczegóły

Utworzono: 19 lutego 2008

David Silverman

Jeśli się nad tym głębiej zastanowić, to okaże się, że każdy rodzaj pisarstwa musi zawierać elementy zapewniające utrzymanie uwagi odbiorcy. Badacze korzystający z metod jakościowych muszą jednak rozstrzygnąć dylemat: czy ich celem jest jedynie zatrzymanie odbiorcy, zainteresowanie go tematem na tyle, by zechciał odwrócić następną kartkę? Czy badania jakościowe różnią się zatem od porządnego dziennikarstwa lub powieściopisarstwa? Czy jako badacze powinniśmy pragnąć czegoś więcej? Czy zatem naukowa jakość naszych badań, wiarygodność, ma w ogóle znaczenie?

Krytycy wiarygodności naukowej

W świetle wielu ujęć teoretycznych i metodologicznych może obudzić się w nas przekonanie, iż wiarygodność jest pozbawiona znaczenia i że w badaniach jakościowych znajduje zastosowanie postawa akceptująca wszystko, na co się natkniemy.

Agar (1986, s. 11) krytykuje to, co nazywa „zastanym poglądem” w nauce. Ów pogląd miałby powstać w wyniku systematycznego sprawdzania postawionych hipotez. Agar dowodzi, iż jest on nieodpowiedni w badaniach dotyczących tego, co rozgrywa się tu i teraz, wymagających zdobycia wiedzy o świecie z pierwszej ręki.

Jak na razie pogląd taki nie budzi sprzeciwu. Jak wiemy, w badaniach polegających na obserwacji, a takie właśnie przeprowadzał Agar, obserwujący nie zawsze muszą być wyposażeni we wcześniej sformułowane hipotezy. Jednakże Agar z tego truizmu wysnuwa sporny wniosek: według niego, można zrezygnować z powszechnie uznanej wiarygodności na rzecz:

Jednakże niezwykle trudnym zadaniem dla każdego czytelnika jest określenie zasięgu „intensywnego zaangażowania osobistego” badacza. Agar zdaje się oczekiwać, że na wiarę będą przyjmowane jakiekolwiek wyniki badań uzyskane na drodze owego zaangażowania.

Tymczasem, jak podkreślają Hammersley i Atkinson, paradoksalne jest dowodzenie, że środowisko badaczy wykorzystujących metody jakościowe nie jest w stanie lub nie powinno sprawdzać wyników swoich poczynań:

Co więcej, jestem przekonany, że formuła anarchii, jaką proponuje Agar, przyniosłaby naukom społecznych negatywne konsekwencje praktyczne. Po pierwsze, ograniczenie wiarygodności wyników badań jakościowych (przynajmniej w rozumieniu stereotypowym) stałoby się poręcznym narzędziem w rękach krytykujących nas badaczy, zwolenników badań ilościowych. Po drugie, zmniejszenie możliwości akumulacji wiedzy w naukach społecznych osłabiłoby ich pozycję w społeczeństwie.

Podczas gdy Agar pisze o „osobistym zaangażowaniu” badacza, wielu zwolenników metod jakościowych pragnie zaznaczyć wpływ zaangażowania i doświadczeń podmiotów badania. Takie podejście stanowi zachętę do jeszcze bardziej stanowczego odrzucenia tradycyjnej wizji naukowej wiarygodności. Przykładowo, Stanley i Wise opisują „obiektywizm” jako:

Podobnie jak wielu socjologów wyznających poglądy feministyczne, Stanley i Wise dowodzą, że znaczenie „przeżyć” jest na tyle doniosłe, iż powinny one zastąpić, podobno zmaskulinizowaną, wizję „obiektywizmu”. Dlatego też, choć metody jakościowe nadal są przez tych socjologów uważane za najwłaściwsze dla zrozumienia doświadczeń kobiet, to ich przeżycia same w sobie postrzegane są jako istotne lub „prawdziwe”. W każdym razie przyjmują oni/one, iż celem badań nie jest gromadzenie wiedzy, lecz przysłużenie się wyzwoleniu kobiet.

Na potrzeby niniejszych wyjaśnień przyjąłem i przedstawiłem stanowiska skrajne: czytelnicy zainteresowani mniej dogmatycznym podejściem feministycznym mogą skorzystać z pracy Cain (1986). Jednakże twierdzenia Stanley i Wise mają znaczenie, ponieważ prezentują założenia metodologiczne podzielane przez wielu przedstawicieli feminizmu.

Jednakże — w moim przekonaniu — wszyscy ci autorzy zbyt łatwo rezygnują z jakichkolwiek nawiązań do wiarygodności w badaniach jakościowych. Po pierwsze, nie przyjmują żadnych wyjaśnień tylko ze względu na polityczne „listy uwierzytelniające” naukowca, który takie wyjaśnienia prezentuje. Po drugie, nie powinien na nas robić aż tak wielkiego wrażenia fakt, że badacz dopuszcza do „intensywnego osobistego zaangażowania” w relacji z podmiotem analizy. Bezpośredniość oraz autentyczność mogą stanowić dobrą podstawę dla pewnych form dziennikarskich, ale badacz posługujący się metodami jakościowymi, jeśli swoją pracę traktuje poważnie, musi sprostać odmiennym wymaganiom.

Potencjalnie groźne są nie tylko konsekwencje opisanych poglądów. U ich podstaw znajdują się bowiem założenia, które w moim przekonaniu są błędne i które poddaję krytyce (inną, choć podobną krytykę znaleźć można u Hammersleya, 1992):

1. Założenie o kluczowej roli „doświadczenia” nie jest niczym nowym. W rzeczywistości było ono podstawowym wyróżnikiem XIX-wiecznej myśli romantycznej (zob. Silverman, 1989b). W niniejszej książce dowodzę (szczególnie w rozdz. 4 i podrozdz. 1.1.2), iż skoncentrowanie się jedynie na „doświadczeniu” doprowadzi do zachwiania naszej wiedzy w zakresie dotyczącym form językowych i kulturowych, organizujących to, co uważamy za „doświadczenie”.

2. Próby akumulacji wiarygodnej wiedzy leżą u podstaw każdego dialogu, a nie są standardem narzuconym przez mężczyzn. Bez umiejętności wyboru istotnych elementów w każdej wypowiedzi nasze rozmowy ograniczyłyby się do wyzwisk i zdań w rodzaju „Powtórz to!”. Wbrew obowiązującym trendom musimy odkrywać, jak dzieją się rzeczy, podczas gdy XVIII-wieczni myśliciele oświeceniowi, podkreślając władzę rozumu, szukali sposobów ucieczki przed uprzedzeniami i brakiem rozsądku.

3. Założenie, że celem badań naukowych jest emancypacja, znów łączy w jedną całość „fakt” i „wartość” (badacz jako nosiciel wartości, zagadnienie polityczne, zob. rozdz. 9). W moim przekonaniu podstawowym zadaniem badań naukowych jest tworzenie rzetelnej wiedzy. Ci, którzy twierdzą inaczej, stają się sojusznikami nazistowskiej „nauki aryjskiej” oraz „nauki socjalistycznej” Stalina.

Jeśli badania jakościowe mają podlegać ocenie pod względem ich wkładu w tworzenie wiedzy, to powinniśmy sformułować jednoznaczne, krytyczne pytania odnoszące się do każdego elementu badania. Pytania te powinny być nie mniej krytyczne i gruntowne niż te, które formułujemy w odniesieniu do wyników badań ilościowych.

Pytania kluczowe dla oceny badania

Jakakolwiek systematyczna próba opisu lub wyjaśniania, bez względu na to czy ma ona charakter jakościowy, czy też ilościowy, musi ostać się w obliczu wielu krytycznych pytań. Pobieżne zestawienie takich pytań zawiera tabela 8.1.

Tabela 8.1. Kryteria służące ocenie badania

1. Czy przyjęta metoda badawcza jest adekwatna do natury stawianych pytań?
2. Czy istnieje wyraźny związek z przyjętym kanonem wiedzy bądź teorią?
3. Czy istnieje przekonujące uzasadnienie dla określenia kryteriów, które posłużyły do wyboru badanych przypadków, gromadzenia danych oraz analizy?
4. Czy czułość przyjętych metod odpowiada potrzebom wynikającym z pytań badawczych?
5. Czy gromadzenie danych oraz ich utrwalanie były systematyczne?
6. Czy czynione są odwołania do ogólnie przyjętych metod analizy?
7. Jak systematyczna była przeprowadzona analiza?
8. Czy wokół sposobów wyboru tematów, pojęć oraz kategorii, pochodzących z zebranych danych, toczyła się należyta dyskusja?
9. Czy przedyskutowano dowody przemawiające za oraz przeciw twierdzeniom badacza?
10. Czy można przeprowadzić wyraźny podział między danymi a ich interpretacją?

Źródło: przyjęto na podstawie kryteriów ustalonych i stosowanych przez Lekarską Grupę Socjologiczną Brytyjskiego Towarzystwa Socjologicznego (British Sociological Association Medical Sociology Group), wrzesień 1996

Chociaż zbiór kryteriów przedstawionych w tabeli 8.1 opracowano z myślą o ocenie prac powstałych przy użyciu metod jakościowych, jestem przekonany, iż kryteria, które wybrałem, są w równym stopniu przydatne do ewaluacji badań ilościowych. Pokazuje to, że w zasadzie nie istnieje żaden powód, by faworyzować jakikolwiek rodzaj danych.

Tabela 8.1 stanowi swoisty przewodnik po kryteriach, które spełniać muszą wszystkie wyniki badań, o ile mają zostać uznane za wiarygodne. Pytania przedstawione w tabeli 8.1 pozwalają nam na wskazywanie tych raportów badawczych, które wydają się zawierać treści lekkie, łatwe i przyjemne oraz anegdotki, ale nie są w stanie przekonać czytelnika do swojej wiarygodności naukowej. W takich sytuacjach mamy do czynienia z tym, co określam mianem anegdotyzmu. Pojęcie to objaśnię dalej.

Ćwiczenie 8.1

Określ przedmiot badania jakościowego, który jest dla ciebie dostępny. A teraz przejdź następujące fazy:

1. Przyjrzyj się swojemu projektowi badawczemu z uwzględnieniem dziesięciu kryteriów jakościowych przedstawionych w tabeli 8.1.
2. Jeśli twój projekt badawczy nie spełnia wszystkich tych kryteriów, zastanów się, jak można go ulepszyć, by zmienić ten stan rzeczy.
3. Zastanów się, w jakim zakresie kryteria te odpowiadają przedmiotowi twoich zainteresowań. Czy istnieją dodatkowe lub inne kryteria, które chciałbyś wybrać?

Problem anegdotyzmu

Według Hugha Mehana (1979), najmocniejsza strona terenowych badań etnograficznych, tj. ich zdolność do przedstawiania złożonych opisów tła społecznego, stanowi potencjalnie również ich słabość. Mehan wskazuje trzy słabe punkty:

1. „W tradycyjnych badaniach jakościowych ujawniła się skłonność do nabierania jakości anegdotycznej. Raporty badawcze zawierają kilka wybiórczych przykładów zachowań wyselekcjonowanych na podstawie zapisków terenowych”.

2. „Badacze rzadko przedstawiają kryteria, na podstawie których dokonali wyboru przykładów, a pominęli pozostałe. W konsekwencji trudno jest określić typowość lub reprezentatywność przykładów oraz wniosków z nich wysnutych”.

3. „Raporty badawcze, przedstawione w formie tabelarycznej, zniekształcają materiał, na podstawie którego została przeprowadzona analiza. Aby tworzyć podsumowania wyników swoich poczynań, badacze wydobywają dane z nieobrobionego materiału, co powoduje, iż jego oryginalny kształt zostaje utracony. Z tego też powodu wprowadzanie odmiennych interpretacji tego samego materiału staje się niemożliwe” (tamże, s. 15, podkr. D.S.).

W świetle uwag Mehana, nawet pobieżne zapoznanie się z publikacjami, których autorzy wykorzystali metody jakościowe, może być źródłem poważnego niepokoju (Silverman, 2000, s. 283-296). Zbyt często badacze ulegają dwóm skłonnościom wskazanym przez Nigela i Jane Fieldingów (1986, s. 32):

• skłonności do wyboru danych, które pasują do idealnej (z góry przyjętej) wizji zjawiska,
• skłonności do wyboru danych zebranych w terenie, które są spektakularne, ze względu na swoją egzotykę, kosztem tych, które są mniej wyjątkowe (ale być może posiadają wartość dowodzącą).

Problemy te zwięźle zdiagnozował Bryman:

Przedstawione tu uwagi krytyczne wobec „anegdotyzmu” wskazują, iż badacze wykorzystujący metody jakościowe nie mogą czuć się zwolnieni z obowiązku wypełniania standardów, które spełniać musi każda praca, jeżeli ma zasłużyć na miano „naukowej”. Jako że pojęcie „nauki społecznej” jest często błędnie rozumiane, należy poczynić kilka uwag na temat „nauki” jako takiej, co będzie miało również kluczowe znaczenie dla pojęcia „wiarygodności”.

Czym jest nauka społeczna?

Agar oraz Stanley i Wise podzielają, wraz z tymi przedstawicielami nauk społecznych, z którymi zazwyczaj się nie zgadzają, pewne założenie. Wielu badaczy, posługujących się metodami jakościowymi, zakłada, że istnieje ogromna przepaść nie tylko między naukami przyrodniczymi a społecznymi, lecz również między jakościowymi oraz ilościowymi badaniami społecznymi.

Jednakże nie możemy nadmiernie uwypuklać różnic między badaniami jakościowymi a odmiennymi stylami badawczymi (zob. także podrozdz. 2.5 i 8.3.2). Przykładowo, Hammersley (1990) zauważa, że musimy sobie uzmysłowić, że o ile powtórzenie badań etnograficznych w tym samym otoczeniu i okolicznościach może okazać się trudne, to również w naukach przyrodniczych powtórka nie zawsze bywa prostym procesem. Dlatego też, jeżeli nie uda się uzyskać ponownie identycznych rezultatów, winą za taki stan rzeczy często obarcza się zmienność warunków laboratoryjnych oraz proceduralnych (wiąże się to z rzetelnością użytych narzędzi badawczych, zob. podrozdz. 8.2). Co więcej, jedynie zadeklarowani zwolennicy technik laboratoryjnych są skłonni zakładać, że eksperyment przeprowadzony w warunkach ściśle kontrolowanych może stanowić właściwy, a co więcej użyteczny model dla nauk społecznych.

Coraz bardziej rozpowszechniony staje się pogląd, zgodnie z którym badanie nabywa cech naukowości, gdy wykorzystywane są w nim metody odpowiednie do przedmiotu zainteresowań. Nauki społeczne są zatem w takim wymiarze naukowe, w jakim wykorzystują adekwatne metody oraz opracowują pozyskane dane w sposób ścisły, krytyczny i obiektywny. Kirk i Miller stwierdzają:

Podążając za myślą Kirka i Millera, musimy zrozumieć, że „świat nie akceptuje w równym stopniu wszystkich nadawanych mu znaczeń”. Oznacza to, iż powinniśmy przezwyciężyć pokusę wyciągania łatwych wniosków, tylko dlatego że istnieją pewne dowody, które zdają się prowadzić w interesującym nas kierunku. Wręcz przeciwnie, musimy poddać owe dowody wszelkim dostępnym próbom. Można wysnuć wniosek, że badanie jakościowe może osiągnąć wiarygodność (a co za tym idzie — uniknąć oskarżenia o anegdotyzm), o ile poczynimy wszystkie kroki w celu sfalsyfikowania wstępnych założeń, dotyczących zgromadzonych przez nas danych.

Przedstawiona metoda krytyczna jest zbliżona do tego, co Popper określa mianem racjonalizmu krytycznego. Zgodnie z tym podejściem, musimy dążyć do sfalsyfikowania naszych wstępnych przeczuć, dotyczących związków zachodzących między zjawiskami istniejącymi w naszych danych. Tylko wtedy, gdy nie możemy sfalsyfikować (lub obalić) istnienia określonych związków, mamy prawo mówić o wiedzy „obiektywnej”. Jednakże nawet wówczas nasza wiedza pozostaje czymś tymczasowym. Jest celem dla obalających dowodów pochodzących z późniejszych badań.

Popper pisze o tym w sposób następujący:

Oczywiście nie tylko badacze wykorzystujący metody jakościowe traktują poważnie krytyczną metodę Popperowską. Jedną z metod, którą posługują się zwolennicy badań ilościowych, w celu uczynienia zadość Popperowskiemu wymogowi podejmowania prób „falsyfikacji”, jest uważne wykluczanie korelacji pozornych (zob. podrozdz. 2.1).

Aby to osiągnąć, badacz musi wprowadzić nowe zmienne tak, by powstała swoista forma „analizy wielozmiennowej”, która wykazałaby istnienie wyraźnych korelacji rzeczywistych (zob. Mehan, 1979, s. 21). Dzięki takim próbom uniknięcia korelacji pozornych, przedstawiciele nauk społecznych, korzystający z metod ilościowych, mogą wykazać się praktycznymi działaniami zgodnymi z duchem krytycznych dociekań, których zwolennikiem był Popper. W dalszej części tego rozdziału, w podrozdziale 8.3, przedstawię metody, zarówno liczbowe, jak i nieliczbowe, którymi mogą posługiwać się naukowcy w trakcie badań jakościowych, a które spełniają kryterium „falsyfikowalności” Poppera.

Hammersley (1990, 1992) stwierdził, że badacz wykorzystujący metody jakościowe może przejąć w pewnym zakresie rozumowanie Poppera, dzięki wprowadzeniu tego, co nazwał „łagodną formą realizmu”. Tworzą ją trzy następujące elementy:

1. W zakresie posiadanej przez nas wiedzy trafność jest utożsamiana z pewnością, lecz niekoniecznie z przekonaniem o prawdziwości.

2. Rzeczywistość uznaje się za niezależną wobec twierdzeń badacza na jej temat.

3. Rzeczywistość jest zawsze postrzegana przez określoną perspektywę. Dlatego też nasze twierdzenia stanowią reprezentację rzeczywistości; nie odtwarzają jej (1992, s. 50-51).

Poglądy Hammersleya lokują się bliżej Popperowskiego twierdzenia o falsyfikacji niż o weryfikacji, rozumianego jako kryterium wyróżniające twierdzenia naukowe. Podobnie jak Popper, Hammersley uważa, iż roszczenie sobie prawa do uznania ważności, oparte na próbach obalenia twierdzenia, jest automatycznie podtrzymywane przez społeczność naukową, gotową „do rozwiązywania kwestii spornych na drodze poszukiwania wspólnych podstaw porozumienia” (1990, s. 63).

Dwoma pojęciami o kluczowym znaczeniu we wszelkich rozważaniach na temat wiarygodności badań naukowych są pojęcia „trafności” oraz „rzetelności”. W kolejnych częściach tego rozdziału omówię każde z nich, wskazując, jakie praktyczne znaczenie mają oba w badaniach ilościowych i jakościowych.

Artykuł jest fragmentem książki Interpretacja danych jakościowych. Opublikowano za zgodą wydawcy.

David Silverman jest brytyjskim profesorem socjologii. Autor i redaktor licznych publikacji z zakresu metodologii badań jakościowych, m.in. "Doing Qualitative Research". "Qualitative Research. Theory, Method and Practice". "Handbook of Qualitative Research Practice".

Literatura

• Agar Michael H. (1986), Speaking of Ethnography, London: Sage.
• Bryman Alan (1988), Quantity and Quality in Social Research, London: Allen und Unwin.
• Cain Maureen (1986), Realism, feminism, methodology and law, „International Journal of the Sociology of Law”, nr 14.
• Fielding Nigel, Fielding Jane L. (1986), Linking Data, London: Sage.
• Hammersley Martyn (1990), Reading Ethnographic Research: A Critical Guide, London: Longmans.
• Hammersley Martyn (1992), What’s wrong with Ethnography: Methodological Explorations, London: Routledge.
• Hammersley Martyn, Atkinson Paul (2000), Metody badań terenowych, tłum. Sławomir Dymczyk, Poznań: Wydawnictwo Zysk i S-ka.
• Kirk Jerome, Miller Marc (1986), Reliability and Validity in Qualitative Reseach, London: Sage.
• Mehan Hugh (1979), Learning Lessons: Social Organization in the Classroom, Cambridge, MA: Harvard University Press.
• Popper Karl (2002), Logika odkrycia naukowego, tłum. Urszula Niklas, Warszawa: Wydawnictwo Naukowe PWN.
• Silverman David (1989b), The impossible dreams of reformism and romanticism, w: Jaber Gubrium,
• David Silverman (red.), The Politics of Field Research: Sociology beyond Enlightenment, London: Sage.
• Silverman David (2000), Doing Qualitative Research: a Practical Handbook, London: Sage.
• Stanley Liz, Wise Sue (1983), Breaking Out: Feminist Consciousness and Feminist Research, London: Routledge.

Bądź na bieżąco! Zapisz się na nasz newsletter! (dodatkowo otrzymasz eBooka "Iluzje codzienności")

e-mail: