Aktualności

Jeśli naukowcy nie udostępniają swoich danych, jak możemy im ufać?

To jest Tydzień Geek, mój biuletyn o wszystkich nerdowych rzeczach, które przykuły moją uwagę w ciągu ostatnich siedmiu dni. Oto ja, zastanawiam się nad czymś, czego do końca nie rozumiem, próbując to sobie wyobrazić: wyobrażam sobie, że tak będzie większość wydań. Jeśli chcesz otrzymywać to bezpośrednio do swojej skrzynki odbiorczej, co tydzień możesz zarejestrować się tutaj.

Jest taki mój przyjaciel, Nick Brown, który pomógł mi w kilku opowiadaniach, które napisałem przez lata. Historie są zwykle w stylu „Czy naprawdę mogę zaufać tym badaniom naukowym?”

Zauważył kilka bardzo interesujących rzeczy. Wraz z innym naukowcem, Jamesem Heathersem, wymyślili małe narzędzie o nazwie GRIM, czyli „niespójność środków związana z granulacją”. Brzmi fantazyjnie, ale jest bardzo prosty. Wyobraź sobie, że widzisz artykuł naukowy, który informuje, że badano ośmioro dzieci w wieku poniżej 10 lat, a ich średni wiek wynosił 5,33.

Można by pomyśleć, że to brzmi dobrze, ale to niemożliwe: jeśli jest ośmioro dzieci, średni wiek, zakładając, że został wprowadzony jako liczba całkowita, musi być podzielny przez osiem. Coś jest nie tak w danych.

(Jeśli zastanawiasz się, dlaczego: jeśli masz średnio osiem liczb, to musi kończyć się na 0,00, 0,125, 0,25, 0,375, 0,5, 0,625, 0,75 lub 0,875. Weź dowolne liczbę, którą lubisz i podziel ją przez osiem, a zobaczysz. I łatwo zrozumieć, dlaczego. Każda liczba całkowita podzielona przez osiem równa się tej liczbie całkowitej razy jedna ósma, a jedna ósma to 0,125, więc dowolna średnia z ośmiu liczb musi być wielokrotnością 0,125.)

W przypadku zaledwie ośmiorga dzieci byłoby to dość oczywiste. Ale GRIM pozwala to zrobić z większymi próbkami. A czasami – nie zawsze, ale czasami – niemożliwym środkiem jest wskazanie, że dane nie zostały po prostu niewłaściwie wprowadzone, ale że ktoś popełnia oszustwo. Brown i Heathers wykryli sporo przypadków.

Częściej, używając narzędzi, w tym między innymi GRIM, odkrywają, że naukowcy stosują inne złe praktyki. Słynnym – odkrytym przez Browna i Heathersa oraz moją starą koleżankę z BuzzFeed, Stephanie Lee – był naukowiec żywności z Cornell, Brian Wansink, który nie wymyślał danych, ale kroił je na różne sposoby, dopóki nie powiedział cośa następnie publikowanie artykułów z tego czegoś.

(Jeśli zastanawiasz się, dlaczego to jest złe: wyobraź sobie, że myślałem, że jedzenie marchewki sprawia, że ​​jesteś wyższy, więc wziąłem 10 osób, które jadły marchewki i 10 osób, które tego nie zrobiły, i zmierzyłem ich wzrost, i nie było dużej różnicy. Pomyślałem, co powiesz na to, że jedzenie marchewki sprawi, że będziesz bardziej imbirowa? Ale tu też nie ma różnicy. Więc próbuję, czy to wzmacnia zęby, czy twój oddech śmierdzi, i próbuję nowych rzeczy, dopóki nie stwierdzę, że moje jedzenie marchewki grupa jest przeciętnie nieco bardziej skłonna, nie wiem, cieszyć się wspinaczką itp. Dajesz sobie coraz większe szanse na znalezienie zbiegu okoliczności.)

Opcje udostępniania

W ciągu ostatnich 10 lat nauka zaczęła zdawać sobie sprawę, że ma wiele takich problemów i dlatego wiele starych badań się nie powiela (mówiłem o tym wcześniej w Tygodniu Geeków). A część sposobu, w jaki ludzie to naprawiają, polega na sprawdzaniu nawzajem swojej pracy.

Wiele czasopism wymaga teraz, aby naukowcy zamieszczali w swoich artykułach oświadczenie, że na życzenie będą udostępniać dane innym naukowcom. To nie powinno, nie sądzisz, być wielkim problemem. Wyobrażam sobie, że zdarzy się dziwny przypadek, w którym trzeba będzie uważać na dane, które można zidentyfikować – z pewnością NHS współpracował ostatnio z Benem Goldacre, aby znaleźć sposoby na wykorzystanie jej ogromnych zasobów danych pacjentów w bezpieczny i odpowiedzialny sposób. Ale jeśli zrobiłeś jakieś badanie psychologiczne na 50 studentach, żeby dowiedzieć się, czy mycie rąk sprawia, że ​​czujesz się mniej winny, czy cokolwiek, to nie powinno to stanowić problemu.

Jestem więc trochę zdenerwowany, gdy stwierdzam, że nowe badanie faktycznie sprawdziło, ilu z tych naukowców jest gotowych udostępnić swoje dane, a odpowiedź brzmi: niezbyt wielu.

Badanie, opublikowane w Journal of Clinical Epidemiology, dotyczyło ponad 3500 badań z 300 czasopism. Około 3400 z tych artykułów zawierało „oświadczenia o dostępności danych”, z czego 42 procent stwierdziło, że dane były dostępne na uzasadnione żądanie.

(Założyłem, że pozostałe 58 procent napisało „Nie możesz sprawdzić, wystarczy nam zaufać”, co byłoby godne podziwu ze względu na swoją uczciwość i bezczelność, gdyby nie zaangażowanie w otwartą naukę i poszukiwanie wiedzy Okazuje się jednak, że większość z nich opublikowała swoje dane online lub zamieściła je wszystkie w gazecie, więc nie musieli ich udostępniać.)

Naukowcy wysłali e-mailem autorów wszystkich 1792 rękopisów, w których stwierdzono, że dane będą dostępne na żądanie. Z tych 1792, łącznie 254 zadało sobie trud odpisania, a z tych 254 tylko 122 faktycznie udostępniło dane. Tak więc mniej niż 7 procent osób, które powiedziały, że podzielą się danymi, faktycznie to zrobiło.

Dzieje się tak pomimo tego, że autorzy wysyłają przypomnienia, podpisują różne umowy o zachowaniu poufności lub przekazywaniu danych i w razie potrzeby wysyłają oficjalne pisma z ich uczelni. Przeskoczyli przez niezbędne obręcze. Ale nadal mało kto udostępniał swoje dane.

(„Dwóch autorów zażądało zwrotu kosztów” i „jeden autor poprosił o współautorstwo w celu dostarczenia nam danych” to moje dwa ulubione powody, dla których niektóre dane nie zostały w rzeczywistości udostępnione).

Nie wierzyć nikomu

Problem w tym, że nauka nie jest godna zaufania. To nie to naukowcy nie są godni zaufania – lub, mówiąc inaczej, nie chodzi o to, że naukowcy są mniej godni zaufania niż ktokolwiek inny, a gdybym miał się założyć, powiedziałbym, że prawdopodobnie uzyskaliby wyniki powyżej średniej w większości rozsądnych wskaźników wiarygodności.

Chodzi o to, że nauka ma straszne bodźce: musisz publikować wiele artykułów, aby uniknąć zaległości w karierze, a czasopisma zazwyczaj publikują tylko artykuły, które dają ekscytujące pozytywne wyniki, więc masz ochotę zdobyć trochę danych i torturować je, dopóki się nie przyzna aby dostać coś, co możesz sprzedać. I robić to w kółko.

I oczywiście w rzadkich – ale nie dość rzadkich – przypadkach ludzie są skłonni do plagiatu lub po prostu do wymyślania danych.

Kiedy piszesz o nauce, jest stary frazes, który polega na pompatycznym powiedzeniu „I, jak głosi motto Royal Society, nullius w słowach – nie wierz nikomu na słowo!” To znaczy – głupi wyznawcy religii mogą ufać: „To prawda, ponieważ Biblia mówi” i tak dalej, ale my naukowcy, szukamy siebie.

Brane dosłownie, to oczywiście głupie. Ja, Tom Chivers, obecnie prowadzę kurs online Coursera w zakresie wnioskowania statystycznego (stanowczo polecam!), abym mógł w pewnym stopniu zrozumieć, co te zabawne symbole oznaczają w równaniach matematycznych, nie mogę iść i sprawdzić matematyki osób, które powiedzą, że znaleźli fale grawitacyjne.

Ale inni ludzie mogą. Jeśli ludzie z Ligo twierdzą, że znaleźli wzorce w danych, które pasują do hipotezy, że fale grawitacyjne są prawdziwe, to ktoś z, nie wiem, Cern lub Massachusetts Institute of Technology może przyjrzeć się tym danym. A potem mogą mi powiedzieć, a ja mogę zdecydować, czy im ufam. (Prawdopodobnie bym.)

Aby to zrobić, potrzebują jednak danych. Jeśli ktoś mówi, że odkrył, że, och, nie wiem, mężczyźni jedzą więcej, gdy kobiety są w pobliżu, aby zaimponować im swoim męskim jedzeniem (odkrycie Wansink), musisz być w stanie spojrzeć na te dane w aby to sprawdzić.

I wydaje się, że zbyt często tak nie jest. jako Nick Brown powiedział zrzędliwie niedawno na Twitterzepo wcześniej studiuj w następujący sposób: „Kiedy poprosisz autorów artykułów w Science® o udostępnienie swoich danych, które według czasopisma były obowiązkowe podczas przesyłania artykułu, odpowiedź bardzo często sprowadza się do GFY”. I tak, GFY oznacza to, co Twoim zdaniem oznacza.

Kącik autopromocji

W tym tygodniu trzymałem się niekontrowersyjnych tematów, takich jak długi Covid! I transkobiety w sporcie! Więc spodziewam się, że nikt mnie nie podpali ani nic.

Najpierw przyjrzałem się, jak to się dzieje, że ciągle widzimy rzeczy, które mówią: „Jeden na pięciu (lub cokolwiek) pacjentów z Covid dostanie długiego Covid”, mimo że wszyscy znamy setki osób, które miały Covid i nie czujesz, że 20 procent z nich ma długi Covid? Moja odpowiedź brzmi, że używamy różnych definicji terminu „długi Covid”.

Napisałem krótki artykuł (nieopublikowany w momencie pisania tego tekstu) o fizycznych różnicach między mężczyznami i kobietami oraz o różnicach, jakie to robi w sporcie. Nie przedstawiam żadnych propozycji politycznych – możesz wykorzystać naukę do podejmowania decyzji politycznych, ale ona nie robi ich za ciebie. Musimy jednak przyznać, że istnieją kompromisy, ponieważ transpłciowe kobiety będą miały znaczną przewagę w różnych dyscyplinach sportowych, a niektóre sportowce przydzielone do płci żeńskiej po urodzeniu stracą na niektórych miejscach w drużynach narodowych i tak dalej, a w sportach kontaktowych należy wziąć pod uwagę bezpieczeństwo. Twierdzę, że musimy przyznać się do tych rzeczy, jeśli mamy podejmować świadome decyzje.

Nerdy blogpost tygodnia: Potrafię tolerować wszystko oprócz Outgroup

W tym tygodniu pozwolę sobie na link do posta Scotta Alexandra. Jak powiedziałem wcześniej, muszę być ostrożny podczas robienia tego, ponieważ miałem taką obsesję na ich punkcie w latach 2016-17, że musiałem umieścić blokadę na moim laptopie, aby wykonać jakąkolwiek pracę. (Zablokowane strony internetowe: Twitter.com; slatestarcodex.com.)

Ten jest naprawdę jednym z tekstów, które najbardziej ukształtowały moją myśl. Chodzi o to, jak wszyscy myślimy, że jesteśmy bardzo tolerancyjnymi ludźmi, ale w rzeczywistości jesteśmy „tolerancyjni” tylko w sprawach, które tak naprawdę nam nie przeszkadzają. Prawdziwa „tolerancja” to znoszenie rzeczy nie tak jak, nie zgadzać się z. Liberałowie tacy jak ja gratulują sobie bycia bardziej „tolerancyjnymi”, ponieważ popieramy małżeństwa homoseksualne czy cokolwiek: nie tolerujemy niczego, ponieważ nie mamy żadnego problemu z małżeństwami homoseksualnymi.

Zaczyna cytując GK Chestertona:

W Chesterton Sekret Ojca Browna, ukochany szlachcic, który trzydzieści lat temu zamordował w pojedynku swego nicponia brata, dręczony poczuciem winy wraca do rodzinnego miasta. Wszyscy mieszkańcy miasta chcą mu natychmiast przebaczyć i kpią z tytularnego księdza za to, że jest gotów udzielić jedynie miarowego przebaczenia, uzależnionego od pokuty i autorefleksji. Pouczają księdza o cnotach miłosierdzia i współczucia.

Później okazuje się, że ukochany szlachcic tak naprawdę nie zabił swojego nicponia brata. Nikogo brat zabił ukochanego szlachcica (i ukradł jego tożsamość). Teraz mieszczanie chcą go zlinczować lub spalić żywcem i tylko ksiądz konsekwentnie oferuje wymierne przebaczenie, uzależnione od pokuty i autorefleksji.

Ksiądz mówi im:

„Wydaje mi się, że przebaczasz tylko te grzechy, których tak naprawdę nie uważasz za grzeszne. Wybaczasz przestępcom tylko wtedy, gdy popełniają coś, czego nie uważasz za przestępstwa, ale raczej za konwencje. Wybaczasz konwencjonalny pojedynek, tak jak wybaczasz konwencjonalny rozwód. Wybaczasz, bo nie ma nic do wybaczenia”.

Zauważa dalej, że właśnie dlatego mieszkańcy miasta mogą obłudnie uważać się za bardziej współczujących i przebaczających niż on. Rzeczywiste przebaczenie, takie, jakie kapłan musi kultywować, aby przebaczać złoczyńcom, jest naprawdę trudne. Fałszywe przebaczenie, którym mieszczanie przebaczają ludziom, których lubią, jest naprawdę łatwe, więc mogą pochwalić się nie tylko swoją wybaczającą naturą, ale także tym, że są o wiele milsi niż ci podli starzy księża, którym przebaczenie jest trudne, a wraz z nim pragną pokuty .

To długi kawałek, ale warto. Chociaż powiem, że po ponownym przeczytaniu zauważyłem, że cytuje pracę przy użyciu testu niejawnych skojarzeń, i prawdopodobnie powinieneś przyjąć to z przymrużeniem oka, ponieważ (kryzys replikacji!) tak naprawdę nie przetrwał próby czasu.

To jest Tydzień Geek, biuletyn tylko dla subskrybentów od i. Jeśli chcesz otrzymywać to bezpośrednio do swojej skrzynki odbiorczej, co tydzień możesz zarejestrować się tutaj.

Related Articles

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany.

Back to top button