Do or die
Почему заявления ученых противоречивы? Почему кофе, мясо, томаты, яйцо, бананы, соль, сахар и другие продукты то называют ядом, то реабилитируют? Об этом статья-перепост ниже.
читать дальше
Если судить по заголовкам в медиа, можно ненароком подумать, что наука — это конвейер по производству сомнительных теорий про пользу (или вред) кофе. Взгляды ученых (даже на кофе) постоянно меняются, порой на противоположные, но в этом и заключается научный процесс. Кристи Эшвонден, автор сайта FiveThirtyEight, выделила три основные проблемы современной науки, а «Теории и практики» законспектировали самое главное.
Проблема № 1: Манипуляции с данными
В западной науке для этого даже придумали специальный термин — p-hacking. Итак, допустим, вы социолог, исследующий, как экономика страны меняется в зависимости от того, какая партия ею правит. Вы собираете и анализируете данные вплоть до 1948 года, но при этом держите в уме, что для того, чтобы вашу работу могли опубликовать в серьезном академическом журнале (а без этого никто в научном сообществе ее не заметит), вам надо доказать, что результат «статистически важен». Показателем этого является p, которое должно быть меньше или равно 0,05 при максимальном значении 1,0 (так уж сложилось). И вы начинаете играть с показателями. Учитывать ли в исследовании только инфляцию и ВВП или добавить курсы акций и уровень безработицы? Рассматривать ли экономические рецессии или вовсе выкинуть их из исследования? В результате в зависимости от того, как вы обойдетесь с показателями, могут получиться работы с совершенно разными результатами, но пригодные к публикации.
Значение p ничего не говорит об уровне доказательной базы, но работа обязательно должна набрать 0,05 или меньше — это доминирующий метод оценки в западной науке. Из-за этого ученые более склонны эксплуатировать так называемую степень свободы исследователя — этот термин описывает решения, которые ученым приходится принимать во время исследования. Какие наблюдения записывать, какие показатели сравнивать? Обычно это решается по ходу работы, и слишком велик соблазн пробовать разные подходы, пока не получится искомый результат.
Также не стоит забывать, что ученые — тоже люди, а значит, подвержены человеческим слабостям. Публикация работы означает славу и продвижение по карьерной лестнице, и такая ситуация вынуждает многих ученых прибегать к манипуляциям с данными. К тому же многие исследователи просто по-настоящему верят в то, что их гипотеза верна и полезна для людей. Когда психологи, придумавшие термин «степень свободы исследователя», проанализировали распределение значений p у опубликованных работ по психологии, оказалось, что у большинства было ровно 0,05 — так что, скорее всего, их авторы прибегали к манипуляциям.
Дошло до того, что в 2005 году известный стэнфордский профессор статистики Джон Йоаннидис в заключении своей работы объявил ложными результаты большинства опубликованных исследований, мотивируя это тем, что там, где люди, всегда есть множество потенциальных предрассудков, проблем и ошибок, которые мешают получить достоверный результат.
От манипуляций с данными никуда не деться, но их эффект можно предотвратить, что подтвердилось в исследовании некоммерческого Центра открытой науки. Было приглашено 29 научных коллективов, перед ними поставили задачу — выяснить, правда ли, что футбольные судьи чаще дают красные карточки чернокожим игрокам. Несмотря на то что исходные данные, вполне однозначно свидетельствующие об истинности гипотезы, у всех были одинаковыми, результаты разошлись. Двадцать коллективов подтвердили гипотезу, а остальные девять пришли к противоположному заключению. И это не стало результатом плохой работы — в исследовании участвовали высококвалифицированные аналитики, стремящиеся выяснить истинное положение дел. Просто по ходу исследования им приходилось принимать множество субъективных решений, значительно влияющих на конечный результат.
Это не значит, что наука не может приблизить нас к правде. Просто одного исследования недостаточно, чтобы найти определенный ответ или решение проблемы, — их нужно много. И тут возникает вторая проблема.
Проблема № 2: Проверка публикаций
Когда работ много, кому-то нужно выбирать из них действительно стоящие и отсеивать околонаучный мусор. Но публикации проверяются очень редко. С 2001-го по 2009 год количество отозванных работ выросло в 10 раз — многие связывают это с тем, что общий уровень исследований упал, к тому же появляется все больше журналов разного качества, где можно публиковаться. Поэтому периодически возникают казусы: в мае 2015 года было отозвано известное исследование о том, что человек может стать терпимее к гомосексуалам, если поговорит с одним из них.
Для проверки публикаций есть система обзора работ со стороны коллег. Однако те, кто вызывается оценивать научные исследования, ничего не получают взамен — несмотря на то, что это очень скрупулезная и длительная работа. К тому же систему можно обмануть: год назад выяснилось, что некоторые авторы, пользуясь уязвимостью компьютерных систем издателя, оценивали собственные работы или работы близких людей.
Ситуацию усугубляют и так называемые «издатели-хищники» с названиями вроде «Журнал продвинутых химических исследований», которые публикуют все что угодно, но за определенную плату. Например, там появилась статья за авторством Мэгги Симпсон и Эдны Крабаппл. Такие издания процветают — отчасти из-за того, насколько важна история публикаций для получения должностей и грантов.
Однако интернет меняет эту систему: появляются сайты вроде PubPeer и PubMed Commons, где ученые могут быстро проверять новые работы коллег, а блоги и социальные сети помогают распространять информацию о фальсификациях. Дискуссия о недобросовестных публикациях стала публичной. А где публичность, там и общественное мнение, что и подводит нас к третьей проблеме.
Проблема № 3: Восприятие науки
Для нас научный процесс — это прямая линия от вопроса к ответу, обязательно революционному, хотя на самом деле все не так просто. Интересные результаты бывают редко, большинство экспериментов проваливаются или оказываются неинформативными — такова природа процесса.
Для публики привлекательная ложь, основанная на некорректном исследовании, интереснее, чем заурядная правда. Так было с известными в научной среде исследованиями, провозгласившими, что витамин Е может защищать от сердечно-сосудистых заболеваний. После клинических испытаний выяснилось, что витамин Е не приносит пользы, а метаанализ показал, что в больших дозах витамин Е увеличивает вероятность смерти. При этом на первые исследования до сих пор продолжают ссылаться. То же самое было с заявлениями о том, что бета-каротин может снижать риск возникновения рака, а эстроген — предупреждать деменцию. Когда идея нравится всем и вроде бы выглядит правдиво, ее сложно изъять из общественного сознания.
Свою лепту вносят и медиа. С одной стороны, у журналистов и редакторов не всегда хватает знаний, чтобы интерпретировать исследования. С другой — никто не кликнет на заголовок «Слабое, пока еще не подтвержденное исследование демонстрирует сомнительную связь между овощами и риском заболеть раком». Вот «еда, которая помогает победить рак» — это да.
Люди любят шутить о том, что заголовки в разделах медиа, посвященных здоровью и науке, все время меняются на диаметрально противоположные: сегодня кофе полезен для здоровья, а завтра — наоборот. Но научный процесс так и работает: результаты пересматриваются, появляются новые данные и строятся новые гипотезы. Наука идет по кривой, по закрученной спирали, а не по прямой. Так что нам стоит со скепсисом относиться к сообщениям о новых исследованиях, но в то же время оставаться открытыми к изменениям курса науки. В конце концов, каждое хорошее исследование неспроста включает в себя фразу «необходимы дополнительные исследования» — нам всегда есть что изучать.
Отсюда theoryandpractice.ru/posts/15109-bystroe-chteni...
Через dok-zlo.livejournal.com/2126375.html
читать дальше
Если судить по заголовкам в медиа, можно ненароком подумать, что наука — это конвейер по производству сомнительных теорий про пользу (или вред) кофе. Взгляды ученых (даже на кофе) постоянно меняются, порой на противоположные, но в этом и заключается научный процесс. Кристи Эшвонден, автор сайта FiveThirtyEight, выделила три основные проблемы современной науки, а «Теории и практики» законспектировали самое главное.
Проблема № 1: Манипуляции с данными
В западной науке для этого даже придумали специальный термин — p-hacking. Итак, допустим, вы социолог, исследующий, как экономика страны меняется в зависимости от того, какая партия ею правит. Вы собираете и анализируете данные вплоть до 1948 года, но при этом держите в уме, что для того, чтобы вашу работу могли опубликовать в серьезном академическом журнале (а без этого никто в научном сообществе ее не заметит), вам надо доказать, что результат «статистически важен». Показателем этого является p, которое должно быть меньше или равно 0,05 при максимальном значении 1,0 (так уж сложилось). И вы начинаете играть с показателями. Учитывать ли в исследовании только инфляцию и ВВП или добавить курсы акций и уровень безработицы? Рассматривать ли экономические рецессии или вовсе выкинуть их из исследования? В результате в зависимости от того, как вы обойдетесь с показателями, могут получиться работы с совершенно разными результатами, но пригодные к публикации.
Значение p ничего не говорит об уровне доказательной базы, но работа обязательно должна набрать 0,05 или меньше — это доминирующий метод оценки в западной науке. Из-за этого ученые более склонны эксплуатировать так называемую степень свободы исследователя — этот термин описывает решения, которые ученым приходится принимать во время исследования. Какие наблюдения записывать, какие показатели сравнивать? Обычно это решается по ходу работы, и слишком велик соблазн пробовать разные подходы, пока не получится искомый результат.
Также не стоит забывать, что ученые — тоже люди, а значит, подвержены человеческим слабостям. Публикация работы означает славу и продвижение по карьерной лестнице, и такая ситуация вынуждает многих ученых прибегать к манипуляциям с данными. К тому же многие исследователи просто по-настоящему верят в то, что их гипотеза верна и полезна для людей. Когда психологи, придумавшие термин «степень свободы исследователя», проанализировали распределение значений p у опубликованных работ по психологии, оказалось, что у большинства было ровно 0,05 — так что, скорее всего, их авторы прибегали к манипуляциям.
Дошло до того, что в 2005 году известный стэнфордский профессор статистики Джон Йоаннидис в заключении своей работы объявил ложными результаты большинства опубликованных исследований, мотивируя это тем, что там, где люди, всегда есть множество потенциальных предрассудков, проблем и ошибок, которые мешают получить достоверный результат.
От манипуляций с данными никуда не деться, но их эффект можно предотвратить, что подтвердилось в исследовании некоммерческого Центра открытой науки. Было приглашено 29 научных коллективов, перед ними поставили задачу — выяснить, правда ли, что футбольные судьи чаще дают красные карточки чернокожим игрокам. Несмотря на то что исходные данные, вполне однозначно свидетельствующие об истинности гипотезы, у всех были одинаковыми, результаты разошлись. Двадцать коллективов подтвердили гипотезу, а остальные девять пришли к противоположному заключению. И это не стало результатом плохой работы — в исследовании участвовали высококвалифицированные аналитики, стремящиеся выяснить истинное положение дел. Просто по ходу исследования им приходилось принимать множество субъективных решений, значительно влияющих на конечный результат.
Это не значит, что наука не может приблизить нас к правде. Просто одного исследования недостаточно, чтобы найти определенный ответ или решение проблемы, — их нужно много. И тут возникает вторая проблема.
Проблема № 2: Проверка публикаций
Когда работ много, кому-то нужно выбирать из них действительно стоящие и отсеивать околонаучный мусор. Но публикации проверяются очень редко. С 2001-го по 2009 год количество отозванных работ выросло в 10 раз — многие связывают это с тем, что общий уровень исследований упал, к тому же появляется все больше журналов разного качества, где можно публиковаться. Поэтому периодически возникают казусы: в мае 2015 года было отозвано известное исследование о том, что человек может стать терпимее к гомосексуалам, если поговорит с одним из них.
Для проверки публикаций есть система обзора работ со стороны коллег. Однако те, кто вызывается оценивать научные исследования, ничего не получают взамен — несмотря на то, что это очень скрупулезная и длительная работа. К тому же систему можно обмануть: год назад выяснилось, что некоторые авторы, пользуясь уязвимостью компьютерных систем издателя, оценивали собственные работы или работы близких людей.
Ситуацию усугубляют и так называемые «издатели-хищники» с названиями вроде «Журнал продвинутых химических исследований», которые публикуют все что угодно, но за определенную плату. Например, там появилась статья за авторством Мэгги Симпсон и Эдны Крабаппл. Такие издания процветают — отчасти из-за того, насколько важна история публикаций для получения должностей и грантов.
Однако интернет меняет эту систему: появляются сайты вроде PubPeer и PubMed Commons, где ученые могут быстро проверять новые работы коллег, а блоги и социальные сети помогают распространять информацию о фальсификациях. Дискуссия о недобросовестных публикациях стала публичной. А где публичность, там и общественное мнение, что и подводит нас к третьей проблеме.
Проблема № 3: Восприятие науки
Для нас научный процесс — это прямая линия от вопроса к ответу, обязательно революционному, хотя на самом деле все не так просто. Интересные результаты бывают редко, большинство экспериментов проваливаются или оказываются неинформативными — такова природа процесса.
Для публики привлекательная ложь, основанная на некорректном исследовании, интереснее, чем заурядная правда. Так было с известными в научной среде исследованиями, провозгласившими, что витамин Е может защищать от сердечно-сосудистых заболеваний. После клинических испытаний выяснилось, что витамин Е не приносит пользы, а метаанализ показал, что в больших дозах витамин Е увеличивает вероятность смерти. При этом на первые исследования до сих пор продолжают ссылаться. То же самое было с заявлениями о том, что бета-каротин может снижать риск возникновения рака, а эстроген — предупреждать деменцию. Когда идея нравится всем и вроде бы выглядит правдиво, ее сложно изъять из общественного сознания.
Свою лепту вносят и медиа. С одной стороны, у журналистов и редакторов не всегда хватает знаний, чтобы интерпретировать исследования. С другой — никто не кликнет на заголовок «Слабое, пока еще не подтвержденное исследование демонстрирует сомнительную связь между овощами и риском заболеть раком». Вот «еда, которая помогает победить рак» — это да.
Люди любят шутить о том, что заголовки в разделах медиа, посвященных здоровью и науке, все время меняются на диаметрально противоположные: сегодня кофе полезен для здоровья, а завтра — наоборот. Но научный процесс так и работает: результаты пересматриваются, появляются новые данные и строятся новые гипотезы. Наука идет по кривой, по закрученной спирали, а не по прямой. Так что нам стоит со скепсисом относиться к сообщениям о новых исследованиях, но в то же время оставаться открытыми к изменениям курса науки. В конце концов, каждое хорошее исследование неспроста включает в себя фразу «необходимы дополнительные исследования» — нам всегда есть что изучать.
Отсюда theoryandpractice.ru/posts/15109-bystroe-chteni...
Через dok-zlo.livejournal.com/2126375.html
@темы: истории о медицине
-
-
26.11.2016 в 16:45как-то так
-
-
26.11.2016 в 16:59-
-
27.11.2016 в 09:56я так же стараюсь рассуждать, но кое-какие ограничения для себя ставлю, которые считаю необходимыми именно для себя
но без фанатизма и объявления истин в последней инстанции (чем часто отличается муж)
-
-
27.11.2016 в 10:39-
-
01.12.2016 в 06:02