Талдау: Twitter-дің краудсорсинг факт-тексеру эксперименті проблемаларды анықтайды

Пойнтер талдауы Birdwatch пайдаланушыларының жартысынан азы дереккөздерді және көптеген фактілерді тексеру жазбаларында партиялық риториканы қамтитынын көрсетті.

Twitter-дің Birdwatch алгоритмінің 14 ақпандағы нұсқасы жаңылыс ақпаратпен кейбір жазбаларды күшейтті.

5 ақпанда Twitter жалаушасын қойды даулы YouTuber Тим Пулдың жазбасы ол 2020 жылғы АҚШ президенттік сайлауының бұрмаланғанын айтты. Платформа шағымның даулы екенін және «зорлық-зомбылық қаупіне байланысты» келісімді өшіргенін атап өтті.

Бірақ, жалғасын Құс бақылаушы , әлеуметтік медиа платформасы краудсорсинг факт-чекингіндегі эксперимент , пайдаланушылардың басым көпшілігі Twitter деректерінің 14 ақпандағы талдауына сәйкес, бұл твиттің жаңылыс емес екенін айтты. Ал Birdwatch пайдаланушыларының көпшілігі құралда жоққа шығарылған шағымдарды қолдайтын бұл жазбаларды пайдалы және ақпараттылық деп тапқанын көрсетті.

«TIME ресми (sic) дереккөзіне сәйкес, көлеңкелі ұйымның жасырын қатысушыларының жақсы ұйымдастырылған тобы болған, ол сайлауды Джо Байденнің пайдасына өзгерту үшін бірге жұмыс істеген кабалға ұқсайды», - делінген бір жазбада. Пайдаланушы сілтемені қосады Time журналындағы мақала бұл шынымен де «кабал» және «конспирация» сияқты сөздерді қолданады, бұл бөліктің контексі — күшті топтар сайлаудың тұтастығын қорғау үшін сахна артында жұмыс істеді — жоғалды.

The Құс бақылау алгоритмі , ол пайдалы жазбаларды көрсетуді мақсат етеді, бұл «факт-тексеруге» 0,68 пайдалылық ұпайы тағайындалды — твиттердегі жазбалардың ең жоғарысы, алгоритм бойынша «пайдалы» деп бағаланған ескертпелердің жоғарғы 10%-ының дәл сыртында. 14 ақпан. Пайдалы бағаланған ескертпелер осы талдаудағы 2695 жазбаның шамамен 7%-ын құрады және олардың үштен екісінен азы басқа твит емес бастапқы сілтемені қамтиды.

17 ақпанда Twitter алгоритмін өзгертті және Pool твиттеріндегі жазбалар бұдан былай пайдалы деп бағаланбайды, дегенмен олар әлі де посттың астында көрсетілген . Осы өзгеріске дейін пайдалы деп санау үшін төменгі шек болды — жаңа 0,84 шекпен салыстырғанда небәрі 0,5 — және жазбаларға пайдалы деп саналу үшін жұмыста болу үшін тек үш рейтинг қажет, ретімен басымдық берілген және көк белгімен белгіленген.

Енді бұл твиттерді енгізу үшін жазба бес рейтингті көтеруі керек Birdwatch қолданбасындағы жаңа «пайдалы» қойындысы . Платформаның дерекқорындағы 2700-ге жуық жазбаның 126-сы жаңа шекті орындады — бұл 5%-дан аз. Жаңа «пайдалы» ескертулердің төрттен үшінде Twitter-ден тыс дереккөз бар.

Бұл Birdwatch моделінің алдында тұрған мәселелердің бірінің уақтылы көрінісі: кездейсоқ көрінетін адамдар тобынан алынған алгоритм шындықты дәл «бағалай» ала ма?

Birdwatch өзінің пилоттық кезеңінде 1000-нан астам қолданушымен қатысушыларға твиттерді жаңылыс деп белгілеуге және дереккөзге сілтеме жасайтын және/немесе оның неге жаңылыстыратыны туралы контекстті түсіндіретін жазба қосуға мүмкіндік береді. Содан кейін Birdwatch пайдаланушылары бұл ескертпелерді пайдалылығына қарай бағалай алады (одан кейін алгоритм өз орнын алады).

Ақырында, барлық Twitter пайдаланушылары бұл жазбаларды тікелей твиттер астынан көре алатын болады, бірақ әзірге олар тек қана сайттың белгілі бір бөлімі . Birdwatch пайдаланушылары сонымен бірге пайдалылық алгоритміне енетін бедел ұпайын жасайды.

«Birdwatch ұшқышымен біздің мақсатымыз - кез келген адам өз үлесін қоса алатын жүйе құру және бұл адамдарға пайдалы деп санайтын ақпаратты табиғи түрде арттырады», - деді Twitter өнімінің вице-президенті Кит Коулман электрондық хатта. «Біз кімнің үлес қоса алатындығы туралы ашықтық маңызды және әртүрлі топтың енгізуі арқылы ең пайдалы жазбаларды жоғарылатуға болатынына сенеміз».

Дегенмен, жүйені қарастыру факт-тексерлердің Birdwatch туралы көтерген қиындықтарын көрсетеді: пайдаланушылар арасында факт-тексеру тәжірибесінің жетіспеушілігі, ең беделді пайдаланушылардың пайдалы жазбаларын және қандай да бір жолмен ашатын алгоритмді құрудың қиындығы. пайдаланушылардың партиялық мотивациялары туралы сұрақтар.

«Әлеуметтік медиа платформаларының поляризацияланған сипатын және негізгі пайдаланушылардың платформалар ұсынатын мұндай сұрауларға кері байланыс жасаудан тартынуын ескере отырып, бұл тұжырымдарға таң қалмаймын, ал екі жақтағы уәжді пайдаланушылар платформаларды өз әңгімелерін алға жылжыту үшін шайқас алаңы ретінде көреді. басқалары», - деді Бейбарыс Өрсек, Халықаралық фактілерді тексеру желісінің директоры.

Birdwatch пайдаланушысының жазбаларының көпшілігі оңды сынайтын твиттерді «жаңылтпаш», ал сол жақты сынайтындарды «жаңылтпаш» деп белгілейді. (Мысалы, пайдаланушы «Твитте» деп белгіледі. Байден командасы Қытайға жұмсақ ” сенатор Тед Круз және Пул твиттерінен “жаңылтпаш емес” деп; кезінде Newsweek мақаласы тым оңшыл экстремистер мен GameStop дастаны туралы және твит Президент Дональд Трампты Капитолийдегі тәртіпсіздікке байланыстыру «жаңылтпаш» және «зиянды» деп белгіленді.) Ал қолданушының 82 жазбасының бестен бірінен азында дереккөз бар, олардың бірнешеуі басқа твиттер. (Бұл Birdwatch пайдаланушысы сұхбат сұрауына жауап бермеді.)

Коулман Birdwatch-ті «әртүрлі салымшылар жиынтығынан» келетін жазбаларды қарастыруға ынталандыруға болатынын айтты. Әрі қарай, рейтинг жүйесі платформаның артындағы негізгі драйвер болып табылады

«Біз бұл көптеген адамдар құнды деп санайтын жарналарды марапаттайды және ынталандырады және белгілі бір топтың немесе идеологияның Birdwatch-ты басып алу қаупін шешеді деп сенеміз», - деді Коулман. «Бұл біз ұшқышта белсенді түрде жұмыс істейтін нәрсе».

Шынында да, 17 ақпандағы өзгерістерден кейін алгоритм ең пайдалы деп танылған жазбалар бір күн бұрынғы итерацияға қарағанда анағұрлым сенімді және партиялық риториканы көрсетеді. Бірақ, 1000 пайдаланушысы және 2700-ден аз ескертпесі бар пилоттық бағдарлама үшін алгоритмді өзгерту бір нәрсе, Birdwatch барлық пайдаланушылар үшін қол жетімді болғаннан кейін алгоритмді өзгерту басқа нәрсе - және пайдаланушылар құйыла бастағанда алгоритмнің тиімділігі сақталатынын кім біледі. платформаға, мүмкін, кейбір ең жемісті ұшқыш қатысушыларының мінез-құлқын қайталайды.

«Қазір бізде масштабтаудың нақты уақыт кестесі жоқ, өйткені біз мүмкіндігінше көбірек білуге ​​және ұшқыш кішкентай болған кезде қайталауға тырысамыз», - деді Коулман. «Біз мұны қауіпсіз жасай алатындықтан және ол оқуды жақсартуға көмектесетін кезде кеңейтуді жоспарлап отырмыз».

Дегенмен, Пул твиттерінің астындағы ескертпелер сияқты, бар партизандық мысалдар немесе жаңылыстыратын ақпарат тұрақты жазбалар ретінде әлі де көрінеді.

Жалпы жазбалардың 10%-дан астамын құрайтын ең белсенді бес пайдаланушының төртеуі ең өнімді пайдаланушы сияқты белсенділікке ие. Олардың бірі Джеффри Эпштейннің өлімі ешқашан өз-өзіне қол жұмсау деп есептелмегенін айтады. Дегенмен, екінші ең өнімді құс бақылаушысы әр жазбада дереккөзге сілтеме жасайды, соның ішінде Дүниежүзілік денсаулық сақтау ұйымының сілтемелері мен FactCheck.org .

Твиттер биостарына сәйкес, ең жақсы 10 пайдаланушының ешқайсысы кәсіби фактчекерлер немесе журналист емес.

PolitiFact бас редакторы Энджи Холан электронды поштасында: «Факты тексеру - бұл ақыл-ойды қажет ететін қиын жұмыс», - деді. «Сіз шынымен назарыңызды шоғырландырып, шағымдарды анықтау үшін ақыл-ой инерциясын итермелеуіңіз керек, содан кейін оларды жоққа шығару немесе тексеру үшін ми шабуылы керек. Содан кейін іздеуді жалғастыру керек, содан кейін нәтижелерді жазу керек. Ашығын айтқанда, жағажайдағы күн емес. Ал егер факт-тексердің партиялық мотивациясы болса, бұл мұқият және біркелкі әрекетті одан сайын қиындатады ».

Мәселелеріне қарамастан, Birdwatch дәстүрлі факт-тексерушілер зиян келтіру мүмкіндігіне байланысты жіберіп алуы немесе тексермеуді таңдауы мүмкін жалған ақпаратты жалаушалайды - бұл цифрлық жалған ақпараттағы кейбір олқылықтарды толтыруға көмектеседі. кезінде ойынды тоқтату дастаны , бұл компанияның акциялары туралы жалған ақпарат платформаларға тез тарады.

Snopes және Саяси факт GameStop-қа қатысты шағымдарды бағаламады, ал Басты оқиғалар бағаланды бір Reddit жазбасы. Бірақ Birdwatch-те ең жоғары бағаланған жазба - пайдалылық ұпайы 1.00 - акция туралы әңгіме болып жатқан Reddit туралы жаңылыстыратын твиттерді белгіледі. Reddit, GameStop және Robinhood инвестициялық қосымшасы туралы 50-ге жуық ескертпелер болды, оларда осы айдың басында сауданың жоғары көлемі болды.

Ал Birdwatch пайдаланушылары Вирджиния сенаторы Аманда Чейске тиесілі екенін мәлімдеген аккаунтты жалған деп белгіледі. твиттер жазды , «... Вирджинияда бізде есірткі проблемасы бар және марихуананы заңдастыру марихуананың артық дозалануына және өлімге әкеледі...»

Краудсорсинг жалған ақпаратты анықтау арқылы кәсіби факт-тексерлердің өмірін жеңілдетеді, деді Орсек.

Коулманның айтуынша, Twitter ашықтықты сақтауға тырысады - бұл талдауға мүмкіндік берді - және платформаның болашағы туралы сарапшылардың пікірлерін біріктіреді.

«Ендірген топ мүшесімен жұмыс істеуден Чикаго университетінің RISC орталығы , тілшілермен және зерттеушілермен кері байланыс сессияларын өткізу үшін біз Twitter-ден тыс тәжірибе мен білімнің үлкен көлемін пайдалану үшін жұмыс істеп жатырмыз », - деді ол.

Холан мен Өрсек Birdwatch пайдаланушылары үшін ынталандырулар мен оқытуды ұсынады, сонымен қатар жоғары дәрежелі жазбаларды тексеру үшін кәсіби факт-тексерлерді пайдалануды ұсынады.

«Бірақ мен олардың пайдаланушылары мазмұнды тегін реттейді деп сенетін технологиялық компанияларға күмәнданамын», - деді Холан. «Пайдаланушылардың көпшілігі платформаларға өз бизнесін жүргізуге көмектесу үшін оны өздерінің жұмысы деп санамайды».