Обществото на черната кутия

– Какво разбирате под „общество на черната кутия“?

– Тук се крие двоен смисъл. Черната кутия като система за непрекъснато наблюдение и черната кутия като термин, използван от програмистите – вид система, чието вътрешно функциониране е неизвестно.

– Мислехте ли за „Китайска стая“ на Джон Сърл, когато писахте книгата?

– Много интересен въпрос. Разбира се, бях чел Сърл, но преди доста време, и не ми е хрумвало това сравнение, макар че аргументите ни са сходни.

Вчера говорих с един от служителите на Google и той спореше с мен, казвайки, че никой в ​​Google не разбира как в действителност работят неговите алгоритми. Разбира се, аз не го вярвам, но да допуснем, че е така – в този случай това е нещо много страшно, нещо като в „2001: Космическа Одисея“ на Кубрик. И да, това напомня за китайската стая на Сърл: алгоритмите ни манипулират без никакво човешко участие. Още германският медиен теоретик Фридрих Китлер писа за това, че интернет и новите медии са се превърнали в една платформа, където машини говорят с други машини без намесата на човека. Така че, съвсем логично е да се използва аргумента за „китайската стая“ – не само за философска критика на изкуствения интелект, но и като социална критика.

– Какво имате предвид, когато пишете за икономиката на големите данни?

– Максимален успех очаква тези компании, които знаят как да получат най-евтината работна ръка и как да продават продукта си възможно най-скъпо. А това сега се определя от наличието на възможно най-голямо количество информация както за работниците, така и за потребителите.

Член съм на съвета на директорите на Института за конкуренцията (Data Competition Institute) и там се опитваме да докажем, че колкото повече информация имат интернет-компаниите, толкова повече могат и да печелят. И нито една от излизащите на пазара нови компании не може да се конкурира с тях. Това е своеобразен ефект на Матей: Защото на всекиго, който има, ще се даде, и той ще има изобилие; а от този, който няма, от него ще се отнеме и това, което има. (Евангелие от Матея 25:29)

– Да допуснем, че информацията притежава подобна власт. Но законодателството, очевидно, не върви в крак с напредъка на технологиите. Как да направим така, че достъпът до информация да бъде повече или по-малко равен?

– Това е много сложен проблем. Разбира се, демократизирането на достъпа до информация е от съществено значение. И да, до предварително анонимизираната информация, събрана от търсачката на Google, трябва да има публичен достъп. Но тук съществува проблемът с конфиденциалността, защото целта на тези компании е да се създаде най-пълен портрет на потребителя. Силно обезпокоен съм от това и мисля, че тази практика трябва да се забрани. Например, сега наемодателите в Ню Йорк вкарват наематели в черни списъци, като по този начин разубеждават хората да подават жалби. Наемателите, разбира се, също могат да създават свои списъци на ненадеждни хазяи. Но проблемът е, че наемодателите имат много повече власт, те могат да изчакат подходящия наемател, защото имат пари и следователно – свобода на избора. В този случай смятам, че тайните черни списъци също трябва да се оповестяват публично.

– Пишете за „нова форма на Биг Брадър“. Самата идея не е нова, но преди – при Оруел, например, в ролята на Биг Брадър винаги влизаше държавата. В действителност предсказанията на Оруел не се сбъднаха в много отношения, Биг Брадър не е само и дори не е толкова държавата, колкото частните компании – „частните тирании“, както би казал Чомски.

– Да, права сте, разбира се. Главното днес е, че този свят на Оруел започна да се използва от компаниите като идеологически инструмент: често можете да чуете аргумента, че те, за разлика от държавата, не могат да вкарват в затвора. Но компаниите следят всички свои служители, те имат достъп до служебните им мейли, много компании дори изискват паролите им за достъп до социалните мрежи и могат да проследяват движението им с помощта на GPS в телефоните им. Освен това вече се разработва устройство за определяне на положението и движенията на очите (eyeball tracker), което се инсталира на служебния компютър и позволява да се следи накъде гледа служителят. В допълнение съществува и система, която следи кои клавиши на клавиатурата натискаме. Така че частният Биг Брадър е не по-малко опасен, а като отчетем и факта, че след работа повечето хора прекарват свободното си време онлайн, то тяхната вечерна активност също може да се проследи. От хората се изсмуква информация по време на работа и у дома, така човек се оказва напълно разшифрован и разсекретен. Засега подценяваме мащаба на този проблем, а много от нас дори не виждат в това проблем.

– Откъде това безгрижие? Може би Вие просто преувеличавате мащабите на опасността?

– Ако трябва да съм честен, мисля, че хората не искат да приемат идеята, че са манипулирани. Те искат да вярват, че винаги имат свобода на избора.

– Но в същото време хората ценят високо конфиденциалността.

– Знаете ли, наистина мисля, че за конфиденциалност онлайн просто можете да забравите. Но като цяло неразбирането и невежеството по този въпрос са чудовищни. Болшинството от хората възприемат конфиденциалността като възможност да скрият малките си срамни тайни, като например любимите им порно сайтове. Но истинската опасност е друга: ако някой знае абсолютно всичко, което човек прави на компютъра, то човекът постепенно ще стане ненужен, ще бъде заменен от един компютър. Много хора смятат, че това е от сферата на научната фантастика, но не е така, това наистина се случва!

Вижте самоуправляемите търсачки, роботизираните служби за съдействие – различни модели на човешкото поведение се програмират и зареждат в машината, и човекът вече е ненужен. Така че опасността не е в това, че ще бъдеш разобличен в посещение на порно сайт по време на работа, а в това, че можеш да загубиш работата си като такава.

Струва ми се, че никой не иска да се замисли в тази посока. Проблемът е, че елитът на западните неолиберални общества се бори открито срещу увеличаването на правата на работниците. Ето защо потенциалната роботизация е въпрос на време и на натрупване на информация.

– В същото време повечето хора вярват, че развитието на технологиите винаги е знак за положителна динамика и общ прогрес, така че негативните прогнози им изглеждат като нещо от областта на научната фантастика.

– В действителност, американската конституция съдържа клауза, която гласи, че Конгресът се задължава да съдейства за развитието на науката и изкуството. Смятам, че технологичното развитие, разбира се, е знак за прогрес. Но съм загрижен за друго – как се разпределят приходите от технологичния прогрес. Да кажем, че ще имаме самоуправляващи се машини към 2025 година. Това със сигурност ще е зашеметяваща иновация. Например, аз мразя да карам, и въобще хората масово са лоши шофьори, а роботите, на теория, трябва да са по-добри. Но аз не смятам, че създаването на такова общество е приемлива цена за това, че десет души в Силиконовата долина ще станат милиардери, а два милиона шофьори ще загубят работата си и ще изпаднат в бедност.

Въпросът с развитието на технологиите е кой има полза от това? Затова в книгата ми има цяла глава за финансовия сектор, въпреки че отстрани може би изглежда, че той няма общо с технологиите. Но сега цялото технологично развитие се стимулира от финансистите. Тяхната задача е да постигнат максимални печалби и изгода за една тънка прослойка от обществената върхушка. Автоматизацията, алгоритмите, използвани демократично, могат да бъдат много полезни, но засега алгоритмите служат само на корпоративните лидери, грижещи се за все по-голямата оптимизация, което на практика означава по-ефективна експлоатация на работната сила.

– И какво предлагате? Как да се реши проблемът с алгоритмите?

– Първата стъпка при решаването на днешните проблеми е разбирането, че човешкият фактор, чийто ценности са част от създаването на шифъра на този алгоритъм, съвсем не е неутрален. Но проблемът е в това как да се отчита човешкия фактор и това да влияе на алгоритмите.

Например – в книгата си пиша за кредитната история. Общата идея се заключава в това на най-надеждните хора да се дават най-добрите лихвени ставки по кредита. Но, например, след урагана „Катрина“ пострадалите не успяха да платят сметките си, защото пощенските им кутии бяха унищожени. Конгресът искаше да задължи кредитните агенции да не вземат под внимание периода на природното бедствие в кредитната им история, но фирмите се обявиха против, въпреки че корекцията на алгоритъма заради бедствието нямаше да им струва толкова много. Тези компании твърдяха, че алгоритъмът им е неутрален, научен и че не бива да се намесват. В действителност те просто защитаваха своите собствени ценности, кодирани в него – това е всичко.

Що се отнася до търсачките. В Европа, например, Google беше принудена в отговора на заявка за търсене заедно с оферти на свои продукти да показва продукти и услуги на още най-малко три други дружества – и сега Google вече не може просто да завладее цялото внимание и да насочва хората автоматично към Google Finance, Google Weather, Google Books , Google Videos и т.н. Така че за Google системата за търсене е способ за контрол над потребителя и ограничаване на избора му.

– Сноудън и Асандж в действителност са съвременните поп-звезди. Заслужават ли такова внимание и наистина ли помагат да се повиши прозрачността на системата?

– Смятам, че са ни нужни много повече организации, които да дадат възможност на хората да станат информатори без отрицателни последствия за тях. Що се отнася до шума околоАсандж и Сноудън – какво да кажем и за другите хора, като Брадли Биркенфелд, който разкри схема за укриване на данъци на много богати хора? Медиите не се концентрират върху тях, въпреки че укриването на данъци и офшорната тайна са не по-малко разрушителни, ако не и повече, отколкото подслушването от НСА.

Но като цяло аз съм загрижен за самата идея за прозрачност и убеждението, че това е решение на всички проблеми. За съжаление, ние виждаме, че често тези разкрития водят само до урегулиране, а не към промени. Например, в случая с мъченията, логично би било да се предположи, че хората ужасени ще скочат на протест, но се случи точно обратното – в Америка сега много повече хора, отколкото в миналото, се обявяват за използването на изтезания! Така че трябва да спрем и да помислим води ли радикалната прозрачност до подобряване на ситуацията или просто легализира ужасните престъпления и ги прави приемливи в съзнанието на хората, тоест, насърчава конформизма.

– Въпреки това Асандж и Сноудън поеха известен риск?

– Сноудън, несъмнено, направи нещо важно и, по мое мнение, най-интересното е, че благодарение на него се разкри фактът, че държавата е използвала компании като Google за целите на следенето. Тези компании след това, разбира се, обявиха, че системите им са били хакнати. Но кой знае дали е така. Асандж и Сноудън, разбира се, много рискуваха и рискуват, и дори само това заслужава уважение. Но както казах, информаторите от частния сектор са не по-малко важни за обществото и процесът на информиране трябва да бъде опростен. Сега всички се страхуват да не бъдат осъдени за нарушаване на договора за конфиденциалност, какъвто, между другото, са подписали всички служители на същата тази Google.

– Развитието на интернет-компаниите доведе до това, че ние се оттеглихме в свой собствен малък свят. Всичко, което виждаме, е това, което искаме да видим. Цялата система за електронна търговия се свежда до „вие сте прочели тази книга – значи със сигурност ще ви хареса и тази“ и т.н. От една страна това опростява процеса на потребление, а от друга – просто укрепва статуквото…

– Точно така е! Аз дори имам една книга на тази тема, наречена „Наблюдението и постоянното повторение”. Огромният недостатък на тези програми е, че те постоянно се опитват да повтарят миналото, но доколкото миналото в голяма степен е виновно за днешните ни проблеми, защо да го разиграваме отново и отново? Ако продължаваме да използваме алгоритмите и схемите на миналото, това ще доведе само до затваряне на системата в самата себе си, и да, както винаги такова статукво е изгодно за елитите.

– Google, Facebook и Amazon създават един вид информационен балон за всеки човек поотделно и работата не е само в това, че ние постоянно се въртим в омагьосания кръг от нашите приятели и вече съществуващи интереси, но и във факта, че тези компании ни обкръжават отвсякъде с целева реклама, превръщат се в гигантски платформи, които координират икономическата активност на всички останали. Но митът за интернет като източник на свобода не е отменен, независимо от факта, че той отдавна се превърна в една централизирана и доста монополна структура.

– Струва ми се, че е това е въпрос на невежество, от една страна, и от друга – на надеждата да намериш своето място, своята аудитория в екосистемата на интернет, която все още не е толкова затворена. Предприемчиви хора отварят свои онлайн-магазини или създават печеливши приложения. Наскоро The New Yorker публикува статия за Емерсон Спарц – млад успешен интернет-предприемач. Но ако се вгледате внимателно, популярността му се дължи изключително на възможността да промотира във Facebook. Ако Facebook поиска, може да го смаже още утре. Amazon позволява на хората да станат, например, търговци на книги, и не само – и те са благодарни.

В същото време медиите са толкова глупави или предубедени, че не искат да погледат картината в цялост, не анализират какво се случва, а просто пишат новини за тази или онази компания като в клюкарските колонки – и това днес се нарича обективност. В общи линии, докато някои хора временно печелят (а в действителност Facebook, Google, Amazon им хвърлят огризки от масата), медиите създават мит и внушават на другите хора вяра в това, че и някой от тях може да стане следващият Емерсън Спарц или да напише интернет-бестселър. Това е един много мощен мит, който дава надежда на хората.

– Как мислите, защо всички интернет-потребители, дори и напредналите, не осъзнават, че тези фирми в действителност са платформи, а реалната стока са те самите и тях ги доят като крави, извличайки информация и заработвайки милиони от целева реклама? Не е ли очевидно?

– Това е действието на неолибералните митове, които внушават, че живеем в условията на глобална икономика, където няма централизирани лостове на властта.

Наскоро Марк Зукърбърг горещо препоръча книгата „Краят на властта” на Мойзес Наим (книгата е издадена на български от изд.Изток-Запад през ноември 2015 г. бел.ред.), който пише за това, че днес никой не притежава пълната власт, има само изолирани нейни огнища и ние живеем практически в либертариански рай. В класическата политическа икономия властта се определя като възможност на А да накара Б да направи нещо, което Б не желае. Днес понятието за власт се е променило и в този смисъл в книгата „Краят на властта” има много ценни наблюдения: сега А може да накара Б да желае да прави това, което А му заповядва. В това интернет-компаниите имат голям успех. Както казахте, ние сме щастливи да отидем на доене – тоест, повишаваме своята интернет-активност, постоянно актуализираме информацията за себе си във Фейсбук и се грижим за онлайн-имиджа си, като се опитваме да направим името си познато за Google. Този процес се възприема почти като забавление, тук дори няма очевидна принуда – това се превръща в навик, а с навиците е трудно да се борим.

– Тоест, това е една обикновена игра на човешката суета?

– Да, това е една много тъжна гледка, и на този сърбеж постоянно да наблюдаваш собственото си присъствие в интернет е трудно да се устои, това замъглява погледа ни и ни пречи да видим, че сме продукт на тези компании, както и тяхна безплатна работна сила. Как работи Google? Хората набират нещо в полето за търсене и сайтът, който ги интересува, се появява, да речем, на трето място в списъка. Ние кликваме върху линка и така той се премества на първо място, но за това никога няма да ни платят. Работата е там, че никой не мисли за този процес като за работа. Всеки, който използва Google, всъщност работи за него без никаква компенсация!

– Що се отнася до самите резултати от търсенето, как можем да сме сигурни, че резултатите в търсачката Google са неутрални, че това е само един алгоритъм и ние виждаме света такъв, какъвто е, а не такъв, какъвто Google иска да ни го покаже? Можем ли да прекъснем матрицата? И съществува ли тя? Или това са параноични идеи?

– Това е много добър въпрос. Често можем да чуем отговор на критиките на Google: не ви харесва -тогава използвайте Bing или Yahoo. Но и това не е опция, тъй като те, обективно погледнато, работят по-лошо. Сега ние нямаме никаква възможност да проверим как точно работи тяхното индексиране и неговата неутралност, защото, въпреки илюзията за прозрачност и липсата на конфиденциалност за обикновения потребител, компании като Google охраняват силно своите вътрешни процеси и там няма никаква прозрачност.

Тази история с индексите е една от най-глухите черни кутии, бих казал. Най-страшното е, че много от нас дори не подозират за това. Когато използваме търсачката на Google, без да излизаме от услугата Gmail, Google събира информация за нас и ни създава много подробен профил. Аз, например, използвам Googleповече от десет години заедно с Gmail, и Google ме познава много добре. Например, през 2008 г. търсих една определено непопулярна статия и неотдавна, когато ми потрябва отново,Google отново я намери и тя беше на първо място в резултатите от търсенето. Това е впечатляващо, но тук заслугата е не на конкретната търсачка, а на факта, че Google първа е започнала да събира информация за мен. Ето това искам да кажа – изходът от матрицата е почти невъзможен. Лесно е да се каже: използвайте друга търсачка, но качествено ние нямаме алтернативи и аз като учен не мога да си позволя да използвам треторазрядна търсачка.

– Изглежда, че сме заключени в една стая с еднопосочно огледало: компаниите ни гледат, бидейки черни кутии със скрита система от алгоритми. И единственият начин да се справим с тях е да променим законите, които днес им позволяват да бъдат такива черни кутии, така ли?

– През последните 15 години много интернет-компании нееднократно нарушаваха законите и държавата можеше да ги накара да се променят, но не се възползва от тази възможност. Когато Google се опита да превърне Gmail в аналог на Facebook, той наруши много закони на конфиденциалността, но съдебното дело завърши с урегулиране. Сега проблемът е не толкова в липсата на закони, колкото в тяхното изпълнение, особено когато става въпрос за интереса на потребителите. Смятам, че е важно да се промени размерът на глобите за нарушаване на неприкосновеността на личния живот: те трябва да бъдат 3-5% от годишните печалби на компанията, а не тричасовите им печалби, както е сега. Тогава компаниите ще се замислят.

– Законите, да допуснем, могат да се променят, но как да се промени съзнанието на хората? В съвременното западно общество вярата в саморегулацията е изключително силна.

– Да, това е трудно и хората не осъзнават, че съвременните икономически модели в същността си са интелектуални фалити. За интернет-компаниите законът е важен не само от гледна точка на уреждането на въпросите, свързани с поверителността, това е основата на цялото им съществуване. Ако в края на 90-те години дори не можехме да си представим, че ще съществува компания, на която е разрешено да копира и архивира всички интернет-сайтове, то сега законът за авторското право е преобърнат и адаптиран към нуждите на Google.

Повечето хора, които са чели книгата ми, я намират за доста депресираща, но аз лично не гледам на нещата мрачно. Мисля, че сме в ситуация, подобна на тази, която обществото ни преживя през 1920 година и се нуждаем от „нов курс“ – през това или през следващото десетилетие. В противен случай ни очаква катастрофа. И за да съм честен, не смятам, че имаме кой знае какъв избор.

Превод: Цеца Христова / Memoria de futuro

Източник: The Prime Russian Mаgazine

Свързана публикация: Съзнание под контрол

   АКО МЕМОРИЯ Е ПОЛЕЗНА ЗА ВАС, ПОДКРЕПЕТЕ НИ ТУК

 Или станете наши приятели във ФЕЙСБУК