Проф. Мартин Вечев за безобидните разговори с ChatGPT, които могат да струват скъпо

Начинът, по който говорите, може да разкрие много за вас – особено ако говорите с чатбот. Така започва статия на популярното международно издание Wired, посветена на ново изследване, ръководено от българина проф. Мартин Вечев, основателят на института за компютърни науки и изкуствен интелект INSAIT в София.

Изследването разкрива, че чатботове, като ChatGPT, могат да извлекат много чувствителна информация за хората, с които комуникират, дори ако разговорът е съвсем обикновен. Феноменът изглежда се дължи на начина, по който алгоритмите на моделите се обучават с широки масиви от уеб съдържание – ключова част от това, което ги прави работещи.

Дори не е ясно как се решава този проблем“, отбеляза Мартин Вечев, професор по компютърни науки в ETH Цюрих в Швейцария, който е ръководител на изследването. „Това е много, много проблематично.“

Вечев и екипът му са установили, че големите езикови модели, които захранват усъвършенстваните чатботове, могат с голяма точност да извлекат тревожно количество лична информация за потребителите – включително тяхната раса, местоположение, професия и т.н. – от разговори, които изглеждат безобидни.

Според него, измамниците биха могли да използват способността на чатботовете да отгатват чувствителна информация за даден човек, за да събират поверителни данни от нищо неподозиращи потребители. Той добавя, че същата основна способност може да предвещава нова ера в рекламата, в която компаниите използват информацията, събрана от чатботовете, за да създават подробни профили на потребителите.

Някои от компаниите, които стоят зад мощните чатботове, също разчитат в голяма степен на рекламата за своите печалби.

Възможно е те вече да го правят“, казва Вечев.

Учените от Цюрих тестват езикови модели, разработени от OpenAI, Google, Meta и Anthropic. Те казват, че са предупредили всички компании за проблема. Говорителят на OpenAI Нико Феликс казва, че компанията полага усилия да премахне личната информация от данните за обучение, използвани за създаване на моделите ѝ, и ги настройва така, че да отхвърлят искания за лични данни.

Искаме моделите ни да научават за света, а не за частни лица“, казва той.

Физическите лица могат да поискат от OpenAI да изтрие лична информация, открита от нейните системи. Anthropic се позовава на своята политика за поверителност, в която се посочва, че не събира и не „продава“ лична информация. Google и Meta не са отговорили на искането за коментар.

Това със сигурност повдига въпроси за това колко информация за нас самите неволно изтича в ситуации, в които бихме могли да очакваме анонимност“, казва Флориан Трамèр, доцент в ETH Цюрих, който не е участвал в работата, но е запознат с подробности от нея.

Новият проблем с неприкосновеността на личния живот произтича от същия процес, който се смята за ключов за скока във възможностите, наблюдавани в ChatGPT и други чатботове. Моделите на изкуствения интелект, които захранват тези ботове, се обучават с огромни количества данни, извлечени от интернет, което им придава чувствителност към езиковите модели.

Но текстът, използван при обучението, съдържа и лична информация и свързан с нея диалог, отбелязва Мартин Вечев. Тази информация може да бъде свързана с използването на езика по фини начини, например чрез връзки между определени диалекти или фрази и местоположението или демографските характеристики на дадено лице.

Това позволява на езиковите модели да правят предположения за дадено лице само от това, което то пише. Например, ако човек напише в диалогов чат, че „току-що е хванал сутрешния трамвай“, моделът може да заключи, че той се намира в Европа, където трамваите са често срещани и е сутрин. Но тъй като софтуерът с изкуствен интелект може да улавя и комбинира много фини улики, експериментите показват, че той може да прави впечатляващо точни предположения за града, пола, възрастта и расата на дадено лице.

Изследователите използват текст от разговори в Reddit, в които хората са разкрили информация за себе си, за да проверят колко добре различните езикови модели могат да направят извод за лична информация, която не е в откъс от текст. Уебсайтът LLM-Privacy.org демонстрира колко добре езиковите модели могат да извеждат тази информация и позволява на всеки да провери способността им да сравнява собствените си прогнози с тези на GPT-4, модела, който стои зад ChatGPT, както и с Llama 2 на Meta и PaLM на Google. По време на тестовете GPT-4 успява да изведе правилно личната информация с точност между 85 и 95%.

Тейлър Берг-Киркпатрик, доцент в Калифорнийския университет в Сан Диего, чиято работа изследва машинното обучение и езика, казва, че не е изненадващо, че езиковите модели биха могли да разкриват лична информация, защото подобно явление е открито и при други модели за машинно обучение. Но той казва, че е важно, че широко достъпни модели могат да се използват за отгатване на лична информация с висока точност.

Това означава, че бариерата за навлизане в извършването на атрибутно предсказване е наистина ниска.“

Констатациите на екипа от Цюрих са направени с помощта на езикови модели, които не са специално предназначени за отгатване на лични данни. Балунович и Вечев казват, че може да е възможно да се използват големите езикови модели, за да се прегледат постовете в социалните медии и да се изнамери чувствителна лична информация, може би включително болестта на дадено лице. Те казват, че би било възможно също така да се създаде чатбот, който да открива информация чрез поредица от безобидни запитвания.

Изследователите и преди са показвали как големи езикови модели понякога могат да доведат до изтичане на конкретна лична информация. Компаниите, които разработват тези модели, понякога се опитват да изчистят личната информация от данните за обучение или да блокират моделите да я извеждат. Вечев казва, че способността на LLM да извеждат лична информация е от основно значение за начина им на работа чрез намиране на статистически корелации, което ще направи много по-трудно справянето с нея.

Това е много различно“, казва той. „То е много по-лошо.“