Майже кожен чув про трагедію міста Помпеї, яке знищило виверження вулкану. Але та 2000-річна трагедія стала безцінним подарунком сучасній науці. В товщі попелу назавжди заморозилися в часі древні артефакти. серед них, можливо, найбільша колекція стародавніх текстів, коли-небудь виявлених. Твори Есхіла , Сапфо та Софокла, свіжі одкровення про перші роки християнства – учені лише мріють про те, що вони можуть прочитати. Прочитати написане допоможе штучний інтелект.
Геркуланумські папіруси — це колекція сувоїв, статус яких наближається до міфічного. Сувої були поховані всередині італійської сільської вілли через те саме виверження вулкана в 79 році нашої ери, яке заморозило Помпеї в часі. На сьогоднішній день лише близько 800 сувоїв було знайдено з невеликої частини вілли, яку розкопали. Але вважається, що вілла, яка, як вважають історики, належала тестю Юлія Цезаря, мала величезну бібліотеку, яка могла містити тисячі або навіть десятки тисяч інших сувоїв.
Геркуланом виринає з пастки часу
Перед виверженням вулкана Везувій місто Геркуланум знаходилося на краю Неаполітанської затоки, саме те місце для багатих римлян, щоб відпочити та подумати. На відміну від Помпеї, які зазнали прямого удару від потоку везувійської лави, Геркуланум був поступово похований хвилями попелу, пемзи та газів. Незважаючи на те, що процес був зовсім не м’яким, більшість мешканців встигли втекти, і більша частина міста залишилася недоторканою під твердою виверженою породою.
Фермери вперше відкрили місто у XVIII столітті, коли деякі копачі колодязів знайшли в землі мармурові статуї. У 1750 році один з них зіткнувся з мармуровою підлогою вілли, яка, як вважають, належала тестю Цезаря, сенатору Луцію Кальпурнію Пізону Цезоніну, відомому сьогодні історикам як Пізон.
У цей час перші копачі прокопали тунелі у віллі, щоб нанести її на карту, і здебільшого шукали більш очевидно цінні артефакти, такі як статуї, картини та впізнавані побутові предмети. Спочатку люди, які набігали на сувої, деякі з яких були розкидані по різнокольоровій мозаїці на підлозі, подумали, що це просто колоди, і кинули їх у вогонь. Однак згодом хтось помітив, що колоди часто знаходять у місцях, схожих на бібліотеки чи читальні, і зрозумів, що це спалений папірус. Проте кожен, хто намагався його відкрити, виявляв, що він розсипається в їхніх руках.
Протягом багатьох наступних десятиліть із сувоями відбувалися жахливі речі. Наукові спроби послабити сторінки включали наливання на них ртуті та обдування сумішшю газів. Деякі з сувоїв були розрізані навпіл, вичерпані та загалом зловживані такими способами, що досі змушують істориків плакати.
Людиною, яка підійшла найближче в цей період, був священик Антоніо Пьяджо. Наприкінці 1700-х років він побудував дерев’яний стелаж, який тягнув шовкові нитки, прикріплені до краю сувою, і який можна було регулювати за допомогою простого механізму, щоб розгортати документ дуже м’яко, зі швидкістю 1 дюйм на день.
Напевно, це якось спрацювало; пристрій відкривав деякі сувої, хоча мав тенденцію пошкоджувати їх або прямо розривав на частини. У наступні століття команди, організовані іншими європейськими державами, включно зі сформованою Наполеоном, тут і там збирали уривки здебільшого нерозбірливого тексту.
«Деякі з цих текстів можуть повністю переписати історію ключових періодів стародавнього світу, — каже Роберт Фаулер, класик і голова Товариства Геркуланума, благодійної організації, яка намагається привернути увагу до сувоїв і місця вілли. – Це суспільство, з якого походить сучасний західний світ».
Причина, чому ми не знаємо точно, що міститься в папірусах Геркулануму, — це вулкан. Сувої збереглися завдяки великій кількості надгарячого бруду та сміття, що їх оточувало, але додатковий вплив Везувію обвуглив їх до невпізнання.
Ті, що були розкопані, виглядають як залишки поліна в погаслому багатті. Люди витратили сотні років, намагаючись їх розгорнути — іноді обережно, іноді ні. І сувої ламкі. Навіть найретельніші спроби розгортання, як правило, закінчувалися погано, коли вони розсипалися на попелясті шматки.
Останніми роками були зроблені спроби створити 3D-сканування внутрішньої частини сувоїв із високою роздільною здатністю. Ідея полягала в тому, щоб розкрутити їх віртуально. Однак ця робота часто не давала результатів. Вчені змогли помітити лише фрагменти нутрощів сувоїв і натяки на чорнило на папірусі. Деякі експерти присягалися, що вони могли побачити літери під час сканування, але інші з ними не погоджувалися. Усе, що стосується порядку слів чи абзаців, довго залишалося таємницею.
Ці тексти востаннє читали 1900 років назад
Але ентузіаст Нат Фрідман, який любив Древній Рим, був також головним виконавчим директором GitHub, великої платформи розробки програмного забезпечення, яку Microsoft придбала в 2018 році. У GitHub Фрідман розробляв один із перших помічників кодування на основі штучного інтелекту (ШІ), і він бачив зростання потужності ШІ. У нього було передчуття, що алгоритми штучного інтелекту могли б знайти шаблони в зображеннях сувоїв, які люди пропустили.
Вивчивши проблему деякий час і зацікавившись спільнотою класиків, Фрідман, який покинув GitHub, щоб стати, орієнтованим на ШІ інвестором , вирішив розпочати конкурс.
Минулого року він запустив Vesuvius Challenge, пропонуючи 1 мільйон доларів у вигляді призів людям, які зможуть розробити програмне забезпечення зі штучним інтелектом, здатне читати чотири уривки з одного сувою.
Минали місяці, і стало ясно, що передчуття Фрідмана було правильним. Конкурсанти з усього світу, багатьом із яких двадцять і з чимось із знанням інформатики, розробили нові методи створення 3D-сканувань і зведення їх у більш читабельні аркуші.
Фрідман і його академічний партнер Брент Сілз, професор інформатики та експерт із сувоїв, кажуть, що група учасників надала транскрипції більш ніж чотирьох уривків з одного із сувоїв. Хоча ще рано робити якісь ґрунтовні висновки з цієї частини роботи, Фрідман каже, що він упевнений, що ті самі методи дозволять отримати набагато більше вмісту сувоїв.
Сьогодні вілла залишається здебільшого закопаною, нерозкопаною та недоступною навіть для експертів. Більшість того, що було знайдено там, приписують Філодему, епікурейському філософу та поету, що спонукає істориків сподіватися, що в іншому місці похована набагато більша основна бібліотека. Вважається, що така багата, освічена людина, як Пізон, мала б класику того часу разом із більш сучасними творами історії, права та філософії.
«Я справді вірю, що там є набагато більша бібліотека, — каже Річард Янко, професор класичних студій Мічиганського університету, який провів кропіткі години, збираючи фрагменти сувою вручну, як пазл. – Я не бачу причин вважати, що він не повинен бути там і зберігатися таким же чином».
Навіть пересічний громадянин того часу міг мати колекції в десятки тисяч сувоїв, каже Янко. Відомо, що Пізон часто листувався з римським державним діячем Цицероном, а апостол Павло проходив через цей регіон за кілька десятиліть до виверження Везувію. Можливо, з його візитом пов’язані статті, які коментують Ісуса та християнство. «Сьогодні ми маємо близько 800 сувоїв із вілли, — каже Янко. – Можуть бути тисячі чи десятки тисяч».
У сучасну епоху великим піонером сувоїв є Брент Сілес, професор інформатики в Університеті Кентуккі. Протягом останніх 20 років він використовував передову технологію медичної візуалізації, розроблену для комп’ютерної томографії та ультразвуку, щоб аналізувати нечитабельні старі тексти.
Прогрес був повільним. Сілз розробив програмне забезпечення, яке теоретично могло сканувати згорнутий сувій і розгортати його віртуально, але воно не було підготовлене для обробки справжнього сувою з Геркулануму, коли він тестував його в 2009 році.
«Складність того, що ми побачили, зламала все. моє програмне забезпечення, — каже він. – Шари всередині сувою не були однорідними. Усі вони були переплутані та змішані разом, і моє програмне забезпечення не могло надійно слідкувати за ними».
До 2016 року йому та його студентам вдалося прочитати сувій Ейн-Геді, обгорілий давньоєврейський текст, запрограмувавши своє спеціалізоване програмне забезпечення для виявлення змін у щільності між спаленим рукописом і спаленим чорнилом, нанесеним на нього. Програмне забезпечення змусило літери засвітитися на темнішому тлі. Команда Сілза покладала великі надії застосувати цю техніку до папірусів з Геркулануму, але вони були написані іншими чорнилами на основі вуглецю, які їхнє обладнання для обробки зображень не могло висвітлити таким же чином.
Протягом останніх кількох років Сілз почав експериментувати з ШІ. Він і його команда відсканували сувої за допомогою більш потужних машин для обробки зображень, дослідили частини папірусу, де було видно чорнило, і навчили алгоритми, як виглядають ці візерунки. Сподівалися, що ШІ почне вловлювати деталі, які людське око пропускає, і зможе застосувати отримані знання до більш заплутаних фрагментів прокручування. Такий підхід виявився плідним, хоча він залишався битвою дюймів. Технологія Seales виявила частини сувоїв, але вони були здебільшого нечитабельними. Йому потрібен був ще один прорив.
Фрідман налаштував сповіщення Google для Сілеса та папірусів у 2020 році, ще на початку своєї одержимості Римом. Після того, як рік минув без жодних новин, він почав дивитися на YouTube відео, на яких Сілз обговорював основні проблеми. Крім усього іншого, йому потрібні були гроші. До 2022 року Фрідман був переконаний, що може допомогти. Він запросив Сілза до Каліфорнії на подію, де представники Кремнієвої долини збираються разом і діляться великими ідеями. Сілз зробив коротку презентацію про сувої перед групою, але безрезультатно.
З примхи Фрідман запропонував Сілзу ідею конкурсу. Він сказав, що вкладе частину власних грошей, щоб профінансувати це, і його інвестиційний партнер Даніель Гросс запропонував доплату.
Сілз каже, що пам’ятав про компроміси. Геркуланумські папіруси стали справою його життя, і він хотів бути тим, хто їх розшифрує. Багато його студентів також вклали час і енергію в проект і планували опублікувати статті про свої зусилля. Раптом пара багатіїв із Кремнієвої долини вдерлися на їхню територію та припустили, що випадкові люди в інтернеті можуть забезпечити прориви, які вислизали від експертів.
Однак Сілз просто сподівався, що сувої прочитають, і він погодився вислухати Фрідмана та допомогти розробити конкурс ШІ. Вони розпочали Vesuvius Challenge минулого року. Через кілька днів Фрідман накопичив достатньо грошей, щоб запропонувати 1 мільйон доларів у вигляді призів, а також трохи додаткових грошей, щоб витратити на деякі з більш трудомістких основ.
Знайшовши кілька людей, які були особливо вправні в роботі з сувоями, Фрідман зробив їх повноправними членами своєї команди конкурсу сувоїв, із зарплатою 40 доларів на годину. Його хобі перетворювалося на стиль життя.
Перший сплеск уваги допоміг відкрити нові двері. Сілз роками заохочував італійських і британських колекціонерів сканувати його перші сувої. Несподівано італійці запропонували два нові сувої для сканування, щоб отримати більше даних для навчання ШІ. За підтримки Фрідмана команда взялася за створення точно підігнаних футлярів, надрукованих на 3D-принтері, щоб захистити нові сувої під час польоту приватного літака з Італії на прискорювач елементарних частинок в Англії. Там їх сканували три дні поспіль, що коштувало близько 70 000 доларів.
Побачивши процес створення зображень у дії, можна зрозуміти магію та складність цього квесту. Наприклад, один із залишків сувою, поміщений у сканер, був не набагато більшим за жирний палець. Його просвітили рентгенівськими променями високої енергії, щоб отримати зображення у надзвичайно високій роздільній здатності приблизно 8 мікрометрів. Потім було використано програмне забезпечення, щоб розгорнути та вирівняти шматочки, і отримані зображення виглядали впізнаваними як аркуші папірусу, написи на яких були приховані.
Файли, створені в результаті цього процесу, такі великі, що з ними важко працювати на звичайному комп’ютері. Фрідман не міг кинути цілий сувій більшості потенційних переможців конкурсу. Щоб отримати право на головний приз у розмірі 700 000 доларів, учасники повинні були до кінця 2023 року прочитати лише чотири уривки – щонайменше 140 символів безперервного тексту.
Попутно менші призи в діапазоні від 1000 до 100 000 доларів були присуджені за різні віхи, наприклад, за те, хто першим прочитає літери в сувої або створить програмні засоби, здатні згладити обробку зображень.
Люк Фаррітор захопився з самого початку. Фаррітор — бадьорий 22-річний студент із штату Небраска, почув, як Фрідман описав конкурс у подкасті в березні. Фаррітор подумав: «Це міг бути я».
Потім Кейсі Хендмер, австралійський математик, фізик і ерудит, кілька разів пробував писати код для читання сувоїв, але незабаром дійшов висновку, що йому може пощастити більше, якщо він просто довго дивиться на зображення. Згодом він почав помічати те, що він та інші учасники звикли називати «кракелем», слабким малюнком тріщин і ліній на сторінці, який нагадує те, що можна побачити в мулі висохлого дна озера. Хендмеру здавалося, що цей малюнок мав форму грецьких літер і плям і штрихів, які супроводжують рукописне чорнило.
Відкриття спонукало Хандмера спробувати ідентифікувати фрагменти літер на одному зображенні сувою. Він опублікував свої висновки, і їх побачив Фаррітор, який протягом наступного місяця почав шукати кракле в інших файлах зображень: одна літера тут, інша пара там.
Більшість букв були невидимі для людського ока, але 1% або 2% мали характерні сліди. Озброївшись цими декількома літерами, Фаррітор навчив модель штучного інтелекту розпізнавати приховані чорнила, відкривши ще кілька літер. Потім Фаррітор додав ці літери до тренувальних даних моделі та запустив їх знову і знову і знову. Модель починається з того, що може бачити лише людина, — візерунка кракелю, — потім починає бачити чорнило, якого ми не бачимо.
На відміну від сучасних широкомовних моделей ШІ, які поглинають дані терабайтами, модель Farritor змогла обійтися крихтами. Для кожного квадрата зображення розміром 64 на 64 пікселя він просто запитував, є тут чорнило чи ні? І допомогло, що результат був відомий: грецькі літери, розташовані в квадраті вздовж прямих кутів заштрихованих волокон папірусу.
На початку серпня минулого року Farritor отримав можливість протестувати своє програмне забезпечення. «Я відвожу всіх своїх п’яних друзів додому, а потім виходжу з гаража й дістаю телефон, не очікуючи нічого побачити, — каже він. – Але коли я його відкриваю, на екрані три грецькі літери. Це був момент, коли я подумав: «Боже мій, це справді спрацює». Ми будемо читати сувої».
Невдовзі Farritor знайшов 10 листів і виграв 40 000 доларів США на один із призів за прогрес у конкурсі. Класицисти переглянули його роботи і сказали, що він знайшов грецьке слово «пурпур».
Фаррітор продовжував тренувати свою модель машинного навчання на даних кракелю та публікувати свій прогрес. Відкриття, які він і Хандмер зробили, також викликали нову хвилю ентузіазму серед учасників конкурсу, і деякі почали використовувати подібні методи. У другій половині 2023 року Farritor уклав альянс із двома іншими учасниками, Юссефом Надером і Джуліаном Шіллігером, у якому вони погодилися об’єднати свої технології та розділити будь-які призові.
Зрештою, Vesuvius Challenge отримав 18 заявок на головний приз. Зображення сувоїв, які колись були неоднозначними краплями, тепер мали цілі абзаци літер, що світилися на них. Системи ШІ оживили минуле. Думка про те, що ви читаєте текст, який востаннє розгортали на чиємусь столі 1900 років тому, неймовірна.
За матеріалами: Bloomberg
