Від: проекту EduOS
Прошу розглянути пропозицію щодо експертного опрацювання та можливого пілотного апробування відкритого стандарту Noetrail v1.0, розробленого для машинозчитуваного представлення методологічних рішень у наукових дослідженнях, зокрема у середовищах із використанням штучного інтелекту та автономних наукових агентів.
У сучасному науковому процесі дедалі більше операцій виконують програмні системи та штучний інтелект: пошук інформації, аналіз даних, формування гіпотез, побудова моделей, планування експериментів та підготовка наукових матеріалів.
Водночас залишається недостатньо формалізованим інший рівень:
за яким правилом дослідник або AI-система вирішує, яку наукову дію слід виконати наступною.
Таке правило може стосуватися, наприклад, вибору між:
новим експериментом;
реплікацією;
повторним аналізом даних;
перевіркою якості вимірювання;
пошуком меж застосовності результату;
критикою існуючої моделі;
створенням нової моделі;
синтезом доказів;
припиненням або відкладенням дослідження.
У Noetrail таке правило формалізується як EpistemicPolicy — версійований машинозчитуваний об’єкт, що описує методологічну політику вибору наступної наукової дії.
Noetrail v1.0 — це відкритий інтероперабельний стандарт, ядро якого складається з чотирьох типів об’єктів:
1. EpistemicState — опис поточного стану знань, невизначеності, доказів та обмежень.
2. EpistemicPolicy — правило, за яким обирається наступна наукова дія.
3. ChallengeProfile — формалізований опис того, як методологічна policy перевіряється або порівнюється з альтернативною.
4. DecisionRecord — запис результату такої перевірки, включно з показниками, обмеженнями, негативними результатами та статусом рішення.
Стандарт також містить початковий словник класів наукових дій, JSON Schemas, validator, registry та conformance tests.
Noetrail не пропонується як «єдино правильна методологія науки».
Його потенційна цінність полягає в іншому — у можливості зробити методологічні рішення:
більш явними;
версійованими;
машинозчитуваними;
аудитованими;
відтворюваними;
сумісними з AI-системами.
Це потенційно може бути корисним для:
досліджень із використанням генеративного та агентного ШІ;
забезпечення академічної доброчесності;
підвищення відтворюваності досліджень;
preregistration та Registered Reports;
автоматизованих наукових workflow;
цифрових репозитаріїв;
методологічного аудиту;
підготовки майбутніх стандартів використання AI у науковій діяльності.
Розробці Noetrail передувала серія computational experiments із різними методологічними policy.
Зокрема, початкова система ARCOS не підтвердила перевагу над простим випадковим аудитом у замороженому тестуванні.
Після цього було створено наступне покоління policy, яке показало кращі результати у prospectively locked benchmark.
Водночас інша policy пізніше продемонструвала ще вищий середній показник.
Саме ця послідовність привела до основного принципу Noetrail:
жодна методологічна policy не повинна отримувати постійного привілейованого статусу; вона повинна залишатися перевірюваною, версійованою та замінною на основі нових доказів.
Не пропонується негайне нормативне впровадження Noetrail у систему освіти чи науки.
Натомість пропоную розглянути поетапний пілотний формат:
1. Експертний розгляд
Передати специфікацію фахівцям із методології науки, open science, академічної доброчесності, інформаційних технологій та AI.
2. Технічна апробація
Перевірити, чи можна за допомогою Noetrail описати декілька реальних наукових workflow або methodological protocols.
3. Пілот із закладами вищої освіти або науковими установами
Наприклад, у дослідженнях із застосуванням AI.
4. Збір зауважень
Використати результати апробації для вдосконалення наступної версії стандарту.
5. За наявності практичної цінності
Розглянути можливість використання окремих елементів Noetrail у рекомендаціях щодо AI-assisted research, open science або методологічної прозорості.
На сьогодні створено:
специфікацію Noetrail v1.0;
JSON Schemas;
reference validator;
policy registry;
словник епістемічних дій;
benchmark lineage;
conformance tests;
clean-room secondary implementation;
технічний рукопис наукової статті;
дисертаційний рукопис;
англомовну структуру вебсайту;
матеріали для відкритої публікації стандарту та репозиторію.
Clean-room implementation пройшла 9 із 9 базових conformance checks.
Результатом першого етапу не повинно бути формальне «схвалення стандарту».
Раціональнішим результатом було б отримати відповідь на три практичні питання:
1. Чи є такий формат корисним для реальних українських досліджень?
2. Чи здатні незалежні дослідники та AI-системи однозначно інтерпретувати його об’єкти?
3. Чи підвищує він прозорість methodological decision-making порівняно з традиційним текстовим описом?
Якщо відповіді будуть позитивними, стандарт можна розвивати далі на основі зовнішньої апробації.
Буду вдячний за можливість:
надати повну специфікацію та технічні матеріали;
представити проєкт фахівцям МОН або відповідній експертній групі;
отримати методологічні та технічні зауваження;
у разі зацікавленості — підготувати невеликий пілотний проєкт із визначеними критеріями оцінювання.
Проєкт планується розвивати як відкритий стандарт, щоб ним могли користуватися та його могли незалежно критикувати університети, науковці, розробники та AI-системи.
З повагою EduOS