Noetrail: машинозчитувані епістемічні політики як інтероперабельний шар для людських та AI-керованих наукових систем

Roman Shaban
 

Анотація

Розвиток AI-for-Science, автономних дослідницьких агентів, програмних workflow та машинозчитуваних research objects створює нову проблему для методології науки: самі правила, за якими дослідник або агент обирає наступну пізнавальну дію, переважно залишаються прихованими в текстових інструкціях, програмному коді, prompt-ах, workflow або неявному експертному судженні. У статті запропоновано розглядати таке правило як окремий епістемічний policy object.

Епістемічна політика визначається як версійоване правило, процедура, алгоритм або агентна система, що відображає поточний епістемічний стан у одну чи декілька запропонованих дій, спрямованих на отримання, перевірку, уточнення або обмеження знання.

На цій основі представлено Noetrail v1.0 — відкритий science-specific interoperability profile для машинозчитуваного представлення епістемічних політик. Його ядро складається з чотирьох об’єктів: EpistemicState, EpistemicPolicy, ChallengeProfile та DecisionRecord. Стандарт також визначає базовий словник із 13 класів епістемічних дій.

Емпіричним мотивуванням архітектури стала послідовність computational experiments. Frozen-реалізація ARCOS продемонструвала mean misspecification detection 12.85%, поступившись RandomAudit із 21.78%. Після redesign policy Anneal30 на prospectively locked benchmark досягла 28.93% detection проти 21.86% RandomAudit і пройшла заздалегідь встановлений success gate. Водночас RiskDirected у тому самому benchmark досягла 31.41%, ставши сильнішим observed challenger. Ця послідовність показує, що методологічні policy доцільно представляти як versioned, challengeable and replaceable objects, а не як незмінні методологічні доктрини.

Noetrail не пропонується як універсально найкраща методологія науки та не претендує на винайдення preregistration, champion/challenger evaluation, locked benchmarking або provenance mechanisms. Його внесок полягає у science-specific інтероперабельному представленні methodological decision policies та їх evidence history.

Ключові слова: епістемічна політика, методологія науки, AI for Science, autonomous science, scientific agents, interoperability, open science, machine-readable methodology, Noetrail.

1. Вступ

Штучний інтелект поступово переходить від ролі допоміжного інструменту до участі у значній частині наукового циклу. Сучасні agentic systems уже можуть формулювати гіпотези, проєктувати й виконувати експерименти, аналізувати результати та генерувати наукові рукописи. Наприклад, AI Scientist-v2 представлено як end-to-end agentic system, що автономно формулює гіпотези, виконує експерименти, аналізує дані та формує manuscripts. arXiv

Паралельно формується інфраструктура для взаємодії таких систем. A2A Protocol v1.0 стандартизує communication та discovery незалежних агентів; Agent Card описує identity, capabilities і skills агента, а стандартним discovery endpoint є /.well-known/agent-card.json. GitHub

RO-Crate 1.3 надає machine-readable JSON-LD framework для research objects і пов’язаного metadata/provenance. researchobject.org JSON Schema Draft 2020-12, своєю чергою, забезпечує стандартний механізм формального опису та validation JSON documents. JSON Schema

Ця інфраструктура дедалі краще відповідає на питання:

• 
  які ресурси доступні;

• 
  які можливості має агент;

• 
  як передати структуровану інформацію;

• 
  як описати research object;

• 
  як перевірити структуру machine-readable document.

Проте залишається інше питання:

За яким правилом науковець або автономний агент визначає, яку пізнавальну дію потрібно виконувати наступною?

Саме це правило в даній роботі пропонується розглядати як окрему епістемічну політику.

2. Проблема машинозчитуваної методологічної policy

Методологічний вибір не можна звести до одного універсального алгоритму.

Після отримання певного результату дослідницька система може:

• 
  провести новий експеримент;

• 
  здійснити direct replication;

• 
  здійснити conceptual replication;

• 
  перевірити measurement model;

• 
  повторно проаналізувати дані;

• 
  виконати adversarial test;

• 
  шукати boundary conditions;

• 
  створити нову model family;

• 
  синтезувати evidence;

• 
  виконати random exploration;

• 
  припинити або відкласти дослідження.

Ці дії не є взаємозамінними.

Наприклад, якщо основною проблемою є нестабільність measurement construct, збільшення sample size може не усунути головне джерело uncertainty. Якщо represented model family систематично не відповідає observed data, подальша model discrimination усередині тієї самої family також може бути недостатньою.

Отже потрібне правило виду:

якщо epistemic state має властивості X, Y і Z, обрати action A; за іншого стану — action B.

3. Визначення EpistemicPolicy

Нехай:

Eₜ — епістемічний стан у момент часу t;

A — множина допустимих епістемічних дій;

π — епістемічна policy.

Тоді:

π: E → Δ(A)

де Δ(A) означає правило або distribution вибору над множиною дій.

У детермінованому випадку:

π(Eₜ) = aₜ

У стохастичному:

aₜ ~ π(· | Eₜ)

У цій роботі використовується таке визначення:

EpistemicPolicy — це версійоване правило, процедура, програмний компонент або агентна система, яка на основі представленого EpistemicState пропонує одну чи кілька knowledge-producing actions.

Policy може бути:

• 
  людським methodological protocol;

• 
  статистичним правилом;

• 
  Bayesian controller;

• 
  decision tree;

• 
  програмним алгоритмом;

• 
  LLM-agent policy;

• 
  reinforcement-learning system;

• 
  hybrid human-AI procedure.

Таким чином Noetrail стандартизує не внутрішній спосіб reasoning, а identity, scope та зовнішнє представлення policy.

4. Емпірична мотивація: від ARCOS до policy displacement

4.1. ARCOS

Початкова research architecture ARCOS була створена як adaptive meta-methodology для вибору між різними epistemic operators.

Концептуально система включала:

• 
  belief/evidence state B(t);

• 
  uncertainty U(t);

• 
  evidence-dependency structure Gᴱ(t);

• 
  adequacy monitor Q(t);

• 
  policy π;

• 
  heterogeneous epistemic actions.

Однією з ключових задач було виявлення ситуації, коли система має високу posterior confidence всередині represented model family, але сама family є неправильною.

4.2. Frozen ARCOS result

Після development архітектуру було frozen та перевірено на нових misspecification families.

Результати:

Policy Mean detection

RandomAudit 21.78%

MaximinAudit 12.88%

ARCOS_Frozen 12.85%

DiscriminationOnly 0%

Таким чином:

RandomAudit − ARCOS ≈ +8.9 percentage points.

Цей результат був принципово негативним для frozen implementation ARCOS.

Він показав:

складніша policy не повинна отримувати epistemic privilege лише через більшу sophistication.

Негативний pattern RandomAudit > ARCOS також був якісно відтворений у separately generated computational implementations.

5. Successor policies

Після failure ARCOS policy architecture було переглянуто.

Замість fixed sentinel search було посилено:

• 
  residual-risk-directed auditing;

• 
  multiscale diagnostics;

• 
  exploration;

• 
  calibration across multiple closed models.

Development generations v0.1–v0.3 показали, що purely optimized risk search також може мати blind spots.

Тому було створено policy Anneal30, де probability випадкового audit на кроці k задавалася як:

P(random at k) = max(0.30, 0.70 − 0.04k)

Таким чином exploration поступово зменшувалася, але ніколи не падала нижче 30%.

6. Locked confirmatory benchmark

Після development Anneal30 була frozen.

Для confirmatory evaluation було створено вісім нових challenge families:

• 
  CubicWarp;

• 
  SmoothKink;

• 
  VarianceGradient;

• 
  BimodalPocket;

• 
  RareContamination;

• 
  SerialCorrelation;

• 
  SignFlipRegion;

• 
  MeanVarianceCoupled.

Було виконано:

1000 runs / policy / world.

Заздалегідь визначений success gate вимагав:

1. 
   перевищити найкращий simple baseline щонайменше на 5 percentage points;

2. 
   mean false-alarm rate ≤ 1.5%;

3. 
   worst-family performance не нижче RandomAudit;

4. 
   перевагу над simple baselines мінімум у 5 із 8 challenge families;

5. 
   відсутність retrospective parameter modification.

7. Результати

Aggregate locked results:

Policy

Mean detection

Worst-family

Mean false alarm

RiskDirected

31.41%

0.9%

0.57%

Anneal30

28.93%

1.0%

0.57%

RandomAudit

21.86%

0.9%

1.30%

StratifiedRandom

20.53%

0.8%

0.57%

MaximinAudit

19.40%

0.4%

0.77%

DiscriminationOnly

0%

0%

0%

Anneal30 перевищила RandomAudit приблизно на:

7.06 percentage points.

Таким чином усі predeclared criteria було виконано.

Отже:

Anneal30 пройшла locked success gate проти simple audit baselines.

8. RiskDirected і проблема post-hoc promotion

Водночас RiskDirected показала:

31.41%

проти:

28.93% Anneal30.

Отже observed mean performance RiskDirected була вищою.

Проте direct criterion:

«RiskDirected повинна замінити Anneal30, якщо її mean detection буде вищою»

не був prospectively locked до отримання результату.

Тому науково коректним висновком є:

RiskDirected стала сильним observed challenger, але цей результат не є prospectively governed formal promotion.

Це розрізнення має прямі паралелі з preregistration та Registered Reports, де methods і analyses оцінюються до data collection/analysis, а final publication не повинна залежати від бажаності результату. Nature

Саме ця проблема стала одним із аргументів для створення окремого machine-readable ChallengeProfile.

9. Noetrail v1.0

Noetrail розділяє чотири основні scientific objects:

EpistemicState → EpistemicPolicy → ChallengeProfile → DecisionRecord

Це не обов’язково temporal pipeline. Це чотири різні semantic roles.

9.1. EpistemicState

EpistemicState описує methodological context:

• 
  research objective;

• 
  claims/questions;

• 
  evidence references;

• 
  uncertainty;

• 
  dependencies;

• 
  constraints;

• 
  current policy;

• 
  challengers;

• 
  provenance.

Він відповідає на питання:

Що зараз відомо, чого не відомо і які існують constraints?

9.2. EpistemicPolicy

EpistemicPolicy містить:

• 
  identifier;

• 
  immutable version;

• 
  scope;

• 
  input contract;

• 
  output contract;

• 
  supported epistemic actions;

• 
  implementation reference;

• 
  artifact hash;

• 
  provenance;

• 
  license.

Policy відповідає:

Яке правило визначає наступну knowledge-producing action?

9.3. ChallengeProfile

ChallengeProfile представляє evaluation context:

• 
  incumbent;

• 
  challenger;

• 
  benchmarks;

• 
  metrics;

• 
  gates;

• 
  development exclusions;

• 
  random-seed protocol;

• 
  prospective status;

• 
  lock status;

• 
  artifact references.

Ключова властивість:

prospective = true / false.

Таким чином retrospective comparison не потрібно приховувати — достатньо правильно зберегти його epistemic status.

9.4. DecisionRecord

DecisionRecord містить:

• 
  challenge reference;

• 
  observed results;

• 
  gate outcomes;

• 
  decision;

• 
  failures;

• 
  selected policy;

• 
  evaluator;

• 
  provenance;

• 
  artifact hashes.

Допустимими є не тільки promote або retain, але й:

inconclusive.

Це важливо, оскільки науковий evidence не завжди повинен породжувати binary winner.

10. Vocabulary епістемічних дій

Noetrail v1.0 визначає мінімальний vocabulary із 13 classes:

1. 
   experiment

2. 
   direct_replication

3. 
   conceptual_replication

4. 
   adversarial_test

5. 
   measurement_audit

6. 
   causal_identification

7. 
   reanalysis

8. 
   boundary_search

9. 
   model_criticism

10. 
    model_generation

11. 
    evidence_synthesis

12. 
    random_exploration

13. 
    stop_defer

Vocabulary не претендує на повну ontology of science.

Його мета — забезпечити мінімальну cross-system interoperability.

11. Machine-readable implementation

Noetrail v1.0 використовує JSON-compatible representation та JSON Schema Draft 2020-12.

JSON Schema Draft 2020-12 надає формальний механізм опису structure, validation constraints і reusable schemas для JSON documents. JSON Schema

Для Noetrail визначено schemas для:

• 
  EpistemicState;

• 
  EpistemicPolicy;

• 
  ChallengeProfile;

• 
  DecisionRecord;

• 
  registry index.

Reference validator перевіряє structural conformance, але не scientific quality.

Це принципова межа:

Schema-valid policy може залишатися науково поганою policy.

12. Conformance

Для перевірки того, що specification не залежить лише від reference implementation, було створено окрему clean-room implementation.

Вона не імпортувала reference CLI або попередній policy-control engine.

Було проведено 9 checks:

Check

Result

Core objects validate

PASS

Example policies validate

PASS

Missing artifact hash rejected

PASS

Duplicate identity rejected

PASS

Incumbent/challenger roles interpreted

PASS

Retrospective status preserved

PASS

False post-hoc promotion rejected

PASS

Independent provenance export

PASS

Independent HTTP policy exchange

PASS

9/9 tests passed.

Цей результат підтверджує implementability core semantics, але не є external institutional validation.

13. Interoperability з наявною infrastructure

Одним із design principles Noetrail є:

reuse existing standards instead of duplicating them.

A2A

A2A v1.0 стандартизує interoperability між незалежними агентами, а Agent Card описує capabilities, skills і interaction requirements. GitHub

Тому:

A2A: що агент уміє і як з ним взаємодіяти?

Noetrail: якою epistemic policy він керується при виборі наукової дії?

RO-Crate

RO-Crate 1.3 забезпечує research-object packaging і metadata/provenance. researchobject.org

Noetrail не дублює provenance.

EpistemicPolicy або DecisionRecord можуть посилатися на RO-Crate research object.

JSON Schema

JSON Schema використовується для structural validation Noetrail objects, а не для визначення їх scientific correctness. JSON Schema

14. Noetrail як верхній семантичний шар

Noetrail можна описати як «upper layer», але лише у семантичному, а не владному чи мережевому значенні.

Архітектурно:

Scientific objective

↓

Epistemic policy layer

↓

Scientific orchestration

↓

Agent / tool protocols

↓

Models / data / software / laboratories

↓

Evidence / provenance

Різні рівні відповідають на різні питання:

Resource layer: що доступно?

Tool layer: як це виконати?

Agent layer: хто може це виконати?

Workflow layer: яка послідовність операцій?

Provenance layer: що було зроблено?

Noetrail layer:
за якою methodological policy було обрано дію і який статус має сама policy?

15. Обговорення

15.1. Центральний результат

Головним результатом роботи є не superiority конкретного algorithm.

Більш важливою стала траєкторія:

ARCOS → failure → Anneal30 → locked success → RiskDirected challenger.

Вона демонструє, що:

scientific policy повинна бути revisable.

Це означає, що architecture наукової системи повинна підтримувати не тільки execution methods, а й method replacement.

15.2. Random exploration як epistemic safeguard

Результати також показують, що optimized search може мати blind spots.

RandomAudit, попри простоту, перевершив frozen ARCOS.

Anneal30 зберігала 30% exploration floor і перевершила simple baselines.

Це не доводить, що 30% є універсально оптимальним значенням.

Проте підтримує слабше й важливіше твердження:

protected exploration може бути захистом від systematic blindness адаптивної policy.

15.3. Policy ≠ standard

Noetrail відокремлює:

policy

від:

infrastructure that represents policy.

Це дозволяє standard залишатися стабільним, навіть якщо incumbent policy змінюється.

16. Межі наукової новизни

Noetrail не заявляється як винахід:

• 
  preregistration;

• 
  Registered Reports;

• 
  champion/challenger evaluation;

• 
  immutable logging;

• 
  locked evaluation;

• 
  automatic method selection;

• 
  agent communication;

• 
  provenance.

Registered Reports, наприклад, уже чітко відділяють Stage 1 evaluation methods/analyses від Stage 2 results. Nature

Тому novelty claim формулюється вужче:

Noetrail формалізує science-specific machine-readable EpistemicPolicy object та мінімальний interoperability profile, що пов’язує policy із EpistemicState, ChallengeProfile, DecisionRecord і зовнішнім provenance.

Це design/research contribution, а не claim на універсальну методологічну першість.

17. Обмеження

Робота має кілька суттєвих обмежень.

По-перше, основний quantitative evidence походить із synthetic model-inadequacy environments.

По-друге, benchmark coverage не представляє всю множину реальних scientific problems.

По-третє, 13 action classes є лише starting vocabulary.

По-четверте, clean-room conformance implementation створена в межах того самого research project і не є незалежною external institutional replication.

По-п’яте, machine-readable representation не означає, що весь scientific judgment можна формалізувати.

По-шосте, standard adoption не було емпірично продемонстровано.

18. Практичні наслідки

Noetrail може бути корисним для:

AI-for-Science

Agent може повертати:

policy_id

policy_version

state_reference

selected_action

decision_record

Scientific auditing

Можна перевірити:

• 
  яка policy діяла;

• 
  яка її version;

• 
  який artifact був використаний;

• 
  чи comparison був prospective;

• 
  який evidence підтримував decision.

Meta-research

Можна досліджувати:

які methodological policies систематично приводять до більш robust knowledge trajectories?

Psychology

Особливо релевантним є явний вибір між:

• 
  new data collection;

• 
  replication;

• 
  measurement audit;

• 
  construct validation;

• 
  reanalysis.

19. Подальші дослідження

Наступними пріоритетами є:

1. 
   зовнішні conformance implementations;

2. 
   Noetrail Psychology Profile;

3. 
   Noetrail Biomedical Profile;

4. 
   AI/ML policy extensions;

5. 
   federated policy registries;

6. 
   persistent identifiers для policies;

7. 
   hidden external challenge benchmarks;

8. 
   human-vs-agent policy comparisons;

9. 
   policy retirement semantics;

10. 
    longitudinal simulations scientific ecosystems.

20. Висновки

У роботі запропоновано змінити спосіб, у який methodological rules розглядаються в цифровій та AI-mediated science.

Замість пошуку одного універсально найкращого методу пропонується представити methodological decision rule як:

версійований, машинозчитуваний і потенційно замінний EpistemicPolicy object.

Емпірична research lineage дала три ключові результати.

По-перше, frozen ARCOS із 12.85% mean detection поступився простому RandomAudit із 21.78%.

По-друге, successor Anneal30 пройшов locked success gate та досяг 28.93% mean detection проти 21.86% RandomAudit.

По-третє, RiskDirected досяг 31.41%, показавши, що навіть confirmed incumbent може швидко отримати сильнішого challenger.

Саме ця послідовність привела до Noetrail v1.0.

Стандарт розділяє:

EpistemicState

EpistemicPolicy

ChallengeProfile

DecisionRecord

і надає мінімальну основу для versioning, machine validation, registry representation, challenge metadata та interoperability.

Головний висновок роботи:

У AI-mediated science найбільш стійким об’єктом стандартизації є не конкретна “правильна методологія”, а інфраструктура, яка дозволяє methodological policies бути явними, версійованими, порівнюваними, оскаржуваними та замінними.

Data and Code Availability

Reference implementation, JSON Schemas, registry examples, benchmark artifacts and conformance materials are intended for publication as the Noetrail v1.0 open release.

Permanent repository and DOI:

[to be inserted after public release]

Declaration of Competing Interests

The author declares no competing interests related to the scientific conclusions of this manuscript.

Use of Artificial Intelligence

Artificial intelligence tools were used during conceptual development, computational prototyping, literature discovery, code generation and manuscript drafting. The scientific claims, distinction between development and confirmatory evidence, interpretation of results and responsibility for the final manuscript remain with the author.

Для реального журналу цей пункт треба адаптувати до конкретної AI policy видавця.

References

1. Yamada Y., Lange R. T., Lu C., Hu S., Lu C., Foerster J., Clune J., Ha D. The AI Scientist-v2: Workshop-Level Automated Scientific Discovery via Agentic Tree Search. arXiv:2504.08066, 2025. arXiv

2. A2A Protocol Working Group. Agent2Agent Protocol Specification, Version 1.0.0. 2026. GitHub

3. Research Object Crate Community. RO-Crate Specification 1.3. 2026. researchobject.org

4. Wright A., Andrews H., Hutton B., Dennis G. JSON Schema Draft 2020-12. 2022. JSON Schema

5. Scientific Reports. Registered Reports: Journal Policies. Nature Portfolio. Nature

6. Noetrail Project. Noetrail v1.0: Specification, Schemas, Registry and Conformance Artifacts. 2026.
DOI: to be assigned.

7. Noetrail Project. ARCOS Locked Confirmatory Benchmark and Successor v1.0 Benchmark Artifacts. 2026.
Repository/DOI: to be assigned.

English title

Noetrail: Machine-Readable Epistemic Policies as an Interoperability Layer for Human and AI-Driven Scientific Systems

English abstract

Scientific methodological decisions are commonly encoded in prose, disciplinary conventions, software-specific logic, prompts, or implicit expert judgment. This limits their auditability, versioning, comparison, and exchange across human and AI-driven research systems. We introduce Noetrail v1.0, an open science-specific interoperability profile for representing methodological decision rules as machine-readable EpistemicPolicy objects. An EpistemicPolicy is defined as a versioned rule, procedure, software component, or agent policy mapping an explicit epistemic state to one or more proposed knowledge-producing actions.

Noetrail defines four core object types: EpistemicState, EpistemicPolicy, ChallengeProfile, and DecisionRecord, together with a minimal vocabulary of 13 epistemic action classes. The architecture is motivated by a computational research lineage in which a frozen ARCOS policy achieved 12.85% mean misspecification detection compared with 21.78% for RandomAudit; a successor policy, Anneal30, subsequently achieved 28.93% and passed a prospectively locked success gate against simple audit baselines; and RiskDirected later achieved 31.41%, becoming a stronger observed challenger. These results demonstrate why scientific policies should be treated as versioned, challengeable, and replaceable objects rather than permanent methodological doctrines.

A clean-room secondary implementation passed 9/9 Noetrail v1.0 conformance checks. Noetrail does not claim universal methodological superiority or novelty for generic preregistration, champion/challenger evaluation, locked benchmarking, or provenance mechanisms. Its contribution is a science-specific machine-readable interoperability profile for explicit methodological policy representation and evidence history.

Keywords: epistemic policy; scientific methodology; AI for Science; autonomous science; scientific agents; interoperability; machine-readable methodology; open science; Noetrail.