Skip to content

test: возвращать JUnit/Allure/log как стабильные artifacts #26

Description

@zeegin

Migrated from alkoleft/v8-runner-rust issue #26.
Original author: zeegin; created: 2026-07-16T08:42:38Z; last upstream update: 2026-07-16T08:42:38Z.
GitHub shows the migration account as the new author; this block preserves actual attribution.


Контекст

Quality gate должен отделять infrastructure failure от штатно найденных test failures. Источником истины для YaXUnit и Vanessa являются native JUnit и Allure results, а не только process exit code.

Сейчас output paths и фактические отчёты зависят от test-engine parameters/config, но CLI/JSON result не предоставляет стабильного общего artifact contract, на который может опираться внешний orchestrator. Особенно нужен одновременный JUnit + Allure для одного запуска и сохранение отчётов при красных тестах.

Предложение

Для test yaxunit и test va стандартизовать result artifacts:

  • один или несколько JUnit XML;
  • каталог Allure results;
  • platform/engine log;
  • optional error details/screenshots;
  • явный test summary (tests/failures/errors/skipped).

Пути должны либо задаваться typed options/config, либо выделяться runner в изолированном workPath и всегда возвращаться в JSON envelope.

Критерии готовности

  • JUnit и Allure можно включить одновременно;
  • successful и failed test runs возвращают существующие artifact paths;
  • missing/invalid native report классифицируется как infrastructure error;
  • test failures не теряются из-за ненулевого native process exit code;
  • повторные/параллельные запуски не пишут в общий каталог;
  • JSON result содержит artifact kind, path и summary;
  • контракты одинаковы по смыслу для YaXUnit и Vanessa.

Наблюдение сделано на v8-runner 0.5.1.

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    upstream-migratedMigrated from the historical upstream tracker

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions