При запуске параметризованных тестов из тест плана создаётся никогда не заканчивающийся тест ран

[gennadii-borodin]

Как воспроизвести

1. Создать ручной тест в интерфейсе
2. Привязать к созданному ручной тесту автоматический переметризованный тест (например тест из examples)
3. Добавить тест в тест план
4. Запустить автотесты из тест плана. Прогнать автотесты с tmsTestRunId из запуска

Актуальное поведение

1. Создаются пустые сущности успешных тестов.
2. В процессе остаётся висеть тест в ожидании результатов
3. Тест ран никогда не заканчивается
   

Ожидаемое поведение

1. Тесты закончены
2. Результаты автотестов привязаны к тесту
3. Тест ран закончен
4. Тест план получил статус прогона тестов

[testit-owner]

просьба указать версии пакетов, которые используются и какой параметр указывается в AdapterMode.

[gennadii-borodin]

Версии пакетов:

testit-adapter-pytest 2.0.8
testit-api-client 2.0.3
testit-python-commons 2.0.8

adapterMode = 0

[testit-owner]

добавьте входные параметры к тесткейсу https://docs.testit.software/user-guide/sekcii/ispolzovanie-parametrov.html и попробуйте запустить еще раз

[gennadii-borodin]

Добавил входные параметры в тест

Добавил тест в план (их стало 2 по количеству параметров)

Запустил прогон автотестов
Раскрыл один инстанс теста

Раскрыл второй инстанс теста

[Darktel]

В случае есть тесты помечены декоратором: @testit.externalId("test_check_status_[{users}]")
При этом ручной тест-кейс корректно связывается с автоматизированными. Но есть выполнять запуск через CI (Например GitLab). В результате запуска тестов ни одного теста не запускается. Версия библиотеки
testit-adapter-pytest==2.0.8
testit-api-client==2.0.2
testit-python-commons==2.0.8

...
INTERNALERROR> File "/usr/local/lib/python3.9/site-packages/testit_adapter_pytest/listener.py", line 94, in pytest_collection_modifyitems
INTERNALERROR> raise SystemExit
INTERNALERROR> SystemExit
============================ no tests ran in 3.40s =============================

При этом если в выполняется запуск тестов в связке 1:1. то все завершается успешно.
В чем может быть проблема ? Не распарсивается параметр в декораторе?

[testit-owner]

Добавил входные параметры в тест

Добавил тест в план (их стало 2 по количеству параметров)

Запустил прогон автотестов Раскрыл один инстанс теста Раскрыл второй инстанс теста

В вашем случая я рекомендую не использовать параметры в декораторах externalId и displayName.
В этом случае у вас будет создана только одна карточка автотеста, которая будет прилинкована к тест кейсу.
В тест кейсе вы должны задать все параметры, которые принимает тест. И после этого у вас все успешно сопоставится

[testit-owner]

В случае есть тесты помечены декоратором: @testit.externalId("test_check_status_[{users}]") При этом ручной тест-кейс корректно связывается с автоматизированными. Но есть выполнять запуск через CI (Например GitLab). В результате запуска тестов ни одного теста не запускается. Версия библиотеки testit-adapter-pytest==2.0.8 testit-api-client==2.0.2 testit-python-commons==2.0.8

... INTERNALERROR> File "/usr/local/lib/python3.9/site-packages/testit_adapter_pytest/listener.py", line 94, in pytest_collection_modifyitems INTERNALERROR> raise SystemExit INTERNALERROR> SystemExit ============================ no tests ran in 3.40s =============================

При этом если в выполняется запуск тестов в связке 1:1. то все завершается успешно. В чем может быть проблема ? Не распарсивается параметр в декораторе?

Пришлите тестовый проект и как в системе это у вас отображается

[OddanN]

А дайте скриншот со страницы https://<testit_server>/projects//autotests/library с отображением проблемных автотестов и обязательно что бы видно было внешний ID и название, а так же страницу проблемного тестрана.

И еще вопрос, у вас только externalID параметризирован или displayName тоже? Попробуйте оба параметризировать.

У меня похожая проблема была на ранних версиях адаптера из-за того, что в в ТМС из адаптера не уходило параметризированное название.

[gennadii-borodin]

В вашем случая я рекомендую не использовать параметры в декораторах externalId и displayName. В этом случае у вас будет создана только одна карточка автотеста, которая будет прилинкована к тест кейсу. В тест кейсе вы должны задать все параметры, которые принимает тест. И после этого у вас все успешно сопоставится

При такой организации тестраны стали заканчиваться и в них записываются результаты тестов. Однако, при таком подходе из интерфейса ТМС не видно какой именно параметр упал пока не пойдешь смотреть и разбирать приложенный код.

[gennadii-borodin]

Ну и попутно мелкий бажок в ui

В плашке тест рана зелёный индикатор горит для упавшего теста

[testit-owner]

Да, тут вы правы. Мы планируем переработать данный функционал и выпустить в следующих версиях TMS.

[testit-owner]

Этот индикатор относится к тестрану.

[atsyatkovskiy]

Коллеги и все-таки, как побороть зависший тест-ран (запущенный из тест-плана) с параметризацией?

В моем случае я не добавляю каких либо параметров в декораторы библиотеки testit workItemIds, externalId и тд. Там везде str и нет никаких переменных. Но стоит добавить хоть один параметр через декоратор @pytest.mark.parametrize("var", ["1"]), то в тест-плане происходит зависание теста в статусе "В процессе". Прочитал всю ветку, и по советам в предыдущих ответах добавил параметр в тест-кейс, назвал его так же как и в коде, но и это не помогло, тест виснет.

Работаю на таких версиях:

testit-adapter-pytest==2.0.10
testit-python-commons==2.0.10
testit-api-client==2.0.4

[OddanN]

@atsyatkovskiy у меня сейчас два почти одинаковых теста, оба с параметризацией один корректно работает, другой зависает в тестране и для него с Pytest приходит законченный прогон