Divide tests in important and less important #180

New Issue

Open

opened 2022-01-04 16:21:57 +00:00 by lx · 0 comments

lx commented

2022-01-04 16:21:57 +00:00

Owner

Quentin on Matrix:

Je propose de se fixer un temps maximal pour run le smoke test dans la CI, exemple 1min ou 2min. Si il est dépassé ou quand il sera dépassé, on mets les tests les moins importants derriere un flag de sorte qu'on dépasse jamais notre budget mais qu'on le consomme au mieux. Le flag serait passé pour les builds weekly et de release pour vraiment faire les tests complets

The idea is to separate important tests and less importants test. We want the CI to give us a fast result on every commit to weed out trivial issues, and run the full test suite less often, e.g. nightly or weekly. (I think nightly would be nice actually)

Quentin on Matrix: > Je propose de se fixer un temps maximal pour run le smoke test dans la CI, exemple 1min ou 2min. Si il est dépassé ou quand il sera dépassé, on mets les tests les moins importants derriere un flag de sorte qu'on dépasse jamais notre budget mais qu'on le consomme au mieux. Le flag serait passé pour les builds weekly et de release pour vraiment faire les tests complets The idea is to separate important tests and less importants test. We want the CI to give us a fast result on every commit to weed out trivial issues, and run the full test suite less often, e.g. nightly or weekly. (I think nightly would be nice actually)

👍 1