[infra] Make no-fail the default for numfuzz builders

Remove infra-staging from numfuzz builders and add
no-fail instead. Also remove the staging builders.

Bug: v8:11826
Cq-Include-Trybots: luci.v8.try:v8_numfuzz_dbg_ng,v8_numfuzz_ng,v8_numfuzz_tsan_ng
Change-Id: Icd7bc6275b5c78e38f0e75b5d133b3b7056f333e
Reviewed-on: https://chromium-review.googlesource.com/c/v8/v8/+/3182233
Commit-Queue: Almothana Athamneh <almuthanna@chromium.org>
Reviewed-by: Michael Achenbach <machenbach@chromium.org>
Cr-Commit-Position: refs/heads/main@{#77142}

infra/testing/builders.pyl

@@ -2048,136 +2048,15 @@
         'suffix': 'threads',
         'test_args': ['--total-timeout-sec=2100', '--stress-thread-pool-size=1']
       },
-      {
-        'name': 'numfuzz',
-        'suffix': 'combined',
-        'test_args': [
-          '--total-timeout-sec=2100',
-          '--stress-delay-tasks=4',
-          '--stress-deopt=2',
-          '--stress-compaction=2',
-          '--stress-gc=4',
-          '--stress-marking=4',
-          '--stress-scavenge=4',
-          '--stress-thread-pool-size=2',
-        ],
-        'shards': 4
-      },
-      {
-        'name': 'numfuzz',
-        'suffix': 'scavenge',
-        'test_args': ['--total-timeout-sec=2100', '--stress-scavenge=1']
-      },
-    ],
-  },
-  'V8 NumFuzz - debug': {
-    'swarming_dimensions': {
-      'os': 'Ubuntu-18.04',
-    },
-    'swarming_task_attrs': {
-      'expiration': 13800,
-      'hard_timeout': 4200,
-      'priority': 35,
-    },
-    'tests': [
-      {'name': 'd8testing_random_gc'},
-      {
-        'name': 'numfuzz',
-        'suffix': 'marking',
-        'test_args': ['--total-timeout-sec=2100', '--stress-marking=1'],
-        'shards': 2
-      },
-      {
-        'name': 'numfuzz',
-        'suffix': 'delay',
-        'test_args': ['--total-timeout-sec=2100', '--stress-delay-tasks=1']
-      },
-      {
-        'name': 'numfuzz',
-        'suffix': 'threads',
-        'test_args': ['--total-timeout-sec=2100', '--stress-thread-pool-size=1']
-      },
-      {
-        'name': 'numfuzz',
-        'suffix': 'combined',
-        'test_args': [
-          '--total-timeout-sec=2100',
-          '--stress-delay-tasks=4',
-          '--stress-deopt=2',
-          '--stress-compaction=2',
-          '--stress-gc=4',
-          '--stress-marking=4',
-          '--stress-scavenge=4',
-          '--stress-thread-pool-size=2',
-        ],
-        'shards': 3
-      },
-      {
-        'name': 'numfuzz',
-        'suffix': 'scavenge',
-        'test_args': ['--total-timeout-sec=2100', '--stress-scavenge=1']
-      },
-      {
-        'name': 'numfuzz',
-        'suffix': 'deopt',
-        'test_args': ['--total-timeout-sec=2100', '--stress-deopt=1'],
-        'shards': 2
-      },
-    ],
-  },
-  'V8 NumFuzz - staging': {
-    'swarming_dimensions': {
-      'os': 'Ubuntu-18.04',
-    },
-    'swarming_task_attrs': {
-      'expiration': 13800,
-      'hard_timeout': 4200,
-      'priority': 35,
-    },
-    'tests': [
-      {
-        'name': 'numfuzz',
-        'suffix': 'deopt',
-        'test_args': ['--infra-staging', '--total-timeout-sec=2100', '--stress-deopt=1']
-      },
-    ],
-  },
-  'V8 NumFuzz - TSAN - staging': {
-    'swarming_dimensions': {
-      'os': 'Ubuntu-18.04',
-    },
-    'swarming_task_attrs': {
-      'expiration': 13800,
-      'hard_timeout': 4200,
-      'priority': 35,
-    },
-    'tests': [
-      {'name': 'd8testing_random_gc', 'shards': 2},
-      {
-        'name': 'numfuzz',
-        'suffix': 'marking',
-        'test_args': ['--infra-staging', '--total-timeout-sec=2100', '--stress-marking=1']
-      },
-      {
-        'name': 'numfuzz',
-        'suffix': 'delay',
-        'test_args': ['--infra-staging', '--total-timeout-sec=2100', '--stress-delay-tasks=1']
-      },
-      {
-        'name': 'numfuzz',
-        'suffix': 'threads',
-        'test_args': ['--infra-staging', '--total-timeout-sec=2100', '--stress-thread-pool-size=1']
-      },
       {
         'name': 'numfuzz',
         'suffix': 'stack',
-        'test_args': ['--infra-staging', '--total-timeout-sec=2100', '--stress-stack-size=1']
+        'test_args': ['--total-timeout-sec=2100', '--stress-stack-size=1']
       },
       {
         'name': 'numfuzz',
         'suffix': 'combined',
         'test_args': [
-          '--infra-staging',
           '--total-timeout-sec=2100',
           '--stress-delay-tasks=4',
           '--stress-deopt=2',
@@ -2193,11 +2072,11 @@
       {
         'name': 'numfuzz',
         'suffix': 'scavenge',
-        'test_args': ['--infra-staging', '--total-timeout-sec=2100', '--stress-scavenge=1']
+        'test_args': ['--total-timeout-sec=2100', '--stress-scavenge=1']
       },
     ],
   },
-  'V8 NumFuzz - debug - staging': {
+  'V8 NumFuzz - debug': {
     'swarming_dimensions': {
       'os': 'Ubuntu-18.04',
     },
@@ -2211,29 +2090,28 @@
       {
         'name': 'numfuzz',
         'suffix': 'marking',
-        'test_args': ['--infra-staging', '--total-timeout-sec=2100', '--stress-marking=1'],
+        'test_args': ['--total-timeout-sec=2100', '--stress-marking=1'],
         'shards': 2
       },
       {
         'name': 'numfuzz',
         'suffix': 'delay',
-        'test_args': ['--infra-staging', '--total-timeout-sec=2100', '--stress-delay-tasks=1']
+        'test_args': ['--total-timeout-sec=2100', '--stress-delay-tasks=1']
       },
       {
         'name': 'numfuzz',
         'suffix': 'threads',
-        'test_args': ['--infra-staging', '--total-timeout-sec=2100', '--stress-thread-pool-size=1']
+        'test_args': ['--total-timeout-sec=2100', '--stress-thread-pool-size=1']
       },
       {
         'name': 'numfuzz',
         'suffix': 'stack',
-        'test_args': ['--infra-staging', '--total-timeout-sec=2100', '--stress-stack-size=1']
+        'test_args': ['--total-timeout-sec=2100', '--stress-stack-size=1']
       },
       {
         'name': 'numfuzz',
         'suffix': 'combined',
         'test_args': [
-          '--infra-staging',
           '--total-timeout-sec=2100',
           '--stress-delay-tasks=4',
           '--stress-deopt=2',
@@ -2249,12 +2127,12 @@
       {
         'name': 'numfuzz',
         'suffix': 'scavenge',
-        'test_args': ['--infra-staging', '--total-timeout-sec=2100', '--stress-scavenge=1']
+        'test_args': ['--total-timeout-sec=2100', '--stress-scavenge=1']
       },
       {
         'name': 'numfuzz',
         'suffix': 'deopt',
-        'test_args': ['--infra-staging', '--total-timeout-sec=2100', '--stress-deopt=1'],
+        'test_args': ['--total-timeout-sec=2100', '--stress-deopt=1'],
         'shards': 2
       },
     ],
@@ -2263,33 +2141,18 @@
     'swarming_dimensions': {
       'os': 'Ubuntu-18.04',
     },
-    'swarming_task_attrs': {
-      'expiration': 13800,
-      'hard_timeout': 4200,
-      'priority': 35,
-    },
     'tests': [
       {
         'name': 'numfuzz',
         'suffix': 'deopt',
         'test_args': ['--total-timeout-sec=900', '--stress-deopt=1']
       },
-      {
-        'name': 'numfuzz',
-        'suffix': 'deopt-staging',
-        'test_args': ['--infra-staging', '--total-timeout-sec=900', '--stress-deopt=1']
-      },
     ],
   },
   'v8_numfuzz_tsan_ng_triggered': {
     'swarming_dimensions': {
       'os': 'Ubuntu-18.04',
     },
-    'swarming_task_attrs': {
-      'expiration': 13800,
-      'hard_timeout': 4200,
-      'priority': 35,
-    },
     'tests': [
       {
         'name': 'numfuzz',
@@ -2308,23 +2171,13 @@
       },
       {
         'name': 'numfuzz',
-        'suffix': 'combined',
-        'test_args': [
-          '--total-timeout-sec=900',
-          '--stress-delay-tasks=4',
-          '--stress-deopt=2',
-          '--stress-compaction=2',
-          '--stress-gc=4',
-          '--stress-marking=4',
-          '--stress-scavenge=4',
-          '--stress-thread-pool-size=2',
-        ],
+        'suffix': 'stack',
+        'test_args': ['--total-timeout-sec=900', '--stress-stack-size=1']
       },
       {
         'name': 'numfuzz',
-        'suffix': 'combined-staging',
+        'suffix': 'combined',
         'test_args': [
-          '--infra-staging',
           '--total-timeout-sec=900',
           '--stress-delay-tasks=4',
           '--stress-deopt=2',
@@ -2333,6 +2186,7 @@
           '--stress-marking=4',
           '--stress-scavenge=4',
           '--stress-thread-pool-size=2',
+          '--stress-stack-size=1',
         ],
       },
       {
@@ -2346,11 +2200,6 @@
     'swarming_dimensions': {
       'os': 'Ubuntu-18.04',
     },
-    'swarming_task_attrs': {
-      'expiration': 13800,
-      'hard_timeout': 4200,
-      'priority': 35,
-    },
     'tests': [
       {'name': 'd8testing_random_gc'},
       {
@@ -2370,23 +2219,13 @@
       },
       {
         'name': 'numfuzz',
-        'suffix': 'combined',
-        'test_args': [
-          '--total-timeout-sec=900',
-          '--stress-delay-tasks=4',
-          '--stress-deopt=2',
-          '--stress-compaction=2',
-          '--stress-gc=4',
-          '--stress-marking=4',
-          '--stress-scavenge=4',
-          '--stress-thread-pool-size=2',
-        ],
+        'suffix': 'stack',
+        'test_args': ['--total-timeout-sec=900', '--stress-stack-size=1']
       },
       {
         'name': 'numfuzz',
-        'suffix': 'combined-staging',
+        'suffix': 'combined',
         'test_args': [
-          '--infra-staging',
           '--total-timeout-sec=900',
           '--stress-delay-tasks=4',
           '--stress-deopt=2',
@@ -2395,6 +2234,7 @@
           '--stress-marking=4',
           '--stress-scavenge=4',
           '--stress-thread-pool-size=2',
+          '--stress-stack-size=1',
         ],
       },
       {

tools/testrunner/num_fuzzer.py

@@ -124,9 +124,11 @@ class NumFuzzer(base_runner.BaseTestRunner):
 
   def _runner_flags(self):
     """Extra default flags specific to the test runner implementation."""
-    flags = ['--no-abort-on-contradictory-flags', '--testing-d8-test-runner']
-    if self.infra_staging:
-      flags.append('--no-fail')
+    flags = [
+      '--no-abort-on-contradictory-flags',
+      '--testing-d8-test-runner',
+      '--no-fail'
+    ]
     return flags
 
   def _get_statusfile_variables(self, options):
@@ -163,7 +165,7 @@ class NumFuzzer(base_runner.BaseTestRunner):
       # TODO(majeski): Improve sharding when combiner is present. Maybe select
       # different random seeds for shards instead of splitting tests.
       self._create_shard_proc(options),
-      ExpectationProc(self.infra_staging),
+      ExpectationProc(),
       combiner,
       self._create_fuzzer(fuzzer_rng, options),
       sigproc,

tools/testrunner/testproc/expectation.py

@@ -9,15 +9,13 @@ from testrunner.outproc import base as outproc
 
 class ExpectationProc(base.TestProcProducer):
   """Test processor passing tests and results through and forgiving timeouts."""
-  def __init__(self, infra_staging):
+  def __init__(self):
     super(ExpectationProc, self).__init__('no-timeout')
-    self.infra_staging = infra_staging
 
   def _next_test(self, test):
     subtest = self._create_subtest(test, 'no_timeout')
     subtest.allow_timeouts()
-    if self.infra_staging:
-      subtest.allow_pass()
+    subtest.allow_pass()
     return self._send_test(subtest)
 
   def _result_for(self, test, subtest, result):