]> git.donarmstrong.com Git - neurodebian.git/commitdiff
Merge branch 'master' of alioth:/git/pkg-exppsy/neurodebian
authorMichael Hanke <michael.hanke@gmail.com>
Tue, 30 Nov 2010 19:29:32 +0000 (14:29 -0500)
committerMichael Hanke <michael.hanke@gmail.com>
Tue, 30 Nov 2010 19:29:32 +0000 (14:29 -0500)
* 'master' of alioth:/git/pkg-exppsy/neurodebian:
  "minutes" for DebTest

1  2 
sandbox/proposal_regressiontestframwork.moin

index d1a8d6743d1f663a03cfb2af417bbc9ae0d431f6,97eb0b61e75a333d60a41b347790f3f52449c8fd..40cc8ca483f793eadc5a5a569a49a0ebf4133153
@@@ -7,10 -7,11 +7,10 @@@
  
  == Summary ==
  
 -This specification describes DebTest framework consisting of
 -conventions and tools that would allow Debian to distribute test
 -batteries developed by upstream or Debian developers.  DebTest will
 -enable an extensive testing of a deployed Debian system or a
 -particular software of interest in a uniform fashion.
 +This specification describes DebTest -- a framework with conventions and tools
 +that allow Debian to distribute test batteries developed by upstream or Debian
 +developers.  DebTest will enable an extensive testing of a deployed Debian
 +system or a particular software of interest in a uniform fashion.
  
  == Rationale ==
  
@@@ -112,7 -113,7 +112,7 @@@ for the Debian systems
  
    * Finally, Lucas has access to a powerful computing facility and
      likes to run all kinds of tests on all packages in the Debian archive.
 -      A Debian-wide regression test framework would allow Lucas to execute
 +    A Debian-wide regression test framework would allow Lucas to execute
      complex test collections (suites for individual packages,
      interoperability tests, or comparative) in an automated fashion,
      and file bug reports against the respective packages whenever a
@@@ -160,6 -161,39 +160,39 @@@ as a reference
  The implementation is very dependent on the type of feature to be implemented.
  Refer to the team leader for further suggestions and guidance on this topic.
  
+  * Organization of the framework
+    - packages might register ways to run basic tests against installed
+      versions
+    register:
+     - executable?
+  * Metainformation:
+    - duration: ....
+    - resources:
+    - suites:
+    Helpers:
+    - assess resources/performance:
+  * Invocation:
+    - single package tests
+    - all (with -f to force even if resources are not sufficient)
+    - given specific resources demands, just run
+      the ones matching those
+  * Customization/Output:
+    - plugins
+      + output: some structured output
+      + interface to some dashboard
+  * Debug symbols: ....
+    - do not strip symbols from test binary
+    - 
+  * Implementation language:
+    - Python unless someone takes the burden to develop
+      and maintain for upcoming years.
  == Outstanding Issues ==
  
  The specification process requires experienced people to drive it. More