r-grid-testcase: Fix mypy type hint errors

configury: regen tests/Makefile.in

r-grid-testcase: Add glossary section to r-httpd-browse page for r-grid-testcase view

run-r-grid-testcase.sh: new test script for r-grid-testcase that runs all invocation levels (toplevel, as well as automake, dejagnu, glic for test and subtest levels) and compares the output to a predetermined outcome
r-grid-testcase: Add check to ensure the database is accessible before running any commands. Add in logging messages to show what sql query is currently being run.

r-grid: add check to ensure provided vertical and horizontal keys exist in the db
r-httpd-browse: Display error message when no info on test is found.

r-grid: fix for text output template not working

r-grid: exit if results are not found rather than continuing execution

automake parser: avoid subdirectory .trs/.log matches

Previous code falsely associated found subtest.trs/.log files with any
parent test directory (identified by presence of a test-suite.log
file), which fails especially when there are multiple nested test
directories.  This doesn't seem to happen with normal automake tests,
however, valgrind's proposed tests do include nested subdirs.

New code matches the dirname precisely.

r-grid-testcase: Fix the glib gridview queries not working.

r-grid-testcase: Remove parsing of the results data, instead send the query
information out in a list containing dict of every row of the query. This is to
avoid unnecessary double parsing and issues arising from converting the dict
keys to strings.

r-httpd-browse: Moved the parsing from r-grid-testcase here

r-httpd-browse: Add links in glibc pages to r-grid view

Small fix to preferred function when trying to return empty lb[0]

r-httpd-browse: gridview adapt more automatically to unexpected horizontal/vertical keywords

Include a prioritized preference default for each axis, and match them
to the actual list of keywords available for the testrun.

r-httpd-browse.in: handle another failing r-grid-testcase case

"testsuite_type":[] also needs initialization

r-grid-testcase: fix to testsuite_type_query for glibc tests.

r-grid-testcase: fix for no issue to toplevel view caused by no "testsuite_type" assigned when in toplevel view.

testsuite: force TZ=US/Eastern

else git timestamps run differently elsewhere

r-grid-testcase: add trsfile, logfile info to the dict for automake invocations
and trfile, outfile info to the dict for glibc invocations. Add testsuite type
info to the dict.

r-httpd-browse: Add links to allow navigating to r-grid-testcase test and
subtest level views from the automake and glibc pages

r-grid-testcase: Add support for subtest queries for automake and glibc

r-grid-testcase: Add queries to fetch details of each type of testsuite. These
details will be used in the cluster query to find proximate keywords

r-grid-testcase: Add logic to determine testsuite type

r-grid-testcase: Fix formatting of the sql queries to be consistent

r-diff-testruns: identify metadata differences too

Extend r-diff-testruns with an "metadata_results" output, which
r-httpd-browse renders at the top of the "testrun-diffs" page.

r-httpd-browse: gridview: improve "diff" invocation gui

r-grid: change ordering of the sql queries to reflect the hierarchy of the
invocation levels (omnitest top level, test, subtest). Change the query
formatting to be more consistent

r-grid: remove deprecated testsuite variable

r-grid-testcase: fix for subtest information being repeated in
output due to duplicates in the sql query.

gridview html: tweak whitespace

Don't allow the cell counts/checkboxes to line-break via CSS.

r-httpd-browse testrun summary: split up the omnitest summary query

This avoids some pessimal sqlite view/filter optimization.

r-show-testsuite: don't compute dejagnu/etc. details unless requested

When invoked from r-httpd-browse's summary view, all the frontend
needs to know if there exist any dejagnu/etc. testsuite details, not
the details themselves.  Add a new output flag family ("has....") to
r-show-testrun, and consume it in r-httpd-browse.  This saves some
database traffic ergo page latency.

httpd: add a gridview entry icon in a more prominent place

gridview: drop toplevel grid cell subindexing with row['testsuite']

r-grid-testcase: For top-level invocation, store the testsuite string as a tuple in
the key of the count dict, rather than in the h/v key of the cell dict as it
makes more sense for the testsuite info to be associated to each
pass/fail/other entry in each cell.
r-httpd-browse: Add support for the new top-level invocation in the grid view.
This view will shows test result information aggregated on the testrun level,
rather than individual test level.

r-show-testrun: don't calculate cluster adjacency stuff by default

... it's too slow, and only needed for r-httpd-browse in "cluster" focus mode,
so add a new default-off "--cluster" option.

g-gridview-test-summary: add dummy --update option

... which is needed for pipeline ops

r-httpd-browse: work around python 3.12ish deprecation of datetime.utcnow()

datetime.datetime.now(datetime.timezone.utc) works sans drama on both python3.6 and 3.12

gridview: tolerate failed r-grid-testcase queries

- move keyword-enumeration logic over to r-httpd-browse
- r-grid-testcase can still fail bigly if results empty or whatever
- but r-httpd-browse will attempt to produce at least an empty grid
  with a functional search form

r-grid-testcase: add new invocation level --toplevel that returns test result
information aggregated on the testrun level, rather than individual test level.
This pulls information for all testsuites of each testrun from
omnitest_summary_v and presents it in the same cell-dictionary format as the test
level, but with additional testsuite information in the key of each cell entry

gridview jstable: do sort(0,"asc') procedurally

r-httpd-browse: gridview: start with first column (vertical axis) sorted

gridview configury: ensure both r- and g- grid scripts are installed

r-grid-testcase: Add new queries for the subtests views of each testsuite.
This maintains support for the dejagnu subtest view via r-httpd-browse.
The queries for the other subtest have been implemented but a way to
select which type of testsuite query to use is still in the works.

gridview support views: run from pipeline (with rw sqlite privs)

Running from a reporter process wouldn't give rw privs to a child process.

g-gridview-test-summary: new script to create a view combining
data from 'automake', 'dejagnu', and 'glibc' testsuites.
r-grid-testcase: move the gridview_test_summary_v view creation
to g-gridview-test-summary and run it as a subprocess.

r-grid-testcase: update query for test level invocation to use a new view
that incorporates all testsuite information. This breaks the subtest level views.

r-grid-testcase: Change keyword_query to not rely on any other query output. Use better variables names.

Correct formatting for r-show-testrun.1 man page options.

r-httpd-browse: change default horiz axis to key "architecture"

uname-m is less onmipresent

r-grid-testcase: compute debug message unconditionally

simplify logic for ~0 cost

r-grid-testcase: fix result duplication from the sql query by adding DISTINCT
keyword. Update while loop description

r-httpd-browse:

Enable sorting for first column in the grid
Remove natsorting import and natsorting of the dict as it is not needed
Remove unnecessary cookies

r-httpd-browse.in: Add ability to access difference/regression view

Add checkboxes to each of the testruns in the grid cells These can be used with the
diff/regress buttons to access the diff/regression view via r_diff_testruns()

r-httpd-browse: natsort the table values in the grid-testcase.html template render

- Using the natsort library to sort the table_data dictionary keys in reverse order
- Removing unnecessary sorting of results in the template
- Removing unused code for storing vertical and horizontal keyword values in the dictionary

r-grid-testcase: Add third keyword filter argument
This commit adds a new third keyword filter argument to further filter results.
The break condition for the search loop was modified to allow for a single
search expansion if no results where found in the first loop itteration

r-httpd-browse: Include form input for third keyword
This change includes a form input for the third keyword in the table.

r-grid-testcase: Run check for errors in the result_dict earlier on to catch empty dict sooner

r-grid-testcase: Remove unnecessary data for storing vertical and horizontal
keyword values in the dict

r-httpd-browse: Don't show subtest information on expfile table view. Move the
building of the "counts" subdictionary to r-grid-testcsae.
r-grid-testcase: Don't load
additional subtest information when in expfile view. Only load result counts

r-httpd-browse: remove unused </div>. Change 'check' and 'X' symbols to unicode
hex in the Jinja template. Remove unneeded key from dict reading loop.
r-grid-testcase: Clean up the code by removing code
blocks that do not need to be in the while loop outside. Add
comment block to explain the main while loop. Exit loop if max
number of keywords was reached.

r-grid-testcase: Stop the dynamic search expansion loop if more than half the
    cells in the final rendered table will be empty

accidental push cleanup

r-httpd-browse: only highlight in green the base test in the cell that contains it, instead of the whole cell

r-grid-testcae: update to the  SQLITE_MAX_VARIABLE_NUMBER  patch to be more dynamic
and equally divide the keyword limit among the h and v keywords. Removed duplicate
variable in other_variables

PR31712: rework jstable.sh for better sorting

The jstable.js inner sorting function now uses String.localeCompare(...., {numeric:true})
to approximate strverscmp() style natural sorting.  In addition, for sorting purposes,
empty cells are interpreted as "0".

jstable .js/.css: replace with uncompressed 1.6.5 code

Easier to edit this way.
https://github.com/jstable/JSTable

grid view: tweak grid peer-to-peer navigation link, drop corner number

r-grid-testcase: fix issue caused by reaching the max number of variables allowed for the version this version of sqlite. SQLITE_MAX_VARIABLE_NUMBER = 999, so the v_keywords and h_keywords have been limited to a combined total of 999 now. https://www.sqlite.org/limits.html

r-grid-testrun: Expand the grid-cell if it is too small. This is done via dynamic expansion of the search limits if number of desired cells from the vertical and horizontal limits is not reached.
New limits are based on the ratio of total cells to desired cells. Added
checks to break the loop if the maximum number of iterations is reached
or if the lengths of v_keywords and h_keywords haven't changed,
indicating all data has been read. Also implemented slicing of the results
dictionary to remove results that go over the limit. Added button to jump to the cell with the base test in it for easier navigation
r-httpd-browse: Fix box styling.

r-grid-testcase: Add h_keywords and v_keywords to the template render in r-grid-testcase
r-httpd-browse: Display any empty cells that do not contain information

r-httpd-browse (r-grid-testcase view): Add more logging debug messages

r-httpd-browse (r-grid-testcase view): Fix the icons in the cells
showing the favicon of the  copyleft symbol instead of the bunsen icon. Set --horizontal default of r-grid-testcase to be uname-m

r-httpd-browse (r-grid-testcase view): move the total results count for each cell to the right to make the view more compact.Fix commas not showing between the results, use bunsen favicon for the testrun icon. Fix link for each result to point to the dgexpfile view instead of dejagnu view. Add horizontal and vertical information to the hover-over/title attribute.

Change hashes in the cell to be unicode icons instead of hashes and make them link to r-grid-view tool using that testrun hash. Add clickable links to each of the result icons as well as the ability to see the gitcommit hash when you hover over via the title attribute. Add nonbreaking spaces to the grid cell text.

Change filter labels and added spacing between the filter options

Fix some links in the cells to r-grid-testcase of subtests not working, wrong trid given

r-httpd-browse grid view tweaks cont'd

also ... mypy type checks are unhappy with recent code, starting
slight fixes

r-httpd-browse: for dejagnu tab links to gridview, use fancier icon

https://www.fileformat.info/info/unicode/char/25a6/index.htm

r-grid-testcase --db: don't file-existence-check

This check breaks in case of URL style sqlite database paths.

r-grid-testcase: new tool

Introduces the r-grid-testcase tool, a Python script that fetches and
summarizes test/subtest results from the Bunsen database which are
proximate to a base, input test/subtest.  Proximity is defined in 2
dimensions, the vertical and horizontal axis keywords selected from
the base test. The proximity of each test is defined as the distance
of the test from the base test in the testrun_cluster table.

The tool was designed to have its output consumed by r-httpd-browse to
create a grid-cell view of the results, although it can be used
independently. It takes in a testrun id, specific test name (expfile),
and optionally a subtest name alongside vertical and horizontal
keywords and limits on how many clusters to search. The output is a
json object where the keys are a tuple-string of the vertical and
horizontal keyword, and the value is a list that contains information
about all the tests that match those keyword filters (expfile name,
subtest name, result, etc.).

It works by first identifying the horizontal/vertical keyword values
of the base subtest, then using these keywords to build a proximate
keyword list for each dimension, then finally doing a search on the
database for test runs that match these keywords. All this is done
with multiple sql queries that may join several tables from the
database together.  The relevant information is then put into a Jinja
template and sent to the output.

r-httpd-browse has been updated to include a '+' button for each test
file in the dejagnu view and a '+' button for each subtest in the
dgexpfile view. Clicking this button will open the r-grid-testcase
web-view using that test/subtest.  The webview consists of a gridded
table that displays all the proximate tests. The view hides some cell
information behind buttons for the sake of compactness. The base test
run cell is coloured green and the text is bold. The web-view allows
the user to change the filter values when calling r-grid-testcase.
r-httpd-browse grid view works by calling r-grid-testcase, consuming
the output then passing the output to an html template that also makes
use of some javascript.

The current r-grid-testcase and web-view version only works with
dejagnu-style tests but compatibility with other testsuites is planned
for the future

Example:
r-grid-testcase --trid 77dcc4d2191c11c700eb55f225db78a4b2b00dc7
  --test binutils-all/addr2line.exp  --template json --h_limit 5
  --v_limit 5

r-httpd-browse: datetime.UTC compat

3.12 will deprecate something, but its replacement is not supported on 3.6

r-httpd-browse: use werkzeug multiprocess mode by default

r-httpd-browse spends a fair bit of CPU time in python land, massaging
the json data coming from lower level r-* tools.  During this time, it
cannot act concurrently, even in the werkzeug threaded=True mode,
because it's all blocking python code.  Add new --threaded /
--processes options, with a default on the latter, to run report jobs
in concurrent subprocesses.  This allows genuine concurrency.

convert tests to use only '' single-quoted string literals

sqlite 3.40something stopped quietly accepting "foo" literals

bin/*: use r"foo" regexp literal syntax to protect all the \S etc. escapes

i-testrun-indexer: add indexes on keyword values (asc and desc)

This accelerates interactive enumeration of testruns.

r-httpd-browse: correct result name table headings in automake testsuite summaries

r-httpd-browse: view omnitest.results by default on testruns list

i-omnitest-summarizer: don't add metadata for empty results

Some testruns don't have currently parseable result counts.

doc/pipeline.1: document i-omnitest-summarizer

i-omnitest-summarizer: add a metadata field "omnitest.results"

Might as well make this data easyish to see on a testrun list.

pipeline: run dead & new testrun jobs in an interleaved way

This way, even following a big t-untag-testruns batch, where timeouts
might kill the job before completion, the bunsen pipeline can still
make progress on new testruns too.

r-diff-testruns, r-find-testruns: sqlite temp table optimzation

These scripts use complex sql operations that can cause the generation
of temporary tables (for distinct/order-by evaluation).  Direct sqlite
to keep these results in memory rather than bother the OS with disk
access.

update python module prereq list

drop mypy mentions from top level Makefile.*

turd cleanup

r-httpd-browse: add "raw" file content downloading

From both the filelist and the file browser, a "raw" link allows
reasonably efficient download of an entire file, without the html &
jinja goo involved in the numbered, formatted, navigable normal file
browser.

Also, fix number-of-lines glitch in file browser, which caused a
false blank line at end.

mypy: run & clean more systematically

Previous code would miss r-httpd-browse, which was generated.
New shell loop relies less on make timestamping and on a simple
and through shell loop.  Also, the python file matching is
made more robust.

r-httpd-browse: whoopsie, tyreaded=XYZ typo fix

r-httpd-browse: get flask/werkzeug to run in multithreaded mode

i-dejagnu-parser: extract more systemtap metadata

Including especially the new cpuflags bits.

r-httpd-browse: report the listening port number at startup

r-httpd-browse.in: decrease diagnostics a touch

r-httpd-browse.in: python 3.6 packages typing.Literal elsewhere