g-dejagnu-cluster-entropy: upsert syntax for rhel8 sqlite3

3.24+ postgresql-style "upsert" requires a (...) bit no longer needed on newer sqlite3

g-dejagnu-cluster-entropy: only optimize & comment on update/redo mode only

g-dejagnu-cluster-entropy rework

Change logic so that freshness is tracked in a separate new table.
This allows full caching even if no cluster/expfile data would be
computed (due to no expfiles in a particular cluster, e.g.), and
happens to reduce storage requirements too from the previous v2.
The previous entropy payload schema is restored.

pipeline: disable entropy calculation again

On rhel8's old sqlite 3.26, a pretty pessimal query evaluation
strategy is chosen to run the inner query, and it slows things down by
orders of magnitude compared to f35's sqlite 3.36.  Disable again
awhile.

omnibus g-engine changes

- add "--update" option to g-* engines to refresh rather than start over, if possible
- pipeline uses --update for them
- pipeline process exits with rc != 0 in case of engine/etc. errors
- g-dejagnu-cluster-entropy: API BREAK table schema change, add a cluster membership-hash
  to output table, to know if elements need to be recomputed (if clusterfinder changed
  members); saves 85% time for incremental work situations; this engine could also become
  hypothetically i-* series, being given the new testrun hashes only to focus on, except
  that it consumes the clusterfinder's output

r-httpd-browse: move favicon.ico under /testruns/ URL prefix

temporarily disable entropy calculation to fix scaling offline

r-httpd-browse: tighten up cell rendering of testrun-diffs

r-httpd-browse: add "show all testruns" button on /testruns main page to clear search filters

r-httpd-browse: add popup title for cluster navigation links

r-httpd-browse: up default --max-diffs to 10 as some sensible queries want 6-9

r-httpd-browse: usability tweaks

- add testrun-diffs -> testruns backlink
- add --max-diffs (horizontal) option
- add --max-time for r-* subprocess timeouts
- add useable commitishes= textbox to all-testruns view

r-httpd-browse: tolerate accidentally empty commitish= textbox at top of testruns filter

r-httpd-browse: add cluster navigation to testrun view

Add an arrow and a delta (plus a count) for metadata-induced
clustering, for prev, this, and next clusters.  This allows the user
to navigate between and within testrun clusters, and also run
testsuite-diff operations between the current testrun and related
clusters of testruns.

For better or for worse, some of these clusters can be quite large,
which means the the diff operations can be quite expensive & produce
large results.  Some throttling limits will be needed shortly.

r-show-testrun: add cluster navigation data to json output

r-find-testruns: switch to testrun.authored.time default ordering

i-testrun-indexer: tweak default keywords

- drop the testrun.authored.month & testrun.authored.year
- add testrun.authored.time

TODO++ glibc

g-dejagnu-cluster-entropy: don't produce info message if did no work

g-dejagnu-cluster-entropy: skip calculation on singleton clusters entirely

r-httpd-browse: tweak logging to add request-timing and x-forwarded-for

r-httpd-browse: post merge typo fix

r-show-testrun, r-httpd-browse: expose automake testdirs and individual test cases

paralleling dejagnu structures

i-automake-parser: API BREAK: tweak view automake_testcase_v to add logfile column

r-httpd-browse: add dejagnu expfile individual test reporting

(via expfile= querystring)

r-show-testrun: support --dgexpfile to report individual dejagnu subtests

also: change file parameter to keyword/optional ("--file FOO")
      rather than positional

TODO: reformat, add a few

r-show-testrun, r-httpd-browse: browse dejagnu & automake test summaries (results/counts)

r-httpd-browse icebreaker: report empty sets of things

A minor thing, but this was a factor in my confusion when I ran
r-httpd-browse on an old sqlite db with keyval authored_day
and got an empty query that was trying to sort on testrun.authored.day.

TODO: expand with serhei's concerns

bunsen dejagnu parsing: tolerate misordered .log <-> .sum

As keiths & serhei have long ago discovered and we rediscovered now,

       make -j check

type dejagnu runs can regularly scramble .sum / .log file segments so
they no longer parallel.  One offender is gcc's
contrib/dg-extract-results.sh that assembles .log/.sum files from
parallel-executed pieces .... and proceeds to SORT rows within .sum
file .exp segments (only).  Why?  Why?  WHYYYYYY?!  y tho

That resulted in many logfile cursor = NULL results.  Tweak
i-dejagnu-parser to tolerate this case better by pre-parsing segments
of the .exp file loglines.  The logic here may break if some wacky
tool reorders the sequence of .exp files, but this has not been
observed.

pipeline: progress message capitalization tweak

very important

Revert "bunsen dejagnu parsing: tolerate misordered .log <-> .sum"

This reverts commit 88937cef4e9ced3cae2c794601caa32f82a26948.

Famous last words: "In theory, this will be a rare thing."

Not rare, with severe cases occurring in the larger bunsendb corpus.
Let's try again later.

bunsen dejagnu parsing: tolerate misordered .log <-> .sum

As keiths has long ago discovered and we rediscovered now,

   make -j check

type dejagnu runs can regularly scramble .sum / .log file segments so
they no longer parallel.  That resulted in many logfile cursor = NULL
results.  Tweak i-dejagnu-parser to tolerate this case better by
willing to restart a search for a .log file snippet from the top of
the file.

httpd: add linenumbers back in diffs view; properly render entire files when lacking focus line#

httpd diff button label

r-httpd-browse: add focus-line / linewindow logic to testrun logfile viewer

... and have the test-diff view point to particular .log / .sum line regions

r-httpd-browse: add link from diff-testresult to particular log file

httpd: html typo fix, default order desc

todo++

r-httpd-browse: upgrade the favicon.ico

r-httpd-browse: add r-diff-testruns frontend

r-httpd-browse: add some input field titles for popups

formatting tweak asc/desc

httpd format tweak

r-find-testruns, r-httpd-browse: show user the sort / filter metadata too

usability improvement

r-httpd-browse: drop unnecessary logging

more python3.6

r-httpd-browse: more python3.6 compat

tools: open sqlite3 db always with uri=True

r-httpd-browse: tweak exception reporting

r-httpd-browse: python3.6 compat for format_exception()

todo++

README: point people at r-httpd-browse

r-httpd-browse: allow http result caching

300 seconds for the filterable list-of-testruns
many seconds for testrun particulars

pipeline: run a sqlite analyze command after global engines

This updates the index/stats to allow more efficient queries later.
Seems to make noticeable difference on some r-find-testruns queries.

TODO so i don't forget

r-httpd-browse: add testrun -> testruns link

r-httpd-browse: show empty files too

previous jinja template rejected an empty file body as if a file was not selected at all

r-httpd-browse: testrun view: drop list of files if looking at one file

r-show-testrun: sort file names

r-httpd-browse: add filter form at top of page, exposing r-find-testlogs parameters

also: fix a bug in r-find-testruns that generated broken sql for
    --has-expfile-like FOO --has-trsfile-like BAR

r-show-testrun: only list blobs not trees (directory names) in file list

new tool: r-find-testruns

- add a predicate-filtering frontend for testrun searches
- add tests
- coincidentally (sorry), do some toolshedding cleanup on i-testrun-indexer
  metadata extraction; add back testrun.git_describe for the nickname

r-httpd-browse: don't close that which is not open

add r-httpd-browse, first baby snapshot

flask based app, opens a http port for browsing sqlite/git data
defaults http://localhost:8003/

tweak default output, make less chatty

pipeline: sqlite db size report: %.2f is nicer

pipeline: add database & git repo size report at shutdown

fixes for --refspec option

1. dead commits aren't in the repo, so there's no refspec to check.
2. excluded commits should be subtracted from len(new)
   or else the global analysis will run even when nothing has changed.

add --refspec option to filter commits from an indexed repo

Adding --refspec="*testlogs*" will limit the processed commits from
the testlog git repo to those whose containing branch according to
'git describe --always --contains' includes 'testlogs'. This is needed
on my Bunsen setup where I already have a testlog repo being regularly
updated with branches 'testlogs' containing valid SystemTap testlogs
and 'testruns' containing JSON index data which this branch of Bunsen
doesn't need to process. This option saved around 3 hours on initial
build from my SystemTap data.

configury: make automake maintainer-mode non-default

README: add complete working example steps

README: add simpler refspec based selective pulling

add more recipes for inserting content into bunsen testrun repo

r-diff-testruns: usability++

- accept --expfile-like parameter for expfile matching
- decorate textual output with logfile:line sumfile:line cursors

reporters: always try resolving git commitish, improve error messages

r-diff-testruns: also accept committish

README: rely on default --db / --git in sample commands

(copypasta nuke)

all: add argparser formatter_class=argparse.ArgumentDefaultsHelpFormatter

reporters: tweak output/ui

- make jinja templates auto-listing
- suppress an extra '\n' at end of reports
- add initial test for r-show-testrun

r-* tools: suppress BrokenPipeError

r-show-testrun: new reporting tool

r-diff-testruns: grow json output template, support duplicate commit inputs

pipeline: document python3-git iter_commits('--all') hack

dejagnu parser: fix regexp-quoting for .sum "Summary" line parsing

dejagnu testcase table: drop the "logcursor2" column

We can most likely infer this value at report time, and as it is, it's eating several percent
of the entire sqlite table.

README: mention r-diff-testruns

fix automake_testcase_v view; logfile != testdir

tweak dejagnu metadata message - one per run not per .sum

testrun_kv: ensure no duplication of keys in testrun metadata

while investigating a systemtap buildbot .sum misparse, found a bunch
of bad/dupe systemtap_version kv's.

bunsenql: add beginnings of regression reporter

t-diff-testruns takes any number of testrun commit hashes, and prints
a jinja-formatted report of the different test cases.

testlog-indexer: add an incremental vacuum pragma after deletions

.gitignore builddir=sourcedir artifacts

new: automake testsuite parser / summarizer

dejagnu: add gdb compiler_info k/v extraction

rhel8 compatibility

configury: add python module presence checks

add README