r-httpd-browse: add popup title for cluster navigation links

r-httpd-browse: up default --max-diffs to 10 as some sensible queries want 6-9

r-httpd-browse: usability tweaks

- add testrun-diffs -> testruns backlink
- add --max-diffs (horizontal) option
- add --max-time for r-* subprocess timeouts
- add useable commitishes= textbox to all-testruns view

r-httpd-browse: tolerate accidentally empty commitish= textbox at top of testruns filter

r-httpd-browse: add cluster navigation to testrun view

Add an arrow and a delta (plus a count) for metadata-induced
clustering, for prev, this, and next clusters.  This allows the user
to navigate between and within testrun clusters, and also run
testsuite-diff operations between the current testrun and related
clusters of testruns.

For better or for worse, some of these clusters can be quite large,
which means the the diff operations can be quite expensive & produce
large results.  Some throttling limits will be needed shortly.

r-show-testrun: add cluster navigation data to json output

r-find-testruns: switch to testrun.authored.time default ordering

i-testrun-indexer: tweak default keywords

- drop the testrun.authored.month & testrun.authored.year
- add testrun.authored.time

TODO++ glibc

g-dejagnu-cluster-entropy: don't produce info message if did no work

g-dejagnu-cluster-entropy: skip calculation on singleton clusters entirely

r-httpd-browse: tweak logging to add request-timing and x-forwarded-for

r-httpd-browse: post merge typo fix

r-show-testrun, r-httpd-browse: expose automake testdirs and individual test cases

paralleling dejagnu structures

i-automake-parser: API BREAK: tweak view automake_testcase_v to add logfile column

r-httpd-browse: add dejagnu expfile individual test reporting

(via expfile= querystring)

r-show-testrun: support --dgexpfile to report individual dejagnu subtests

also: change file parameter to keyword/optional ("--file FOO")
      rather than positional

TODO: reformat, add a few

r-show-testrun, r-httpd-browse: browse dejagnu & automake test summaries (results/counts)

r-httpd-browse icebreaker: report empty sets of things

A minor thing, but this was a factor in my confusion when I ran
r-httpd-browse on an old sqlite db with keyval authored_day
and got an empty query that was trying to sort on testrun.authored.day.

TODO: expand with serhei's concerns

bunsen dejagnu parsing: tolerate misordered .log <-> .sum

As keiths & serhei have long ago discovered and we rediscovered now,

       make -j check

type dejagnu runs can regularly scramble .sum / .log file segments so
they no longer parallel.  One offender is gcc's
contrib/dg-extract-results.sh that assembles .log/.sum files from
parallel-executed pieces .... and proceeds to SORT rows within .sum
file .exp segments (only).  Why?  Why?  WHYYYYYY?!  y tho

That resulted in many logfile cursor = NULL results.  Tweak
i-dejagnu-parser to tolerate this case better by pre-parsing segments
of the .exp file loglines.  The logic here may break if some wacky
tool reorders the sequence of .exp files, but this has not been
observed.

pipeline: progress message capitalization tweak

very important

Revert "bunsen dejagnu parsing: tolerate misordered .log <-> .sum"

This reverts commit 88937cef4e9ced3cae2c794601caa32f82a26948.

Famous last words: "In theory, this will be a rare thing."

Not rare, with severe cases occurring in the larger bunsendb corpus.
Let's try again later.

bunsen dejagnu parsing: tolerate misordered .log <-> .sum

As keiths has long ago discovered and we rediscovered now,

   make -j check

type dejagnu runs can regularly scramble .sum / .log file segments so
they no longer parallel.  That resulted in many logfile cursor = NULL
results.  Tweak i-dejagnu-parser to tolerate this case better by
willing to restart a search for a .log file snippet from the top of
the file.

httpd: add linenumbers back in diffs view; properly render entire files when lacking focus line#

httpd diff button label

r-httpd-browse: add focus-line / linewindow logic to testrun logfile viewer

... and have the test-diff view point to particular .log / .sum line regions

r-httpd-browse: add link from diff-testresult to particular log file

httpd: html typo fix, default order desc

todo++

r-httpd-browse: upgrade the favicon.ico

r-httpd-browse: add r-diff-testruns frontend

r-httpd-browse: add some input field titles for popups

formatting tweak asc/desc

httpd format tweak

r-find-testruns, r-httpd-browse: show user the sort / filter metadata too

usability improvement

r-httpd-browse: drop unnecessary logging

more python3.6

r-httpd-browse: more python3.6 compat

tools: open sqlite3 db always with uri=True

r-httpd-browse: tweak exception reporting

r-httpd-browse: python3.6 compat for format_exception()

todo++

README: point people at r-httpd-browse

r-httpd-browse: allow http result caching

300 seconds for the filterable list-of-testruns
many seconds for testrun particulars

pipeline: run a sqlite analyze command after global engines

This updates the index/stats to allow more efficient queries later.
Seems to make noticeable difference on some r-find-testruns queries.

TODO so i don't forget

r-httpd-browse: add testrun -> testruns link

r-httpd-browse: show empty files too

previous jinja template rejected an empty file body as if a file was not selected at all

r-httpd-browse: testrun view: drop list of files if looking at one file

r-show-testrun: sort file names

r-httpd-browse: add filter form at top of page, exposing r-find-testlogs parameters

also: fix a bug in r-find-testruns that generated broken sql for
    --has-expfile-like FOO --has-trsfile-like BAR

r-show-testrun: only list blobs not trees (directory names) in file list

new tool: r-find-testruns

- add a predicate-filtering frontend for testrun searches
- add tests
- coincidentally (sorry), do some toolshedding cleanup on i-testrun-indexer
  metadata extraction; add back testrun.git_describe for the nickname

r-httpd-browse: don't close that which is not open

add r-httpd-browse, first baby snapshot

flask based app, opens a http port for browsing sqlite/git data
defaults http://localhost:8003/

tweak default output, make less chatty

pipeline: sqlite db size report: %.2f is nicer

pipeline: add database & git repo size report at shutdown

fixes for --refspec option

1. dead commits aren't in the repo, so there's no refspec to check.
2. excluded commits should be subtracted from len(new)
   or else the global analysis will run even when nothing has changed.

add --refspec option to filter commits from an indexed repo

Adding --refspec="*testlogs*" will limit the processed commits from
the testlog git repo to those whose containing branch according to
'git describe --always --contains' includes 'testlogs'. This is needed
on my Bunsen setup where I already have a testlog repo being regularly
updated with branches 'testlogs' containing valid SystemTap testlogs
and 'testruns' containing JSON index data which this branch of Bunsen
doesn't need to process. This option saved around 3 hours on initial
build from my SystemTap data.

configury: make automake maintainer-mode non-default

README: add complete working example steps

README: add simpler refspec based selective pulling

add more recipes for inserting content into bunsen testrun repo

r-diff-testruns: usability++

- accept --expfile-like parameter for expfile matching
- decorate textual output with logfile:line sumfile:line cursors

reporters: always try resolving git commitish, improve error messages

r-diff-testruns: also accept committish

README: rely on default --db / --git in sample commands

(copypasta nuke)

all: add argparser formatter_class=argparse.ArgumentDefaultsHelpFormatter

reporters: tweak output/ui

- make jinja templates auto-listing
- suppress an extra '\n' at end of reports
- add initial test for r-show-testrun

r-* tools: suppress BrokenPipeError

r-show-testrun: new reporting tool

r-diff-testruns: grow json output template, support duplicate commit inputs

pipeline: document python3-git iter_commits('--all') hack

dejagnu parser: fix regexp-quoting for .sum "Summary" line parsing

dejagnu testcase table: drop the "logcursor2" column

We can most likely infer this value at report time, and as it is, it's eating several percent
of the entire sqlite table.

README: mention r-diff-testruns

fix automake_testcase_v view; logfile != testdir

tweak dejagnu metadata message - one per run not per .sum

testrun_kv: ensure no duplication of keys in testrun metadata

while investigating a systemtap buildbot .sum misparse, found a bunch
of bad/dupe systemtap_version kv's.

bunsenql: add beginnings of regression reporter

t-diff-testruns takes any number of testrun commit hashes, and prints
a jinja-formatted report of the different test cases.

testlog-indexer: add an incremental vacuum pragma after deletions

.gitignore builddir=sourcedir artifacts

new: automake testsuite parser / summarizer

dejagnu: add gdb compiler_info k/v extraction

rhel8 compatibility

configury: add python module presence checks

add README

bunsenql: add configury & testsuite baby steps

i-dejagnu-parser: tweak keyword extraction

add some generic dejagnu sumfile patterns
extend testcase result types (incl. pseudo types PATH & WARNING)
fiendishly extract $tool_version from very end of normal sumfile

toolshed: move all tools together into a bin/ directory

dejagnu index: maintain a teensy cache for interned strings (intent: dejagnu result codes)

dejagnu parse: drop unique ddl

While unique() assertions in the table ddl are good for data hygiene,
they also cost considerable storage.  Since the pipeline manages
analysis engine lifecycles carefully and non-concurrently, we don't
really need them to assert desirable uniqueness properties in the
tables.  Instead, some ".eqp on" inspired indexes can do the job
of accelerating queries, subject to easier further tuning.

drop bunsen-testrun-repo.5, mostly dupes bunsen.7

drop autoincrement from int-primary-key columns

sqlite already autoincrements them in the way we use them, and better

sourceware email import: don't bother put subject into metadata, too unique

provide periodic progress for g-testrun-clusterfinder