Remove functioncall::var_assigned_to_retval

It's unusual to have a value specific to one visitor stored in the tree
node itself.  This particular value is only used by c_unparser.  Make it
a c_unparser member instead, saved and restored as necessary to allow
for nested calls.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

PR18884 bonus: optimize tmps in more places

Anywhere a tmpvar is subject to a single assignment, use the new
c_assign which can use an override with literal values.

PR18884: skip tmps for any literal, not by tok->type

Some literal expressions get created dynamically, like const-folding an
expression of two literals.  Those will probably not have a tok->type
that looks like a literal, but they're still reasonable candidates to
skip temporary storage and output directly into C.

Add a new c_assign for any tmpvar=expression, which will check for
literals to override the tmp, or else assign them as normal.  Literals
are detected with a dynamic_cast of the expression, without looking at
the token at all.  In many places that were roughly doing this based on
tok->type, use the new c_assign to handle it automatically.

The new test transok/literal_tmp.stp compares the PR18884 examples,
asserting that they now have *exactly* the same generated code.

Restrict optimization of literals in "%s\n" to streams only

This "use_print" optimization is only effective for printing to streams
with _stp_print().  Then a literal string argument to "%s\n" can just
have that literal token-pasted with the newline string.  But when
printing to strings, like sprintln, that optimization isn't actually
taken, so it was getting the newline twice.

Add new tests with sprint and sprintln on string literals, then clean up
the code that does the optimization -- for streams only.

testsuite: swap dot.exp and sprint.exp

These two test drivers had swapped names for their respective .stp
files.  The contents are unchanged, just rename-swapped.

Eliminate the use of tex(nomencl.sty) in TeX documentation files

RHEL 7 does not package the nomencl.sty file and having this style
file used in systemtap makes it difficult to build the documentation.
The only place it was being used was in the tutorial.tex and it was
not generating a useful glossary.  The glossary generation of
tutorial.tex has been disabled for the time being.

parse: intern keywords

parse: check atwords without an explicit '@'

parse: unorder keywords and atwords

Support backspace handling in monitor mode for probe toggling.

Swap argument order to check for bytes written.

Fix monitor mode to be compatible with the private global feature.

The synthetic functions and variables did not have a __global_
prefix, causing the symbol resolution to fail at finding them.
Commit 0c7e069fe82 assumes that there is a token for every probe
while two synthetic probes are generated in monitor mode with
null context. parse_synthetic_probe uses "<synthetic>" again
if no token is found for the probe. The __global_ prefix is shown
in monitor mode where global variables are shown so they needed
to be unmangled as done in commit 8f54215ef850c809.

* elaborate.cxx: above changes
* parse.cxx: fall back to "<synthetic>" if token is nullptr
* staprun/monitor.c: use return values of function calls
* staptree.cxx: check for token nullptr in functiondecl::printsig

Fix undeclared pipe2 problem.

Use pipe and fcntl instead.

testsuite: allow pn to report *both* open and openat

testsuite: add a semicolon in perf.sh function poly()

Merge branch 'funstuff'

Fix undeclared F_SETPIPE_SZ error

Removed usage for now. This may be needed later to ensure
pipe does not overflow.

Fixed PR19275 by updating stap_run.

* testsuite/lib/stap_run.exp: The stap_run() function now fails if it
  receives any unexpected output. The 'all_pass_string' was modified to be
  only one copy of "systemtap test success" instead of allowing of
  multiple copies.
* testsuite/systemtap.base/array_slicing.exp: Handle stap_run
  changes. Also, fixed the test names so that they aren't '$test_name'.
* testsuite/systemtap.base/at_var_tracepoint.exp: Update for stap_run
  changes.
* testsuite/systemtap.base/at_var_tracepoint.stp: Ditto.
* testsuite/systemtap.base/be_order.stp: Ditto.
* testsuite/systemtap.base/div0.exp: Ditto.
* testsuite/systemtap.base/error_fn.exp: Ditto.
* testsuite/systemtap.base/global_init.stp: Ditto.
* testsuite/systemtap.base/global_var_kernel.exp: Ditto.
* testsuite/systemtap.base/global_vars.stp: Ditto.
* testsuite/systemtap.base/if.exp: Ditto.
* testsuite/systemtap.base/if.stp: Ditto.
* testsuite/systemtap.base/kprobes.exp: Ditto.
* testsuite/systemtap.base/logical_and.stp: Ditto.
* testsuite/systemtap.base/maxactive.exp: Ditto.
* testsuite/systemtap.base/pp.exp: Ditto.
* testsuite/systemtap.base/print.exp: Ditto.
* testsuite/systemtap.base/proc_by_pid.exp: Ditto.
* testsuite/systemtap.base/process_by_pid.exp: Ditto.
* testsuite/systemtap.base/procfs_maxsize.exp: Ditto.
* testsuite/systemtap.base/procfs_umask.exp: Ditto.
* testsuite/systemtap.base/stmt_counting.exp: Ditto.
* testsuite/systemtap.base/stmt_counting_functions.stp: Ditto.
* testsuite/systemtap.base/stmt_counting_straight.stp: Ditto.
* testsuite/systemtap.base/timers.exp: Ditto.
* testsuite/systemtap.base/tri.stp: Ditto.
* testsuite/systemtap.context/context_ns.exp: Ditto.
* testsuite/systemtap.context/pid_ns.stp: Ditto.
* testsuite/systemtap.context/usymfileline.exp: Ditto.
* testsuite/systemtap.printf/memory1.exp: Ditto.
* testsuite/systemtap.stress/current.exp: Ditto.

update NEWS

update systemtap.spec

Include build requirements for json-c and ncurses.

PR18848: Add manual testing readme guide

PR18848: Only compile monitor mode if json-c and ncurses developer
libraries are installed. Updated automake/conf files.

* session.cxx: error if using monitor mode when not compiled with
required libraries

PR18848: Fix pipe buffer overflow problem, improve monitor UI

The pipe used in monitor mode was not being read the moment
data was available, causing an overflow. pselect now watches
the pipe fd for data to read. The UI now cuts off the probe name
if terminal size is not wide enough.

PR18848: fix json array string

Arrays were not made into key-value pairs when global scalars were
turned into a json object. Currently, only the array sizes are shown.

PR18848: add --monitor option in man/stap.1

Stap man page now provides an overview of the --monitor option
along with the main commands.

PR18848: add help page, switch to page scrolling for output

Status bar can be toggled to show a manual page describing the
various commands available. Module output now scrolls by pages
instead of lines.

PR18848: Fix json parsing error

Quotes in the probe names for the json string were not escaped to
form a valid json object. They had to be escaped once for the
systemtap parser and once more for the json parser.

* elaborate.cxx: escape quotes twice when generating json string
* staprun/monitor.c: check for correct parse result

PR18848: use a pipe to redirect module output instead of proc file

The module output can be written directly into a pipe by the reader
thread for the monitor interface to read.

* runtime/monitor.c: deleted
* runtime/print_flush.c: removed monitor path
* staprun/monitor.c: read output from pipe
* staprun/relay.c: create pipe and redirect output
* translate.cxx: remove proc file creation

PR18848: increase history limit of output queue, add more keybindings
for scrolling probes and output

History size increased to 8192, arrows keys and pageup/pagedown keys
can be used as an alternative for scrolling

PR18848: add module output scrollback, status window now refreshed
on input

Users can now use the u and d keys to scroll back and forward through
the output. The scrollback uses a moving window approach over a queue.
The status window is now updated upon input for a smoother experience.

PR18848: add probe scrolling capability

Users can now use j and k keys to scroll down and up the probe list
respectively.

PR18848: increase timeout timer and remove strsignal

PR18848: improve keyboard input response time

pselect now watches stdin for input.

PR18848: zero pad the uptime

Uptime was not padded before if the unit was a single digit value.

PR18848: only handle SIGWINCH in monitor mode

PR18848: move resizing functionality out of signal handler

Calling many functions in signal handler may be unsafe. A global
variable is now set on SIGWINCH.

PR18848: handle terminal resizing

The curses UI now adjusts it's windows to the new dimensions of the
terminal upon receiving a SIGWINCH.

PR18848: display current probe input

Input prompt now shows what the user has entered.

PR18848: add command line option to specify interval for polling stats

Users can display the stats every N seconds with --monitor=N

* buildrun.cxx: append monitor interval.
* cmdline.cxx: --monitor optional argument
* session.cxx: new monitor_interval attribute
* staprun/common.c: parse --monitor optarg
* staprun/mainloop.c: decrease pselect timeout to poll input quicker
* staprun/monitor.c: render monitor stats every N seconds

PR18848: improve monitor ui and refactor input function.

Improved hint on keyboard mappings. New function to write
to procfs interface.

PR18848: add most functionality to curses interface

Currently, a file is used to redirect stp_print output to curses window.
Previous curses interface code in mainloop got refactored into monitor.c.

* runtime/monitor.c: New file. procfs functions for stp_print redirection
* runtime/print_flush.c: Redirect stp_print to curses interface in
  monitor mode
* staprun/monitor.c: New file implementing curses interface
* staprun/mainloop.c: Move code into monitor.c
* staprun/Makefile.*: Link json-c and curses library, include monitor.c
  to source list
* translate.cxx: Create procfs file for stp_print redirection

PR18848: change json format and retain entire probe name.

* elaborate.cxx: global variables are no longer in a list.

PR18848: Add json parser and comparators to allow sorting

Probe list will be sorted at runtime based on a user input on
either name, hit count, or cycles.

* staprun/mainloop: include json-c and parse the monitor read interface.

PR18848: modify printf format

Format changed to %d from %lld

PR18848: convert procfs read to json format

Json format allows for easy sorting of probes through json arrays.
This can be done at runtime based on probe attributes.

* elaborate.cxx: convert monitor_mode_read to output json.

PR18848: monitor status formatting

Removed h:m:s indicators in uptime and global scalar values are now
displayed.

* elaborate.cxx: changes in monitor_mode_read()

PR18848: output monitor data in stapio event loop

* staprun/mainloop.c: polls procfs monitor interface for data

PR18848: remove print statement

elaborate.cxx: removed a debug print statement

PR18848: new command line argument -M for staprun

Pass stap --monitor command to staprun.

* buildrun.cxx: add -M argument to flags
* staprun/common.c: -M option to parse_args
* staprun/mainloop.c: add a timeout to pselect in monitor mode
  to prevent blocking and allow the procfs monitor interface to
  be polled.
* staprun/staprun.h: monitor extern declaration

PR18848: refactor functions

Renamed the initialization function and removed some redundant
parameters.

PR18848: move embedded code for module size into tapset

* elaborate.cxx: remove monitor synthetic function
* tapset/linux/context.stp: new module_size function

PR18848: use jiffies tapset function

Switch the implementation of uptime to use the jiffies and hz tapset
functions instead of using embedded C

* elaborate.cxx: remove old embedded C function to get uptime. Added
  a synthetic begin probe to obtain starting time. Synthetic variables
  are now hidden in monitor mode and not reset.
* translate.cxx: remove jiffies inclusion in monitor mode.

PR18848: new procfs monitor mode option

Presents a procfs read interface to obtain data about the running
script and another procfs write interface to control the script

* cmdline.cxx: new "monitor" option
* cmdline.h: new field in enum
* elaborate.cxx: new functions monitor_mode_read and monitor_mode_write
  synthesizes procfs probes for the interfaces
* session.cxx: new monitor flag
* session.h: new monitor flag
* translate.cxx: extra code is generated to provide statistics for
  monitor mode, function emission is delayed to allow stap_probes to
  be first defined

Update the PR19241 fix so that 'out_fd' gets correctly handled.

This is an update to commit d879410b. Before this update, stap
in "stream mode" was using invalid output file descriptor per
https://sourceware.org/bugzilla/show_bug.cgi?id=19241#c2.

Allow buildok/{rpc-all-probes,rpc-detailed} to access private var.

Tests buildok/rpc-all-probes.stp and buildok/rpc-detailed.stp are
examining '@__private30 global __rpc_create_args' array.  That can
only be accessed using '--compatible=2.9' by the test script.

This approach to testing private stuff will probably need to change
in the future.  For now, this update aligns buildok/{rpc-all-probes,\
rpc-detailed}.stp to other buildok tests examining private variables
or functions.

Mark c_tmpcounter final

Remove the last visitors from c_tmpcounter

Now c_tmpcounter doesn't doesn't have any duplicated visitors at all.
It only overrides a few key virtual methods in c_unparser to get the
functionality it needs.

Subclass c_tmpcounter directly from c_unparser

The c_tmpcounter is meant to be a shadow of c_unparser, walking the same
walk to declare the temps that c_unparser will need.  But this was done
manually in a fragile balancing act, with a lot of duplicated logic and
little to ensure it was correct unless it failed to compile at all.

Now c_tmpcounter is a subclass of c_unparser so it can be a real shadow,
truly walking the same walk via the exact same code.  The normal output
is just dumped into a nulled ostream for this pass.  When a var is
accessed the first time through its value(), c_tmpcounter writes its
declaration to the real ostream.  A var that's created but not used will
be left out automatically, like a tmpvar that gets an override().

Mark stap_staticmarkers-detailed.stp as ROOT_ONLY for dyninst

You have to be root to read the protected staprun binary.  This already
had setup_kfail in the plain buildok.exp, so do the same for dyninst.

Avoid using the nomencl compatible option

Some versions of nomencl such as the one on RHEL 5 are missing the
compatible option.  Thus, tutorial.tex should avoid using it so the
documentation can be built.

Improve kmodule.exp by adding tests that load the module after stap.

* testsuite/systemtap.base/kmodule.exp: Add subtests that see if the same
  scripts work if the module is loaded after the systemtap module is
  loaded. This currently fails for non-dwarf kprobe probes (PR19216).

Make testsuite/systemtap.base/switch_file.exp more robust.

Refix PR18889 by switching to symbol_name+offset module probing.

* tapsets.cxx: Add symbol_name+offset support for dwarf kprobes present in
  modules. This is somewhat based on work by James Bottomley from the
  following email:
    <https://sourceware.org/ml/systemtap/2008-q3/msg00182.html>
* runtime/transport/symbols.c (_stp_module_notifier): On kernel's >= 3.16,
  use symbol_name+offset probing for modules.
* runtime/linux/kprobes.c: Switch to using symbol_name+offset probing for
  modules.

Revert "PR18889 part: module-init notification via module_{load,free} tracepoints"

This reverts commit 2278079efc01124dd509241f6c6eadbd6e19cb2a. This code
will be replaced with a new method for handling probes in kernel module's
init sections.

Revert "PR18889: switch to STP_TRACEPOINT* frontend for kernel tracepoint registration"

This reverts commit 2e67c14dad1c661d2ce0b0ed218b371c1af218ba. This code
will be replaced with a different method for handling probes in kernel
module's init sections.

Make the "shebang trick" work for RPM packaged testcases.

Some testcases use the "shebang trick" described in stap_run_batch()
testsuite function.  Commit d2995e6f breaks this for RPM packaged
testcases by putting the absolute path to stap into the shebang.

This update reverts cb69017 update to stap_run_batch() and fixes the
specfile shebang rewriter instead, so that it only applies to
systemtap examples contained in the systemtap-client package, where
the "shebang trick" is unwelcome.  With this update, testcases
contained in the systemtap-testsuite RPM remain unchanged, so that
the "shebang trick" works for them.

Compact print_format and its format_component

The delimiter doesn't need to be a full component -- just a simple
interned_string will do.  The format_component can compact its flags and
enum fields down to a single byte each, taking it from 48 bytes on
x86_64 to just 32 bytes.

Merge branch 'master' into string_ref

Store tok_junk messages as an additional enum

There's a limited corpus of messages for tok_junk to use.  Rather than
wasting space for an empty string on every single token, which takes 32
bytes on Fedora 23 x86_64, we can store just an int-sized enum and
produce a string message from this.

This reduces struct token from 80 bytes to 48, saving 20% memory overall
when parsing large tapsets like qemu's.

Drop the string name from struct probe

The name is only used occasionally, so saving the string is wasting
space.  It's simply "probe_"+index, so let's store the index as an
identifier, and generate the name on the fly.  This saves noticeable
time and space when parsing large tapsets like qemu's.

Drop probe_name from several var_expanding_visitors

None of these values are actually used -- probably cargo-copied from
some original visitor.

Move trivial interned_string conversions into the header

This doesn't actually change much in performance, as they still have to
call the proper intern() function, but it does make backtraces from
intern() a little more direct to the source.

Testsuite: Raise --rlimit-cpu, update stap_run_batch()

Need to increase --rlimit-cpu, since especially certain buildok
tests seem to reach the old value easily. It turns out that not
only "32-bit arm machines are quite slow", so not distinguishing
the machine type any more and just raising the treshold:

The goal is to raise the limit for low cost. Note that the
"-E 'probe timer.s(900) ...'' limit affects the generated source
that some testcases rely on verbatimely. So setting --rlimit-cpu
just slightly under 15 mins should improve test results without
need to modify those testcases source.

The stap_run_batch() update is needed to deal properly with RPM
packaged testcases, which have slightly modified source code
compared to their git versions due to commit d2995e6f. This update
is an addition to commit 6b131ba7 making it work with RPM packaged
testcases too.

Terminate parsing on duplicate variable or function declaration.

This fixes condition that makes the parser stop on attempt to
declare duplicate global variable or function.  It also (newly)
makes the parser terminate on global versus private variable or
function declaration attempt.

This update makes parseko/eleven.stp and parseko/twelve.stp
expectedly fail.  It also adds parseko/private0[12].stp that
expectedly fail on attempt do declare conflicting global versus
private variable or function.

parser: construct literal_string directly from t->content

We do have to use a local string buffer when literals are concatenated,
but this is a rare case.  Most often, we can use t->content directly.

parser: use interned_string for expect targets

We can avoid a lot of intern->string->intern round trips this way.

parse: use const& fname for decl parsing

Construct print_format::print_format_string with an intern

Since it's ending up as an interned_string, it's best to construct it as
such to pass through sharing from any source.  Now print_format::create
can pass through its t->content directly for this.

Take a plain string for print_format::string_to_components

This is mostly called with print_format::raw_components, which is a string,
and an interned value isn't needed for sharing within, so avoid it.

It might be nicer to make raw_components an interned_string itself, but a
few places in tapsets.cxx are building that string incrementally, so they'd
need a bit of refactoring to use separate string buffers first.

Construct literal_string from interned_string only

We don't need an explicit constructor from std::string, because the
conversion from string->interned_string is already implicit.

Add special treatment for single-char string interns

A large number of interned strings are just one character, mostly from
lexer tokens that aren't really sharing substrings yet.  Add a small
chartable to provide static memory for any given char to turn into a
string_ref(&c, 1).

Add special treatment for empty string interns

Empty strings and NULL char* no longer reach the string table at all, but
just return a default empty interned_string().

Add an sdt probe in interned_string::intern

Useful for analyzing what strings are being interned ($arg1), whether
they're new to the string table ($arg2), and who added it (ustack(n)).

Fix PR19241 by scanning for available CPUs.

Per PR19241/rhbz1280321, staprun was failing to start when CPU0
was offline or offline.  In bulk mode, staprun was failing if
any CPU but the last one was offline.  This patch fixes it by
scanning for available online CPUS up to NR_CPUS.

Update user_string_n2_quoted() so that semok/context-globals.stp is happy.

Rename the local 'str' variable within user_string_n2_quoted() to '__str'
so that it doesn't collide with global variable of the same name defined
in the semok/context-globals.stp testcase.

kill interned_string::c_str(), allowing shared substr()

For the most part, c_str() is just used for "%s" in warnings, errors,
and debug messages.  We can afford to pay the cost of to_string() there,
while allowing string_ref to share memory the rest of the time.

NB: when using `to_string().c_str()`, it's important not to let that
pointer outlive the string temporary!  It's good only for the range of
its full expression; if you need it longer, bind the string to a local
reference first.

Fix PR19234 by adapting user_string_n_quoted.exp.

Adapt user_string_n_quoted.exp to the new behavior of
user_string_n2_quoted() introduced by commit bfd1c4ccc2.

Fix PR19236 by undefining the unmangled variable name.

Extend private.exp to cover the PR13721 workaround scenario.

Extend global_end.exp to cover private globals too.

Fix synthetic probes generation for written and unread private globals.

Mangling a private global happens based on the name of the file where the
variable got defined.  Stap automatically prints written and unread globals
and private globals at the end of the session.  For autogeneration purposes
of respective derived synthetic probes, we need to keep track of the file
where given variable got defined.

Avoid undefined behavior in get_number_param

An uninitialized assignment led the compiler to assume it must be
initialized after all, which led to an optimization reversing the
conditions of an '&&'.  This triggered valgrind when the condition
actually was uninitialized after all.  See GCC PR68281.

Ditch the long and long long get_number_param for just int64_t, which is
just a pass-through to get_param.  A few fields are now int64_t to
match, so they can never truncate input values on 32-bit systems.  The
other Dwarf_Addr get_number_param is now careful to only copy good
values from get_param.

Just to be paranoid, all base_query and dwarf_query POD members are now
zeroed in the initializer lists, even when the constructor will set a
better value right away.

Mark selected internal tapset global vars as '@__private30'.

Mark tapset global vars, that are only intended to be used
internally within given tapset, as '@__private30'.  This
restriction appears to have no imparct from the testsuite
perspective.  However, it's still possible that some user
script may rely on one of those.  This restriction can be
worked around using 'stap --compatible=2.9' setting.

Fix parsing multiple, comma separated, private global vars.

Fix several uninitialized class members

Reported by Coverity as UNINIT_CTOR.

Fix the uselib syscall testcase by updating the expected output.

Mark internal tapset functions as '@__private30' where possible.

Add '@__private30' macro that gives 'private' keyword for compatibility
mode 3.0 and higher. Mark internal tapset functions as private using
it where possible. Testcases examining private tapset functions must
now use the --compatible=2.9 option.

Prefix global functions in the generated code.

Add '__global_' prefix to global functions in the generated code.
Treat selected internal synthetic functions as private.
Fix using a private function in user script and test-cover it.

* elaborate.cxx: Correctly match global function names to respective
  functiondecls. Match synthetic private functions coming from
  tapset-procfs.cxx (*_procfs_value_*), and tapsets.cxx
  (_sdt_arg_get_addr_) to respective functiondecls.
* main.cxx: Update the --dump-functions feature to correctly deal with
  new internal function names.
* parse.cxx: Add the "__global_" prefix to global functions in the
  generated code.
* staptree.cxx: Update functiondecl::printsig() so that it outputs
  unmangled function name.
* tapset-procfs.cxx: Treat internal synthetic functions
  '*_procfs_value_get*', '*_procfs_value_set*', '*_procfs_value_append*'
  as private.
* tapsets.cxx: Treat internal synthetic functions '*_sdt_arg_get_addr_*'
  as private.
* optim_arridx.exp: Adapt the testcase to new naming.
* private.exp: Add subtest examining use of a private function in
  user script.

Fix the 'if.exp' testcase so that the second test result matters.

* testsuite/systemtap.base/if.exp: Make sure we look for the
  'all_pass_string' twice, since the test case prints it twice.