translate.cxx: use function in place of comparison

translate.cxx: reduce actionremaining after function calls

testsuite: assuage worries of MCE/memory-failure dmesg during syscall tests

PR17249: tolerate early module notifier calls with null mod->sect_attrs

In the case of MODULE_STATE_COMING, we may encounter NULL sect_attrs,
and we must not crash.  Sadly, that case can mean the loss of ability
to probe module-init functions - i.e., breaking the bz6503 test case.

* runtime/transport/symbols.c (_stp_module_notifier): Don't assume
  that mod->sect_attrs is valid.  Treat COMING|LIVE notifications
  similarly, except LIVE should assume init.* gone gone gone,
  she been gone so long, she been gone gone gone so long.

PR17232 take #3: mutex the control messages

As per jistone's advice, simplify control message control by imposing
a mutex over the whole receive-side handling of a ctl message.  That
precludes concurrent or reentrant messages (independent of /ctl
open-time limits or threading assumptions).  It lets the start and
exit handling functions keep track with fewer state variables.

In a way, this elaborates upon a reversion of commit #262f7598.

* runtime/transport/control.c (_stp_ctl_write_cmd): Use a new static
  cmd_mutex for ctl message handling.  Don't bother with counters and
  flags for startedness etc; let the lower level functions handle
  that.  Handle error exits via goto out instead of return to assure
  mutex unlocks.
* runtime/transport/transport.c (_stp_handle_start,
  _stp_cleanup_and_exit): Drop the stp_transport_mutex control,
  explain why unnecessary.  Be more paranoid during module-notifier
  cleanup.

PR17232 variant #2: in runtime, let STP_EXIT nest within STP_START

Uncommitted variant #1 consisted of using module refcounts in the
generated systemtap_module_init/exit function pair to ensure that an
uncleaned module cannot be unloaded.  That precluded cleanup via
rmmod(8), so a robust but inconvenient solution.

This variant #2 consists of a surgical fix, wherein an STP_EXIT
message comes in during an STP_START is used to set an atomic flag for
deferred _stp_cleanup_and_exit() handling.

A variant #3 is coming soon, using a protocol-wide command-message
mutex, like we did back before commit #262f7598.

tapsets.cxx: add -DDEBUG_KPROBES tracing option for k*probe [un]registration

runtime: let _stp_print_flush() talk less on -DDEBUG_TRANS

A 0-length call is very common and uninformative.

regenerate examples index

tapset: explicitly mark probing_32bit_app() long

PR17242: Initialize tapset global arrays early on

Some of the tapset arrays were lazy-initialized on their function's
first call, but that requires the caller to always take a write lock,
and also makes those functions impure.

Now there is a "probe init" alias for the earliest possible begin probe,
and all of these arrays use that alias to initialize their contents.
None of these are big enough to expect noticeable overhead from having
to always initialize them.

Keep perf counters in a vector instead of an unordered map.

* session.h (perf_counters): Use a vector instead of unordered map so
  iteration is in a predictable order.
* tapsets.cxx (visit_perf_op): Use it.
  (dwarf_derived_probe): Likewise
  (emit_probe_local_init): Likewise
  (emit_module_utrace_decls): Likewise
  (emit_module_inode_decls): Likewise
* tapset-perfmon.cxx (perf_builder::build): Likewise
* elaborate.h (perf_counter_refs): Make a set of strings.
* perf.sh:  New test.
* perf.exp: Use it.

stap.1: mention sysrq-x secureboot-disabling keystroke on some kernels

Add Secure Boot blurb to man/stap.1.

PR16716 partial fix: Fix types in 'syscall.{ftruncate,[l]lseek,truncate}'.

* tapset/linux/syscalls.stp: Fix syscall.ftruncate[64], syscall.llseek,
  and syscall.lseek types and nesting.
* tapset/linux/syscalls2.stp: Fix syscall.truncate types, nesting, and
  formatting.
* tapset/linux/nd_syscalls2.stp: Ditto.
* tapset/linux/nd_syscalls.stp: Fix nd_syscall.ftruncate nesting and
  formatting.
* tapset/linux/aux_syscalls.stp (_seek_whence_str): Update.
* runtime/linux/compat_unistd.h: Add '__NR_[gs]etsockopt' defines.
* testsuite/systemtap.syscall/readwrite.c: Add more tests.
* testsuite/systemtap.syscall/trunc.c: Ditto.

NEWS: retroactively add secureboot wiki link

Keep list of perf counters in an unordered list.

* session.h (perf_counters):  Use unordered_map instead of map.
* tapsets.cxx:  Likewise for all perf_counters iterators.

Add scripts to test systemtap probes on a set of kernel functions.

* scripts/kprobes_test/stap_probes_test.py: New script. While debugging
  PR17140, I needed a script to bisect a list of kernel functions to put
  systemtap probes on.
* scripts/kprobes_test/stap_gen_code.py: Ditto.
* scripts/kprobes_test/stap_run_module.py: Ditto.
* scripts/kprobes_test/README: Update with better instructions.
* scripts/kprobes_test/config_opts.py: Update comments.
* scripts/kprobes_test/monitor_system.py: Add beaker system monitoring
  instructions.

Remove dtrace --types sdt_misc test.

* (sdt_misc.exp, sdt_misc_.d):  Remove test for dtrace --types.
* listing_mode.exp: Fix typo.

systemtap.exp: add timer probe to testsuite rc file

Add plt.return probes.

* tapsets.cxx (query_one_plt):  iterate_over_modules instead of
  derive_probes to reduce plt.statement visibility.
  (register_plt_variants): Remove plt.statement  Add plt.return
* plt.exp:  Add test for plt.return
* plt.stp:  Likewise
* list.exp (test_plt_list):  Likewise.
* listing_mode.exp: Remove plt.statement tests  Add plt.return tests
* unprivileged_myproc.exp Likewise.
* unprivileged_probes.exp Likewise.

PR17101: tweak NEWS

Make another -E suggestion.

PR17101: updated docs and added a test case

PR17101: allow additional scripts using -E SCRIPT

cmdline: added "E" to the short options
elaborate: adapted to be able to perform the semantic pass on the
multiple inputs from user_files
main: parse and store the inputs in user_files, and give the additional
scripts new source "file" names (<input##>).
parse: parse function now has a parameter for the source "file" name
session: accept and store additional scripts for parsing, separate from
the cmdline_script. an additional script won't set have_script to true.

latencytap.stp: explain another delay

latencytap sample: update, compress

Added a few more unexplained backtraces (as visible with -Gdebug=1
runs), automated explanation-width calculations, and compressed the
initialization of the explanation/priority lookup tables.

systemtap-service.exp: use catch with exec, increase timeouts

Fixed PR17178 by updating syscall.[gs]etsockopt probes.

* tapset/linux/syscalls.stp (syscall.getsockopt): Fixed to handle inlined
  calls to compat_sys_getsockopt() by decoding
  socketcall()/compat_sys_socketcall() calls instead.
* tapset/linux/nd_syscalls.stp: Ditto.
* tapset/linux/syscalls2.stp (syscall.compat_select): Fixed sign handling
  of 'n' argument.
  (syscall.setsockopt): Fixed to handle inlined calls to
  compat_sys_setsockopt() by decoding socketcall()/compat_sys_socketcall()
  instead.
* tapset/linux/nd_syscalls2.stp (nd_syscall.setsockopt): Fixed to handle
  inlined calls to compat_sys_setsockopt() by decoding
  socketcall()/compat_sys_socketcall() instead.

translator: propagate DWARF types through function returns

When all return statements are in agreement, their type_details are
copied to the functiondecl, and functioncalls may pick up the type.

translator: propagate types to .return saved vars

PR17191: redefine %license within each %files block

initscript: check final initramfs for systemtap files

As a sanity-check for a successful initramfs creation, we check using
lsinitrd that if a script was inserted then the initramfs contains the
staprun executable. This would indicate that dracut properly picked up
the stap dracut module and included it in the initramfs.

Fix nd_syscalls use in syscalls_by_pid.stp

Exempt from buildok/netfilter-glob.stp

Add a #! to transok/direct_rec_func.stp

Merge remote-tracking branch 'origin/master' into autocast

Fixed PR17181 by making utrace handle interrupting processes better.

* runtime/stp_utrace.c (utrace_init): Use kallsyms_lookup_name() to lookup
  "wake_up_state" if needed.
  (stp_task_notify_resume): New function to handle the details of adding a
  resume handler.
  (utrace_cleanup): Only output debug printk's if STP_TF_DEBUG is defined.
  (utrace_set_events): Improve check.
  (utrace_do_stop): Call stp_task_notify_resume() instead of inline code.
  (utrace_wakeup): Call stp_wake_up_state() instead of wake_up_process()
  to avoid a WARN(). Call stp_task_notify_resume() instead of inline
  code.
  (utrace_control): Call stp_task_notify_resume() instead of inline code.
  (finish_report): Ditto.
  (finish_resume_report): Add UTRACE_INTERRUPT support.
  (utrace_resume): Handle UTRACE_INTERRUPT.
* runtime/linux/task_finder2.c (stap_task_finder_post_init): Go back to
  sending UTRACE_INTERRUPT to all tasks.
* buildrun.cxx (compile_pass): Add export tests for 'wake_up_state' and
  'try_to_wake_up'.
* runtime/linux/runtime.h: Added 'kallsyms_wake_up_state' declaration when
  necessary.
* testsuite/systemtap.base/process_resume.c: New file.
* testsuite/systemtap.base/process_resume.exp: New file.

zanata: turn of another crank

zanata: fine-tune zanata instructions, run through a regen cycle

Add get_number_param that accepts 'long long' parameter

On 32-bit machines such as arm need to have version of get_number_param method
that takes 'long long' (64-bit) values.

document usage of zanata as online translation tool

Merge branch 'ajakop/17131'

process_by_pid*: remove unnecessary sleep and ifs

tapsets.cxx: moved ctor to fix issue with prev commit

tapsets.cxx: rearranged code to reflect original order

NEWS: added blurbs about PID-based process probes

process_by_pid.* : test case for PR17131

testsuite kill proc: log failed kills

If kill doesn't terminate nicely, also log what it outputs.

tapsets.cxx: follow naming conventions and set pid_val

utrace_p4.exp: fixed probes to probe valid PIDs

max_action_info: don't emit if --suppress-time-limits given

We don't want any action accounting when --suppress-time-limits is
given.

tapsets.cxx: limit dwarf process(PID) probes to PID

tapsets: for dwarf process(PID) probes restrict the probing to
that specific process instead of to the processes that run the
same program.

Fixed PR17155 by changing probefunc() with ppfunc in the examples.

* testsuite/systemtap.examples/io/inodewatch.stp: Replaced probefunc()
  with ppfunc().
* testsuite/systemtap.examples/io/inodewatch2.stp: Ditto.
* testsuite/systemtap.examples/io/traceio2.stp: Ditto.
* testsuite/systemtap.examples/process/mutex-contention.stp: Ditto.
* testsuite/systemtap.examples/profiling/fntimes.stp: Ditto.
* testsuite/systemtap.examples/profiling/functioncallcount.stp: Ditto.
* testsuite/systemtap.examples/profiling/functioncallcount.meta: Add '-w'
  to stap line to avoid warnings on blacklisted functions.

Fix typo in systemtap.spec

*systemtap.spec - remove '+' from license conditional

systemtap.spec: migrate to %license tag for COPYING file

goodbye transifex, hello zanata

drop proprietary transifex.com references

modules_out_of_tree.exp: adapt for RHEL5

We put the opening braces on the same line as the function declaration
so that the reported lineno in listing mode is the same on RHEL5 GCC
(which considered the opening brace as the decl_line).

We also skip the probing part by checking for module refresh support by
using the new module_refresh_p proc.

lib/systemtap.exp: new module_refresh_p proc

Add two new procs in systemtap.exp:
   - min_kernel_vers_p: checks for a minimum kernel version
   - module_refresh_p: checks for module refresh support

We then modify bz6503.exp to use the new proc.

modules_out_of_tree.exp: new testcase

This testcase verifies that out-of-tree modules can be probed.

PR17073: man/stapprobes.3stap: out-of-tree module support

We clarify our support for out-of-tree kernel modules and make explicit
our requirement for the proper naming of the KO file.

PR17073: module probes: support out-of-tree modules

This patch adds support for out-of-tree modules by specifying the
fullpath. This did not work before because both the _stp_module struct
and the stap_dwarf_probe struct were using the full path as the module
name. This caused issues during relocation of module sections/kprobe
addresses.

In this patch, we use the already existing modname_from_path() function
to modify the module member of the dwarf_derived_probe (which later
affects the stap_dwarf_probe struct) and to emit the proper name in
dump_unwindsym_cxt() for the _stp_module struct.

module probes: allow full path to in-tree modules

If the user provided a full path to an in-tree module, then we don't
want to modify the path in any way. The '-' to '_' will be done later on
as needed.

Merge branch 'ajakop/6897'

stapprobes.3stap: edited supported probe points

stapprobes.3stap: added process(PID).{function, mark, plt, provider}
to the list of supported probe points under DWARF and USER-SPACE.

Update fix for PR17127 by correctly handling TASK_INTERRUPTIBLE flag.

* runtime/linux/task_finder2.c (stap_task_finder_post_init): The 'state'
  field of the task structure contains a bitfield, not a singular
  value. Properly test for TASK_INTERRUPTIBLE.

listing_mode.exp: re-ordered test cases

listing_mode: moved the test cases for process(number).* probe
points to reflect the ordering in "stap --dump-probe-types".

listing_mode*: update to support process(PID).*

listing_mode.c: add in an infinite loop for generating probe points
to a process running this program over the course of the entire
listing_mode test.
listing_mode.exp: edited portions dependent on the line numbers in the
source code. added tests for the new process(PID).* probe points.

Fix fix to systemtap-service.exp

Clean up systemtap-service.exp a bit.

Clean up sdt_misc.exp a bit.

* testsuite/systemtap.base/sdt_misc.exp: Make log output match the
  commands being run. Catch errors on "system" calls to avoid the test
  aborting with a tcl error. Do an initial cleanup to avoid test
  leftovers, which might have been created by another user.

Add test coverage for the systemtap service

PR6897, updated and added test cases

valid_pid.exp: new test case to check that error messages are
produced when a given pid does not corresponds to a running process.

unprivileged_*: updated the test case to include the newly supported
process(PID).{plt, mark, provider, function}.

configury: detect missing /usr/bin/msgfmt

brendang advised his system lacked /usr/bin/msgfmt, which blew up po/
builds.  We now detect & reject this regrettable state of existence at
configure time.

Fix PR17127 by fixing task_finder2.

* runtime/linux/task_finder2.c (stap_task_finder_post_init): Only try to
  interrupt tasks in the TASK_INTERRUPTIBLE state.

PR16716 partial fix: Fix types in 'syscall.fcntl'.

* tapset/linux/syscalls.stp: Fix types in syscall.fcntl.
* tapset/linux/aux_syscalls.stp (_fcntl_cmd_str): Update and improve.
* testsuite/systemtap.syscall/net1.c: Improve fcntl() testing.

tapsets.cxx: validate PID for process(PID)*

tapsets: validate PID for process(PID).{function, plt, mark} probes

listing_mode.exp: use stap instead of nm to get addrs

We previously relied on nm to retrieve the addresses of functions in
the executable and library. This causes issues on ppc64, in which nm
simply returns the function descriptor rather than the actual text
address.

We now instead rely on stap itself to retrieve function addresses. This
should fix all of the FAILs of this testcase on the ppc64 platform.

tapset-utrace.cxx:check used PID in process probes

tapset-utrace: made a change so scripts with process(PID).*
and -x PID2, only validates PID (the relevant pid) and not PID2

Fix PR17120 by modifying gtod.exp.

* testsuite/systemtap.base/gtod.exp: Rename 'count' variable to
  'iteration_num' to avoid clashing with other testcases use of a 'count'
  variable.

Fix PR17121 by fixing tcl errors in listing_mode.exp on ppc64.

Flip with_dyninst to an %ifarch whitelist

build warning tweakage: sdt test mode printf(%ld) arg casting

PR6897 cont'd: process("foo").* handling

After collapsing the process., process(STRING), process(NUM) cases
into a single conditional, we must remember to retest the STRING
case so as to extract the parameter.

validate PID in process(PID).* probes

elaborate*: new function derived_probe_builder::has_param()
tapset*: added a check to make sure the PID in process(PID).*
probes correspond to a running process.

para-callgraph* samples: point out microsecond timing

intent.stp tapset: mention microsecond precision

stap samples: tweak process keyword & nd_syscall usage

* process/thread-business.stp: use 'name' from nd-syscall tapset
  instead of clumsy computation by hand
* process/syscalls_by_*: use nd_syscall.* instead of syscall.*

Fix kernel crash by handling error condition better at startup.

* runtime/linux/runtime.h (init_module): If systemtap_kernel_module_init()
  fails, be sure to close the transport.

Fix file permissions of testsuite/semko/fiftyone.stp

PR16716 partial fix: Fix types in 'syscall.{fdatasync,fstat,fstatat,fsync}'.

* tapset/linux/aux_syscalls.stp (_at_flag_str): Update and improve.
* tapset/linux/syscalls.stp: Fix types in
  syscall.{fdatasync,fstat,fsync}. Fixed types and 32-on-64 support in
  syscall.fstatat and added 'dirfd_str', 'flags', and 'flags_str'
  convenience variables.
* tapset/linux/nd_syscalls.stp: Fixed 32-on-64 bit support in
  nd_syscall.fstatat and added 'dirfd_str', 'flags', and 'flags_str'
  convenience variables.
* testsuite/buildok/syscalls-detailed.stp: Added compile test for new
  syscall.fstatat convenience variables.
* testsuite/buildok/nd_syscalls-detailed.stp: Ditto.
* testsuite/systemtap.syscall/futimes.c: Updated test.
* testsuite/systemtap.syscall/link.c: Ditto.
* testsuite/systemtap.syscall/stat.c: Ditto.
* testsuite/systemtap.syscall/sync.c: Ditto.

Merge branch 'ajakop/16300'

stmt_counting.exp: nested foreach runtime flag

stmt_counting.exp: combine the four cases for each test
(no flags, -u, low MAXACTION, high MAXACTION) by using
nested foreach loop for the different runtime flags.

stmt_counting*: statement counting tests

stmt_counting_*.stp: basic tests containing loops, recursion,
straight through function bodies and straight through probe bodies.
stmt_counting.exp: runs the tests with and without -u, and with a
low and a high MAXACTION.

stapprobes man page: extend NON-DWARF probe section

tapset: in probefunc() doc blurb, recommend ppfunc()

check.exp: add CHECK_ONLY to restrict tests

The CHECK_ONLY variable allows the check.exp testcase to only focus on
specific example scripts. E.g.

  make installcheck RUNTESTFLAGS="check.exp" CHECK_ONLY="badname"

initscript: invert logic and fix DEFAULT_START

The logic of is_valid_script_name was inverted. Fix it.

Also, we need to blank out the list of scripts to start before actually
collecting the valid ones from DEFAULT_START.

Handle DW_TAG_restrict_type.

C99 keyword restrict is just like const or volatile for pointers. Like
DW_TAG_const_type and DW_TAG_volatile_type just follow through to the
underlying type.

coverity fixes

Initializing members, avoiding little memory leaks, all minor stuff.