PR10877: Fix coveragedb.cxx to account for new components/token structure

PR10927: undocument nonexistent do/while construct

PR10877: Give token* to each component instead of each probe_point

Replace the use of the global variable 'modpath' in diagnostic
messages within verify_it with the use of a 'module_name'
parameter passed in.

Add a comment in insert_module explaining why it's ok to
overwrite the 'path' parameter with the canonicalized path.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Add blank lines for formatting stapprobes.irq

The line spacing is significant to the way the output is rendered.

Fix stapprobes.irq title and add to install list

(And incidentally re-enable quiet builds at the same time...)

Only .3stap.in files should be committed

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Don't reference global variable modpath in insert_module and its helpers.
This allows insert_module to to be used for loading the signed uprobes.ko
module.

Allow the use of $$parms and $$return in uprobes based probes for
unprivileged users.

Re-add management of module signatures in the cache. Don't know why
it was removed.

Normalized whitespace and comments.

IRQ tapset, sample script, testsuite, man page updates, etc

PR10923 Handle AT_frame_base given by DW_OP_call_frame_cfa in .debug_frame.

dwarf_cfi_addrframe should not be called with pc adjusted to the bias
of the dwfl_module_dwarf_cfi or dwfl_module_eh_cfi. This just happened to
work in the .eh_frame case because bias was always zero.

* dwflpp.cxx (get_cfa_ops): Don't adjust pc for bias.

Fix a comment typo

expand comment on has_return=0 treatment of -L foo.return probes

Constrain $var-checking for -L of .return probes

Normally, using a $var in a return probe create a matching entry probe
to save the value.  We don't want all this machinery though when we're
just checking the accessibility of a $var for -L mode.

* tapsets.cxx (dwarf_derived_probe::saveargs): Save/restore has_return
  while the $var accesses are attempted.

PR10849: Support MAXSKIPPED handling on RHEL4 through implementation of atomic_cmpxchg

PR10820-cont': initialize the fields of empty token

* tapsets.cxx (dwarf_derived_probe::saveargs): fill fields.

Revert change which loads uprobes.ko using insert_module.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Revert previous change re: home directory og stap-server. Ensure it has 755 privileges.

PR 9973: Sign uprobes.ko when it is created and load it using insert_module.
Create home directory manually for stap-server.

PR10466: print the set-intersection of variables retrieved from each branch

* elaborate.h: Remove printargs and add getargs.
* tapset-mark.cxx (mark_derived_probe): Ditto.
* tapsets.cxx (dwarf_derived_probe,tracepoint_derived_probe): Ditto.
* main.cxx (printscript): Make intersection before printing.

Add NEWS entry for stap-server initscript.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Conflicts:

Makefile.in
configure
doc/Makefile.in
doc/SystemTap_Tapset_Reference/Makefile.in
grapher/Makefile.in
testsuite/configure

Redirect stap-serverd output to /dev/null.

PR 10706 fixed by switching to unbuffered output.
* runtime/staprun/mainloop.c (stp_main_loop): Switched to unbuffered
  output (instead of line buffered output).

I forgot to change the NEWS file when commiting
249534c041971db5e9f89cb11b6d38d311e91f57, and this commit
just adds a line in the NEWS file explaining the commmit above

Fix for bug 10866 (exit with rc != 0 on script ERRORs).
This patch just make the RC=1 when any output line starts with ERROR:.

Also some minors error that was returning 0 instead of 1 were fixed.

More logging for stap-server initscript.

Final cleanup of stap-server initscript and packaging.

PR 6691 fixed by adding support for sys_accept4.
* tapset/aux_syscalls.stp(_sock_type_str): Rewrote in embedded-C and added
  socket flags support.
  (_sock_flags_str): New function.
* tapset/syscalls.stp: syscall.accept prefers to use sys_accept4 when it
  exists.  Added support for sys_accept4's 'flag' parameter.
* testsuite/systemtap.syscall/net1.c (main): Updated regular expression to
  handle the new 'flags' argument.

PR10849: make MAXSKIPPED overflow trigger an error message

reorganize app tests; rewrite tcl as sample of improvements

* testsuite/configure.ac (--enable-testapps): New option.
* testsuite/Makefile.am (TESTAPPS): Pass to dejagnu.

* testsuite/systemtap.base/{xulrunner,tcl,mysql,postgres}:
  Moved under new systemtap.apps/ subdirectory.

* testsuite/systemtap.apps/stap-tcl.sh: New file to build tcl.
* testsuite/systemtap.apps/stap-tcl.stp: New file to test tcl.
* testsuite/systemtap.apps/tcl.exp: New simplified test driver.

* dtrace.in: Disable STAP_HAS_SEMAPHORES as they don't work on shlibs yet.
* includes/sys/sdt.h (STAP_SEMAPHORE): Include __builtin_expect for unlikely.

regen sample indexes with plimit.stp

plimit: Add plimit.stp sample script

Use /dev/urandom (non-blocking) instead of /dev/random.

Never ask the user for a password in stap-gen-cert. Read from /dev/random as
a last resort. Cert db passwords will be going away soon(tm).

context.exp test improvements.
* testsuite/systemtap.context/args.tcl: Increased timeout.  If tests do
  timeout, fail (instead of silently failing).
* testsuite/systemtap.context/num_args.tcl: Ditto.
* testsuite/systemtap.context/backtrace.tcl: Increase timeout.
* testsuite/systemtap.context/pid.tcl: Ditto.

PR10839: compute default KRETACTIVE from num_possible_cpus() instead of NR_CPUS

* tapsets.cxx (dwarf_ and kprobe_derived_probe_group): Redefine KRETACTIVE.

Fix syscall testsuite bugs.
* testsuite/systemtap.syscall/test.tcl: Substitute '[[[[' and ']]]]' for
  '(' and ')'.  This allows us to get unquoted parens.
* testsuite/systemtap.syscall/test-debug.tcl: Matches substitute logic of
  test.tcl.
* testsuite/systemtap.syscall/README: Document '[[[[' and ']]]]'.
* testsuite/systemtap.syscall/chmod.c: Handle optional O_LARGEFILE flag in
  open calls.
* testsuite/systemtap.syscall/dir.c: Ditto.
* testsuite/systemtap.syscall/mmap.c: Ditto.
* testsuite/systemtap.syscall/openclose.c: Ditto.
* testsuite/systemtap.syscall/readwrite.c: Ditto.
* testsuite/systemtap.syscall/stat.c: Ditto.

Removed extra declarations.
* runtime/transport/transport.h: Removed extra declarations of
  _stp_transport_init() and _stp_transport_close().

Rework for bugs found during testing.

Normalize Breno Leitao's name without an accent

Per Breno's guidance, I'm removing the accent from the 'a' in Leitao.
We can normalize it either way -- I just want it to be consistent.

This only has an effect on git shortlog and git blame, but we do use
shortlog in our AUTHORS queries.

tty: Adding tty.stp to the documentation

Adding the TTY tapset to the .tmpl Reference documentation

A new testcase for tty tapset

This is a basic test to assure that the tty tapset is working
compiling and working properly

A new tapset that adds support for tty and serial devices

A new tapset that supports tty devices and consequently serial
devices. It is just a basic implementation that can be extended
as demands appears

init.d/rc.d -> rc.d/init.d

Create /etc/sysconfig in %install.

stap-server initscript cleanup and follow fedora initscript requirements.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

PR10820: stap -L ignores any variable that isn't accessible

* tapsets.cxx (saveargs): check the accessibility.

* grapher/GraphData.hxx (GraphDataBase, GraphData): Use
  boost::circular_buffer for time and data storage.

Fix regression of parsing grapher options

* grapher/StapParser.hxx (ioCallback): Test return value from findTaggedValue
  properly.

Change permissions and ownership of /var/log/systemtap.log after installation.

Add stap-server userid to the stap-server group when it is created.

Add /var/log/stap-server.log to the files for the systemtap-server sub rpm.

In systemtap.spec create $RPM_BUILD_ROOT%{_localstatedir}/log before working in it.

Specialized user to run stap-server and improved logging.

Properly close the spawn of the pr10854 testcase

PR10854 cont'd: Add a testcase for the reproducer

PR10854: Use a mutex around transport startup/shutdown

We had a race where the probe setup could be called during/after the
probe shutdown in abnormal circumstances, which leads to kernel
callbacks still registered after module unload.  (BOOM)

Now the setup/shutdown activities and related flags are guarded by a
mutex, so we should have strict ordering.

* runtime/transport/transport.c (_stp_transport_mutex): New.
  (_stp_handle_start): Grab the mutex, and make sure we're not exiting.
  (_stp_cleanup_and_exit): Grab the mutex.
  (_stp_lock_inode, _stp_unlock_inode): Use kernel version for checking
  inode locking type.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Kill off child processes correctly on exit.

* grapher/grapher.cxx (ChildDeathReader::reap): New function.
  (StapLauncher): Keep a list of instantiated parsers.
  (StapLauncher::cleanup): Kill off all launched stap processes.

Change temporary paths to their proper values.

More refactoring for multiple stap processes.

* grapher/StapParser.hxx (StapParser): Change _win and _widget from
  references to pointers.
* grapher/StapParser.cxx (ioCallback): Ditto.
* grapher/grapher.cxx (StapLauncher, GraphicalStapLauncher): Rewrite
  to make GraphicalStapLauncher a derived class of StapLauncher.
  (main): Accept graphing data from stdin with a "-" argument.

Change stap parser to use an input file descriptor other than stdin

* grapher/StapParser.hxx (_inFd, getInFd, setInFd): new member and fuctions
* grapher/StapParser.cxx (ioCallback): Use _inFd variable
  instead of stdin.
* grapher/grapher.cxx (StapLauncher::launch): Don't read input from stap on
  stdin; use the the read end of the pipe.

stap-server initscript fully functional.

Enable Kbuild-like quiet builds

This enables much cleaner build output from automake.  To re-enable the
verbose commands, pass --disable-silent-rules to configure, or use V=1
at make time.

* configure.ac: Enable AM_SILENT_RULES by default.

PR 10822 fixed by waiting for the procfs file.
* testsuite/systemtap.base/onoffprobe.exp: Wait for up to 10 seconds for
  the procfs file to be created.

Correct the safety-net escape WRT locking

Within a probe body, the "out" label starts the normal exit path,
including unlocking whatever globals are used in that probe.  Since the
unprivileged safety-net checks are before the locks are ever grabbed, we
should bypass the unlock on the way out.

* elaborate.cxx (derived_probe::emit_process_owner_assertion): Use
  "return" instead of "goto out".

Refactor probe locking into shared functions

For scripts with thousands of probes, we save a fair amount of code-gen
time in pass-4 by having the common locking code extracted into shared
functions.

* runtime/probe_lock.h (stp_lock_probe, stp_unlock_probe): New.
* translate.cxx (c_unparser::emit_lock_decls): New, emits a static
  const array of locks needed for each probe.
  (c_unparser::emit_locks): Just call stp_lock_probe.
  (c_unparser::emit_unlocks): Just call stp_unlock_probe.

Relax the -Wframe-larger-than check

This is just a workaround for PR10821, and should be reverted when that
bug is fixed.

Ensure that DWARF keeps loc2c to a reasonable stack depth

* dwflpp.cxx (dwflpp::express_as_string): Limit stack depth to 32.

PR10750 cont'd: Build with -Wframe-larger-than=512

* buildrun.cxx (compile_pass): Add the warning to limit the frame size
  even lower than the Kbuild default (only works for gcc 4.4+).

PR10750: Enforce a reasonable limit on # of varargs

If we leave the number of args unbounded, then an excessively-sized
printf could cause a kernel stack overflow.  I've arbitrarily chosen 32
as our new maximum.

* translate.cxx (c_unparser::visit_print_format): Throw if >32 args.
* testsuite/transko/varargs.stp: Assert that 33 args aren't allowed.
* testsuite/transok/varargs.stp: Assert that 32 args are ok.

Merge branch 'unwind_robust'

stap-server initscript is now part of the systemtap-server package.

No stap-server/config file yet.

Infrastructure for new stap-server initscript.

Added testsuite to test xulrunner sdt markers.

xulrunner.exp:  New testsuite, modelled after mysql.exp.
mysql.exp (stap-mysql.sh): Use installed stap.
postgres.exp (stap-mysql.sh): Use installed stap.
tcl.exp (stap-mysql.sh): Use installed stap.

RHBZ519314: define task_struct cast to operate without debuginfo

* tapset/task.stp: Use @cast(...,"task_struct","kernel<linux/sched.h")
  throughout to operate dwarf-free.

Limit the number of call frame instructions we process in the unwinder.

* runtime/unwind.c (processCFI): Fail if the number of instructions is
  larger than MAX_CFI (currently 512).

Make sure cie and fde end point to sane values in while doing unwind_frame.

* runtime/unwind.c (unwind_frame): Check end read from cie or fde doesn't
  go passed end of unwind table.

Be paranoid about table size resolving cie_for_fde and fde_pointer_type.

* runtime/unwind.c (cie_for_fde): Take table and table_len into account.
  (fde_pointer_type): Likewise.
* runtime/unwind/unwind.h: Adjust function prototypes.

tcl.exp path fix.

tcl.exp (run_tests): Fix stap path.

Add limit on unwind table size we accept.

* translate.cxx (MAX_UNWIND_TABLE_SIZE): New define.
  (dump_unwindsyms): Check debug_len and eh_len against new limit.

Add testsuite for tcl sdt markers.

dtrace.in (provider::generate): Set enabled to true until .so is resolved.
tcl.exp:  New testsuite for tcl sdt markers modelled after mysql.

Improve some runtime struct layouts

Guided by pahole, I've shaved off a few padding bytes here and there.
New sizes on x86_64:

  stap_task_finder_target  192 -> 184
  stap_itrace_probe        216 -> 208
  stap_utrace_probe        328 -> 312
  stap_uprobe_tf           200 -> 192
  stap_uprobe_spec          48 ->  40

I only changed field layouts, not types or names, so this should be
perfectly safe. (FLW)

bemoan that _stp_*printf can't be protected with gcc attribute printf

fix 32-bit compatibility for @hist_log printing

* stat-common.c (_stp_stat_print_histogram_buf): Fix HIST_PRINTF
  parameter passing.

PR10799: warn on possibly uintended local-vs-global namespace collision

* elaborate.cxx (find_var): Take extra token parameter.
  Look for cross-file global variable resolution, signal
  a warning.
* testsuite/systemtap.examples/io/traceio2.stp: Fix it.
* testsuite/systemtap.syscall/sys.stp: Fix it.
* NEWS: Document it.

provide error message token/context if loc2c doesn't

* tapsets.cxx (visit_target_symbol): When catching semantic_error,
  fill in token value if unset.  Can happen for loc2c DIE() msgs.

Avoid lockdep warnings.

uprobe_fork_uproc() runs with parent_uproc->rwsem locked.
However uprobe_mk_process() that gets called within uprobe_fork_uproc()
also locks child_uproc->rwsem after initializing it.

Lockdep report confuses this to acquiring a lock that already has been
acquired and suggests using sub-classes.

The alternatives we have are:
1. use classes level to distinguish different uproc structures.
2. unlock parent_uproc->rwsem before we call uprobe_fork_uproc().
3. dont try locking child_uproc->rwsem; since we are protected by
   uproc_mutex as well as parent_uproc->rwsem;

We use the last approach.

Signed-off-by: Srikar Dronamraju <srikar@linux.vnet.ibm.com>
---

PR10331: build fix for older nss redux

Reported by Wenji, these SEC_* symbols were enums rather than macros,
so instead of individual #ifdefs ...

* stapsslerr.h: use NSS_{VMAJOR/VMINOR/VPATCH} to detect 3.12.4 or later
  for the two recent error symbols.

Fix transok/tval-opt.stp testcase. Pick diffent function and non-empty block.

This testcase succeeded just because the value being set couldn't be
found. So the error message being compared was the same. Set -o pipefail
to catch that case. On vta compiled kernels it failed because the optimizer
turned { statement } into statement. So pick a function and argument which
location can always be found and add an extra 'next' statement so the
block isn't folded.

* testsuite/transok/tval-opt.stp: Set -o pipefail. Add 'next' to make
  sure block isn't empty. Use "do_filp_open" and "mode".

Updated checking for grapher dependencies.
* configure.ac: Made sure nss includes will error even if only 1 header
  isn't usable.  Added grapher dependencies gtkmm and boost headers.
* Makefile.in: Regenerated.
* config.in: Ditto.
* configure: Ditto.
* doc/Makefile.in: Ditto.
* doc/SystemTap_Tapset_Reference/Makefile.in: Ditto.
* grapher/Makefile.am: Use libglade CFLAGS/LIBS.
* grapher/Makefile.in: Regenerated.

PR10331: build fix for older nss

* stapsslerr.h: #ifdef-conditionalize a few of the error codes,
  apparently defined some time after NSS 3.12.2.

Reported-By: Wenji Huang <wenji.huang@oracle.com>

Add boost-devel build requirement for the grapher.

Fix $$targets in dwarf probes

My print_format refactoring in d5e178c1 missed an improperly-named
token, an sprint that should be sprintf.  Since the token value is now
significant, that name needs to be correct.