PR16974: wrap if, try and for tmpvar decls in unions

translate.cxx: in c_tmpcounter::visit_block, the tmpvar declarations
in the generated c code are wrapped in a union, with each
block->statements[i] wrapped in a struct, to reduce context memory
allocation. following ::visit_block, the tmpvar declarations in
::visit_if_statement, ::visit_try_block and ::visit_for_loop are
wrapped in a union. since this causes quite a lot of nesting, comments
are added to the generated c code to indicate the source file and
line the struct/union tmpvars correspond to.

PR16974: move struct+visit outputting to new fn(s)

translate.cxx: from c_tmpcounter::visit_block(), move the portion
to wrap the statement->visit() part in a struct declaration to a
function, ::wrap_visit_in_struct()

For rhel6 kernels, make the execveat syscall optional in [nd_]syscalls-detailed.stp.

dtrace python3 compatibility: exceptions

Use a clumsier exception catching syntax that works with python3
and even before python 2.6.  Tips taken from
http://python3porting.com/noconv.html

dtrace.in python3 support, testsuite parts

Prepare for fuller /usr/bin/dtrace python3-compatibility by extending
the dtrace.exp test case to run with -each- python interpreter.
Various embedded input files were also factored out into separate
files for easier diagnostics.

Add minor syscall testsuite test case tweaks.

* testsuite/systemtap.syscall/chmod.c: Avoid nesting by looking for return
  values. Test old 16-bit syscall variants on all 32-bit platforms.
* testsuite/systemtap.syscall/uid16.c: Ditto.
* testsuite/systemtap.syscall/getgroups.c: Test old 16-bit syscall
  variants on all 32-bit platforms.
* testsuite/systemtap.syscall/poll.c: Add 'epoll_create1' to the covered
  list.

Use more python syntax in dtrace.in that works for python v3 also.

Improve dtrace.in to make it more compatible with python v3. There are
still remaining problems.

PR18001: error::pass4 man page: add preprocessed-file-generation instructions

Year bump in copyright message

doc generation: aid problem diagnosis by preserving stdout/stderr

The Makefile.am's don't need to >/dev/null 2>&1 for potential
troublemakers.

PR18000: Always use new tracequery objects directly

When new tracequery objects are built, always use them directly from the
build directory, regardless of whether the systemtap cache is enabled.
This allow traceponts to be found even under --disable-cache.

PR17737: followup: more portable xmlto parametrization

Testing indicates --stringparam generate.toc='book,toc,title'
works more portably than generate.toc='book\ toc,title'

PR16716 partial fix: Fix syscall nesting in 'syscall.nfsservctl'.

* tapset/linux/syscalls2.stp (syscall.nfsservctl): Simplify and avoid
  nesting.
* tapset/linux/nd_syscalls2.stp (nd_syscall.nfsservctl): Ditto.
* testsuite/systemtap.syscall/nfsservctl.c: Added s390 support.

bump version to 2.8 and autoreconf

Linux 3.19 added the execveat syscall, adding tapset support

tapset/linux/nd_syscalls.stp - no debuginfo tapset
tapset/linux/syscalls.stp - regular tapset
testsuite/buildok/nd_syscalls-detailed.stp - update no debuginfo testcase
testsuite/buildok/syscalls-detailed.stp - update testcase
testsuite/systemtap.syscall/execveat.c - new syscall testcase

release 2.7 dating in .spec & NEWS

PR17962: make dtrace.exp "parser check" test case conditional on pyparsing

Without pyparsing installed, the test gave a false FAIL: indication.

PR17953: improve debug_line traversal logic

remove <NULL> printed at the end of sym[file]line

runtime/sym.c: for linenumbers remove type casting and change print
format to an unsigned long

Fix the buildok testcase for nd_syscall.mbind in nd_syscalls-detailed.stp.

PR16716 partial fix: Fix types and nesting for 'syscall.{mbind,move_pages,migrate_pages}'.

* runtime/linux/compat_unistd.h: Define __NR_move_pages for rhel5 powerpc platform
* tapset/linux/nd_syscalls.stp: Fix types and nesting for 'syscall.{mbind,move_pages,migrate_pages}'.
* tapset/linux/syscalls.stp: Fix types and nesting for 'syscall.{mbind,move_pages,migrate_pages}'.
* testsuite/buildok/nd_syscalls-detailed.stp: Test all convenience variables.
* testsuite/buildok/syscalls-detailed.stp: Test all convenience variables.
* testsuite/systemtap.syscall/numa.c: New testcase.

buildrun: turn off gcc -fipa-icf optimization during pass 4

At the moment of writing, this option slows down stap too much.

sample interrupts-by-dev: unbreak accidental .txt/.stp overwrite

testsuite samples: add a bunch more sample output-txt; regenerate index

AUTHORS bump

PR17985: fix netfilter tapset & code-generator

The $out parameter was not being initialized, and kernel-int/char-
reading tapset functions were needlessly duplicated.  Now

   # stap -uv -e 'probe netfilter.** {next}' -t

passes with flying colors.

initial lwtools examples

testsuite listing_mode: Adapt to changed line numbers

commit 2538abbc94 inserted some blank lines to separate function
declarations and bodies, but the .exp file needs correponding updates
for the pushed-down line numbers.

testsuite buildid.c: more gcc5 unwarningification

Make coverage.tcl report syscalls without probes.

* testsuite/systemtap.syscall/coverage.tcl: Add output of syscalls without
  probes.

testsuite: gcc5 warning fixes, int-less main() declarations

proc_by_pid.c test victim, gcc5 warning fix

i18n: update-po

listing_mode.c test case: eliminate gcc5 warnings

stap-prep: Accept ".arch+variant" uname -r format.

lwtools: begin a new collection of non-debuginfo examples

HACKING git hints for emailed patches

eatmydata sample: tweak wording for default-redirect-fd change

eatmydata: add sample .txt, prefer default redirecton fd=-1

linetimes sample text: add back invocation command line

correct linetimes sample output -- now with proper call-graph sorting

eventcount sample: add .txt

example output for exampe script latencytap.stp

examples index: add link to .txt "sample usage" files

linetimes sample: revise, add sample screenshot, _bestify

The callgraph-printing logic is much simplified by the recent addition
of array-slice operations.

new files for example output from _best example scripts

BZ1128209: add a configure --{enable,disable}-virt option

It was desirable that a systemtap rpm be buildable in a predictable
manner (in this case, without virthost support), even if prerequisites
(libvirt etc.) were accidentally installed.

stap.1: tweak SAFETY AND SECURITY section

Reorganized to emphasize translate- and run-time checks at the top.

PR17966: never generate .call for an unresolved .return $var

The saved-return code already skipped .call for any $var that generated
an error, but variables attempted in a symtab context don't generate
errors until later.  This means a @defined-guarded $var might create an
unguarded access in .call that causes unrecoverable errors further on.

Now the .call will be skipped if the target_symbol persists for any
reason, regardless of its error state.  Any resolved target_symbol
should become something quite different, usually a loc2c function call.

The minidebuginfo.exp test is extended to exercise @defined and .return
scenarios as well.

runtime/linux: block utrace-via-tracepoints without tracepoints

The code in autoconf-utrace-via-tracepoints.c will compile just fine on
kernels which do have those tracepoints, but not CONFIG_TRACEPOINTS=y.
That would only result in ENOSYS at runtime.

To get this autoconf working at compile time, check the config directly.

Reported-by: Crestez Dan Leonard <cdleonard@gmail.com>

Tweak a couple of syscall test cases.

* testsuite/systemtap.syscall/shutdown.c: Fix typo.
* testsuite/systemtap.syscall/module.c: Tweak to avoid an OOM error on
  ppc64.

Make fileline-profile.stp executable

Update the keyctl.c testcase so that it can also be run using sudo.

gcc5 -Wformat=2 tweaks, x86-64 on rawhide edition

And a few more crawl out from between one's toes ...

gcc5 -Wformat=2 tweaks, x86-64 edition

inttypes.h print-format macros vs. types, round too, 64-bit edition

gcc5 -Wformat=2 tweaks

-Wformat=2 now includes -Wformat=signedness, which sadly some of our
violates.  Correct this throughout with some casts. In the case of
stapdyn, we downgrade to -Wformat=1 due to problems with
dyninst-devel.

Regenerate auto* configury on fedora rawhide, since automake was
complaining about needing "subdir-objects" in AUTOMAKE_OPTIONS.

Fix PR17951 by fixing nesting in several syscall socketcall-based probes.

* tapset/linux/syscalls.stp: Fix syscall nesting in syscall.{bind,
  connect, getpeername, getsockname, listen}.
* tapset/linux/nd_syscalls.stp: Ditto.
* tapset/linux/syscalls2.stp: Fix syscall nesting in syscall.{recvmsg,
  send, sendmsg, shutdown, socket, socketpair}.
* tapset/linux/nd_syscalls2.stp: Ditto.
* runtime/linux/compat_unistd.h: Correct __NR_ia32_fchown32 value. Add
  __NR_bind, __NR_connect, __NR_getpeername, __NR_getsockname,
  __NR_listen, __NR_recvmsg, __NR_send, __NR_sendmsg, __NR_shutdown,
  __NR_socket, and __NR_socketpair.

PR16716 partial fix: Fix syscall nesting in 'syscall.{chown,fchown,lchown}'.

* tapset/linux/syscalls.stp: Fix x86/x86_64 syscall nesting in
  syscall.{chown,fchown,lchown}.
* tapset/linux/nd_syscalls.stp: Ditto.
* runtime/linux/compat_unistd.h: Added __NR_ia32_chown32,
  __NR_ia32_fchown32, and __NR_ia32_lchown32.

Make all socketcall.connect probes optional.

Both 32-bit and 64-bit arm do not implement syscall socketcall.  A
number of tests were failing on those architectures because two of the
syscall socketcall return probes were not optional.  Made those two
syscall socketcall variants optional like all the others.

Fix PR17928 - syscall tapset/testsuite problems (on a newer 32-bit kernel) (2)

* tapset/linux/syscalls2.stp {sys_recv, sys_recvfrom}
* testsuite/systemtap.syscall/keyctl.c: Added 32-bit fix
* testsuite/systemtap.syscall/recv.c: Ditto
* testsuite/systemtap.syscall/send.c: Ditto
* testsuite/systemtap.syscall/sendmsg.c: Ditto

Fix PR17928 - syscall tapset/testsuite problems (on a newer 32-bit kernel).

* tapset/linux/syscalls.stp: Fix types in syscall.{chmod, fchmod, fchmodat}

The 32-bit arm does not remap epoll_wait or poll syscalls

The poll test was failing because the test was expecting the 32-bit
arm processor to remap the epoll_wait syscall to epoll_pwait and to
remap the poll syscall to ppoll.  Only the arm64 is remapping those
syscalls.

Do not expect that alarm(-1) to work for the syscall alarm.c test

Setting a alarm for a time in the past (alarm(-1)) doesn't make much
sense.  Some kernels allow this and do not flag an error.  Others such
as the Fedora 20 32-bit ARM kernel return -EINVAL.  Allow the
syscall alarm test to pass with kernels that do return an error.

Fix PR17928 - syscall tapset/testsuite problems (on a newer 32-bit kernel).

* tapset/linux/syscalls.stp: Fix types in syscall.{add_key, alarm,
  fgetxattr, fstatfs64, getrandom, getxattr, init_module, lgetxattr,
  listxattr, llistxattr, lsetxattr, lstat, madvise, mlock,
  modify_ldt, mmap2, mq_timedsend, msgrcv, msgsnd, msync, munmap}.
  Fix types and add 32-bit kernel support via socketcall in
  syscall.{bind, connect, getpeername, getsockname, listen}.
* tapset/linux/nd_syscalls.stp: Ditto.
* tapset/linux/syscalls2.stp: Fix types and add 32-bit kernel support via
  socketcall in syscall.{recvmsg, send, sendmsg, sendmmsg, shutdown,
  socket, socketpair}. Fix types in syscall.{sendfile, sendto, setxattr,
  shmget, statfs64}.
* tapset/linux/nd_syscalls2.stp: Ditto.
* testsuite/buildok/nd_syscalls2-detailed.stp: Fixed typos.
* testsuite/buildok/syscalls2-detailed.stp: Ditto.
* testsuite/systemtap.syscall/modify_ldt.c: New testcase.
* testsuite/systemtap.syscall/inotify.c: Added 32-bit fix.
* testsuite/systemtap.syscall/mq.c: Ditto.
* testsuite/systemtap.syscall/recvfrom.c: Ditto.
* testsuite/systemtap.syscall/recvmmsg.c: Ditto.
* testsuite/systemtap.syscall/recvmsg.c: Ditto.
* testsuite/systemtap.syscall/sendmmsg.c: Ditto.
* testsuite/systemtap.syscall/sendto.c: Ditto.
* testsuite/systemtap.syscall/memfd_create.c: Fixed compile problem.
* testsuite/systemtap.syscall/nfsservctl.c: Ditto.
* testsuite/systemtap.syscall/shutdown.c: Ditto.
* testsuite/systemtap.syscall/sigmask.c: Ditto.

PR16716 partial fix: Fix types for 'syscall.prctl'.

* tapset/linux/aux_syscalls.stp (_prctl_argstr): New function.
* tapset/linux/syscalls2.stp (syscall.prctl): Fixed types and calls
  _prctl_argstr().
* tapset/linux/nd_syscalls2.stp: Ditto.
* testsuite/systemtap.syscall/coverage.tcl: Updated bad syscall list.
* testsuite/systemtap.syscall/prctl.c: New test case.
* testsuite/buildok/aux_syscalls-embedded.stp: Added new test.

This patch fix spelling typo in stap.1 and stap-server.8

Signed-off-by: Masanari Iida <standby24x7@gmail.com>

NEWS blurb about symfileline() and related functions

Merge branch 'ajakop/12276' of ssh://sourceware.org/git/systemtap into ajakop/12276

Conflicts:
runtime/unwind/unwind.h

PR12276: example usages of symfileline() to profile

EXAMPLE/profiling/periodic.stp: for the case of printing out symdata for a
kernel address, if file:line information is available, then print out the
symbol@file:line information.

EXAMPLE/profiling/fileline-profile.*: use symfileline() and symname(),
or symdata if file:line info is not available, to print out information
on the top 20 addresses sampled from when the stap script was running.

PR12276: add runtime check for specified address len

PR12276: more debug_line traversal checks during runtime

PR12276: fix debug_line linenum and address calcs

PR12276: check all sequences in _stp_linenumber_lookup

runtime/sym.c: addresses can only increase within a sqeunce, but at the
start of the new sequence, the starting address can be lower than the
previous'. _stp_linenumber_lookup() was changed to iterate through all
sequences until a suitable address is found, instead of giving up when
the line data address passes the desired address.

PR12276: fix line numbers to match in usymfileline.exp

PR12276: compare symfileline() with pp()

[u]symfileline.*: added a test that uses *.statement(*@*:*) probes to
compare the return from [u]symfileline() with the @file:line portion of pp()

PR12276: expect path+file in [u]symfile[line] tests

PR12276: symfile[line]() return path and filename

sym.c: changed the filename gathering portion from _stp_linenumber_lookup()
to collect the directory information and include that with the returned
filename. moved the filename gathering portion to its own function,
_stp_filename_lookup()

PR12276: fix comparison in dump_line_tables_check()

PR12276: correct checks in dump_line_tables_check()

PR12276: add ifdef when assigning _stp_module.debug_line

PR12276: fix inital line data check to check all units

translate.cxx: encase the majority of dump_line_tables_check() in a while
loop to check all of the units/line number programs instead of only
the first unit/line number program

PR12276: perform initial checks on debug_line data

translate.cxx: during translation, check that most of the line data
header looks fine. checks dont cover directory or file name table.

PR12276: tests for symfileline and related

[u]context-symbols-embedded.stp: check that [u]symfileline() and
the related tapset functions build without issues
usymfileline.*: tests usymfileline(), usymfile(), and usymline() with
and without debug_line info
symfileline.*: tests symfileline(), symfile() and symline() with
an valid address from the kernel module set up in context.exp
context.exp: add symfileline to list of tests to be run

PR12276: add functions [u]symfile and [u]symline

runtime/sym.c: in _stp_snprint_addr(), add in the ability to return
the linenumber or the filename.
tapset/linux/[u]context-symbols.stp: added functions [u]symline and
[u]symfile. fixed spelling mistake with pragma:myproc-unprivileged

PR12276: fix addr adjustment for symfileline()

runtime/sym*: adjust the given address to account for the load offset
runtime/transport/symbols.c: include the body of _stp_module_update_self()
if STP_NEED_LINE_DATA so that the sec_load_offset can be updated
tapset/linux/context-symbols.stp: remove the pragma myproc-unpriveleged
since it's spelled wrong, and it's not needed anyways
translate.cxx: add funtion find_debug_frame_offset() to set the
sec_load_offset for the ".text" section

PR12276: debug_line data decoder

runtime/sym.c: have _stp_linenumber_lookup() go through the
debug_line info and determine if the given address corresponds
to a line number (and a file name).

PR12276: constant definitions and moved functions

unwind.*: moved function and constant definitions related to read_pointer()
from unwind.c to unwind/unwind.h for use by the debug_line decoder
sym.*: include the unwind header file and add in constants for decoding
opcodes within the debug_line decoder

PR12276: [u]symfileline() tapset functions

runtime/sym.c: added the portion to print out the file name and line
number of the given address

PR12276: pragma:lines sets need_lines, not need_symbols

PR12276: dump debug_line data to generated header

elaborate.cxx: set a flag to indicate debug_line data is needed if
pragma:lines was found in embedded code
translate.cxx: gather debug_line data if it is needed and can be accessed.
if the data was gathered, output it to the generated header file

PR12276: example usages of symfileline() to profile

EXAMPLE/profiling/periodic.stp: for the case of printing out symdata for a
kernel address, if file:line information is available, then print out the
symbol@file:line information.

EXAMPLE/profiling/fileline-profile.*: use symfileline() and symname(),
or symdata if file:line info is not available, to print out information
on the top 20 addresses sampled from when the stap script was running.

PR12276: add runtime check for specified address len

Actually add changes meant for commit cfdd554.

* tapset/linux/syscalls.stp (syscall.kill): Fix types.
* tapset/linux/syscalls2.stp (syscall.quotactl): Fix types and add 32-bit
  support.
  (syscall.wait4): Fix nesting.
  (syscall.waitid): Add 32-bit support.
  (syscall.waitpid): New probe.
* tapset/linux/nd_syscalls2.stp: Ditto.
* tapset/linux/aux_syscalls.stp (_adjtx_mode_str): Deprecate unused function.
  (_statfs_f_type_str): Ditto.
  (_waitid_opt_str): Deprecated, since the difference between it and
  _wait4_opt_str() was unnecessary.
  (_internal_wait_opt_str): Deprecated since no longer necessary.
  (_flock_cmd_str): Reworked and updated.
  (_wait4_opt_str): Ditto.
  (_waitid_which_str): Ditto.
  (_quotactl_cmd_str): Ditto.
* NEWS: Mention deprecated functions.
* runtime/linux/compat_unistd.h: Added __NR_compat_wait4.
* testsuite/buildok/aux_syscalls-embedded.stp: Updated.
* testsuite/buildok/nd_syscalls2-detailed.stp: Ditto.
* testsuite/buildok/syscalls2-detailed.stp: Ditto.
* testsuite/systemtap.syscall/clone.c: Ditto.
* testsuite/systemtap.syscall/flock.c: Ditto.
* testsuite/systemtap.syscall/getrandom.c: Ditto.
* testsuite/systemtap.syscall/wait4.c: Ditto.
* testsuite/systemtap.syscall/test.tcl: Make more robust.
* testsuite/systemtap.syscall/module.c: Handle s390.

PR16716 partial fix: Fix types for 'syscall.{kill,quotactl,wait{4,id,pid}}'.

* tapset/linux/syscalls.stp (syscall.kill): Fix types.
* tapset/linux/syscalls2.stp (syscall.quotactl): Fix types and add 32-bit
  support.
  (syscall.wait4): Fix nesting.
  (syscall.waitid): Add 32-bit support.
  (syscall.waitpid): New probe.
* tapset/linux/nd_syscalls2.stp: Ditto.
* tapset/linux/aux_syscalls.stp (_adjtx_mode_str): Deprecate unused function.
  (_statfs_f_type_str): Ditto.
  (_waitid_opt_str): Deprecated, since the difference between it and
  _wait4_opt_str() was unnecessary.
  (_internal_wait_opt_str): Deprecated since no longer necessary.
  (_flock_cmd_str): Reworked and updated.
  (_wait4_opt_str): Ditto.
  (_waitid_which_str): Ditto.
  (_quotactl_cmd_str): Ditto.
* NEWS: Mention deprecated functions.
* runtime/linux/compat_unistd.h: Added __NR_compat_wait4.
* testsuite/buildok/aux_syscalls-embedded.stp: Updated.
* testsuite/buildok/nd_syscalls2-detailed.stp: Ditto.
* testsuite/buildok/syscalls2-detailed.stp: Ditto.
* testsuite/systemtap.syscall/clone.c: Ditto.
* testsuite/systemtap.syscall/flock.c: Ditto.
* testsuite/systemtap.syscall/getrandom.c: Ditto.
* testsuite/systemtap.syscall/wait4.c: Ditto.
* testsuite/systemtap.syscall/test.tcl: Make more robust.
* testsuite/systemtap.syscall/kill.c: New test.
* testsuite/systemtap.syscall/quotactl.c: Ditto.
* testsuite/systemtap.syscall/wait.c: Ditto.

PR12276: more debug_line traversal checks during runtime

PR12276: fix debug_line linenum and address calcs

runtime/unwind.c: advance data pointer in get_sleb128()

PR12276: check all sequences in _stp_linenumber_lookup

runtime/sym.c: addresses can only increase within a sqeunce, but at the
start of the new sequence, the starting address can be lower than the
previous'. _stp_linenumber_lookup() was changed to iterate through all
sequences until a suitable address is found, instead of giving up when
the line data address passes the desired address.

PR12276: fix line numbers to match in usymfileline.exp

Fix the hw_watch_addr.stp test to properly test for kernel support

The check for kernel support uses perf and perf needs to just have the
address to watch.  There was additional output on the line from
/proc/kallsyms causing the test to fail. Used awk to extract only the
numerical address from the line.