regenerate examples index

EXAMPLES/process/procmod_watcher.stp: add meta file

Merge branch 'jlebon/callee' (PR1133)

Merge branch 'templates' into jlebon/callee

This branch converts all the iterate_over_* functions into templates,
which allow for typesafe callbacks. Casts should no longer be used in
callback functions.

template-ify iterate_over_callees()

template-ify iterate_over_labels()

template-ify iterate_over_srcfile_lines()

template-ify iterate_over_plt()

template-ify iterate_over_libraries()

template-ify iterate_over_notes()

NEWS: add blurb about .callees probes

template-ify iterate_over_globals() and iterate_over_types()

callee.exp: new testcase for callee probes

This testcase tests all the aspects callee probes have to handle, such
as inlined functions, exported functions, nested [inlined] functions,
and relocation.

template-ify iterate_over_functions() and iterate_single_function()

color_parsing.exp: adjust installtest check

template-ify iterate_over_inline_instances()

man/stapprobes.3stap: re-structure and add .callee[s]

Information about .callee[s] probes was added.

The paragraph containing variants and modifiers was getting heavy, so it
was made into a list instead.

template-ify iterate_over_cus()

make .callee[s] probes only trigger when called from target callers

Here, we prefix a block to the callee's probe handler to only pass
through if all the callers up the chain match with the current stack.
For .callee("func") probes, we simply add a check for [u]stack(1) ==
"func". For .callees(N) probes, we add a check that the N callers up the
callstack match those iterate_over_callees() found during static
analysis.

These checks are done at runtime by the caller_match() tapset function,
which calls _stp_[uk]module_relocate() to get the relocated address of
the expected caller and _stp_stack_[user|kernel]_get() to get the
unwinding address in the wanted stack frame.

template-ify iterate_over_modules()

implement iterate_over_callees()

In this patch, we actually implement iterate_over_callees(). This
function looks for inlined subroutines or GNU_call_sites and calls the
callback for each found. The query_callee() callback for now simply does
a query_statement on the callee found. Logic is added in the next patch
to limit probing to calls from caller only.

register .callee[s[(N)]] variants

Here, we register three variants:

- function.callee(STR)
- function.callees
- function.callees(NUM), where NUM >= 1

allow arbitrary callback arg for iterate_over_functions()

This type-unsafe transformation will be corrected (along with all others
of this kind) in an upcoming patch.

nfsd-recent.stp: New sample script

Add a rpm require on 'mokutil' when needed.

* systemtap.spec: Make the client subpackage require 'mokutil' when
  needed.
* session.cxx (get_mok_info): Remove 'FIXME' comment about needing to
  require 'mokutil'.

PR16603: correct time drift on fluctuating-cpufreq unsync-tsc boxes

* runtime/time.c: Restructure the per-cpu base_ns/base_cycles logic so
  a common function is used during initialization, the regular timer
  callback, and the irregular cpufreq callback (via an IPI there).

Better fix for improved key security while generating new MOKs.

* stap-serverd.cxx (generate_mok): Instead of manually changing
  permissions on the newly generated private key, just set the umask.

Merge branch 'dsmith/secure-boot' into master.

Add the capability of module signing for secure boot purposes into the
stap compile server.

stapdyn: Print dynprobe flags as hex in debug messages

stapdyn: Reorganize utrace probing, and get end-by-exec working

* mutatee.cxx (mutatee::exec_reset_instrumentation): Save process.end
  probes into exec_proc_end_probes, and clear the rest of attached_probes.
  (mutatee::call_utrace_dynprobes): Take a whole vector of probes, and do
  the lookup for utrace_enter_function here.
  (mutatee::find_attached_probes): Return the vector directly.
  (mutatee::thread_callback): Use find_attached_probes, and pass that to
  call_utrace_dynprobes as is.
  (mutatee::begin_callback): Ditto.
  (mutatee::exit_callback): Ditto, except treat exec specially.
  (mutatee::instrument_dynprobes): Don't try to deal with exec here,
  because the stap module probably isn't ready yet.
* mutator.cxx (mutator::exec_callback): Call mutatee::exit_callback.
  (mutator::exit_callback): Align the fake-local probe hits to work more
  similarly to mutatee::exit_callback.

stapdyn: Enable following exec with Dyninst 8.2

stapdyn: Report PIDs in mutatee debug messages

pstree: Apply DOT escapes to all strings

Improve key security while generating new MOKs.

* stap-serverd.cxx (generate_mok): Manage temporary directory permissions
  so that no one can read the private key until we fix its permissions.

Add an additional PR16570 fix for ia64.

* testsuite/systemtap.syscall/nd_syscall.exp (test_procedure): Kfail the
  module compliation on ia64 since ia64 doesn't have kprobe.function
  support.

Regenerate examples index

Add process/pstree.stp example

This generates a process diagram in DOT form.  For instance, it may be
useful on a 'make' command to see all the processes that are started.

Fix PR16580 by decoding the 'protocol' argument of 'syscall.socket{pair}'.

* tapset/linux/aux_syscalls.stp (_sock_protocol_str): New function.
* tapset/linux/syscalls2.stp: Decode the 'protocol' argument in
  syscall.socket and syscall.socketpair with _sock_protocol_str().
* tapset/linux/nd_syscalls2.stp: Ditto.
* testsuite/systemtap.syscall/socket.c: New test.
* testsuite/systemtap.syscall/socketpair.c: Updated test to expect decoded
  'protocol' arguments.
* testsuite/systemtap.syscall/net1.c: Ditto.

Check directories exist before sym linking runtime-java helpers

* systemtap.spec - When we're linking libHelperSDT_*.so and
    HelperSDT.jar we need to make sure that the openjdk
 dirs we're linking to actually exist if yum/openjdk
 failed to remove the base dir on an openjdk upgrade.

man error::reporting: highlight stap-report

man error::buildid: expand blurbage

find_and_build: set from_glob for globby functors

We don't want to create suggestions for probe points created from globby
functors (e.g. syscall.*). Otherwise, we'll be creating a lot of
overhead calculating levenshtein distances for no reason.

RHBZ 847285: Don't allow 'systemctl reload'.

'reload' is not supported by the stap-server script. The
ExecReload line in stap-server.service was calling
'stap-server restart' which stops the server and starts a
new one. This behavior is not expected or tolerated by systemd
which promptly sends SIGKILL to the new server.

We cannot supported 'reload' in systemctl. Note that 'restart'
is supported and works properly.

Added rename()/renameat() testcase and prevent more syscall nesting.

* testsuite/systemtap.syscall/rename.c: New testcase for rename() and
  renameat().
* tapset/linux/syscalls2.stp: Prevent syscall nesting in syscall.open,
  and syscall.renameat.
* tapset/linux/nd_syscalls2.stp: Ditto.
* tapset/linux/syscalls.stp: Prevent syscall nesting in syscall.mkdirat.
* tapset/linux/nd_syscalls.stp: Ditto.
* runtime/linux/compat_unistd.h: Add __NR_compat defines.

Fix PR16570 by speeding up the syscall.exp/nd_syscall.exp testcases.

* testsuite/systemtap.syscall/syscall.exp: Compile the module once.
* testsuite/systemtap.syscall/nd_syscall.exp: Ditto.
* testsuite/systemtap.syscall/test.tcl (run_one_test): Use staprun to load
  the previously compiled module.

loc2c.c (translate): Add unhandled error case for DW_OP_GNU_entry_value.

We don't handle DW_OP_GNU_entry_value in location expressions. This gives
a nicer error message when we encounter it in an expression.

Fix syscall.rt_sigreturn{.return} for ia64.

Fix permissions on testsuite/buildok/scheduler-cpu_on.stp.

Update the list of kfailed tests in buildok.exp.

Small scheduler tapset testsuite fixes.

* testsuite/buildok/scheduler-cpu_on.stp: New file.
* testsuite/buildok/scheduler-detailed.stp: Moved 'scheduler.cpu_on' test
  to scheduler-cpu_on.stp.
* testsuite/buildok/scheduler-migrate.stp: Removed unneeded
  '__scheduler.migrate.kp' test.

Make 'signal.checkperm.return' optional, since it can be inlined.

* tapset/linux/signal.stp: On some kernels, check_kill_permission() can be
  only inlined, so make 'signal.checkperm.return' optional.
* testsuite/buildok/signal-detailed.stp: Make the
  'signal.checkperm.return' test optional

Fix PR16557 by improving the vm.mmap probe alias.

* tapset/linux/memory.stp (vm.mmap): Improve probe alias by probing
  do_mmap_pgoff() (when available) instead of do_mmap(), which can be
  always inlined.

Fix PR16555 by fixing task.stp on rawhide.

* tapset/linux/task.stp: Add CONFIG_USER_NS support to task_gid(),
  task_egid(), task_uid(), task_euid().

Additional PR16540 fix. Fix using @cast when scsi support is in a module.

* tapset/linux/scsi.stp: For kernels where scsi support is in a module,
  like on RHEL5, fix @cast() in the 'scsi.iodone' probe alias.

Fix kernels that have CONFIG_USER_NS, but uid/gids are still simple values.

* buildrun.cxx (compile_pass): Add an export test for "from_kuid_munged".
* runtime/linux/runtime.h: If we don't have "from_kuid_munged", define our
  own from_kgid_munged()/from_kgid_munged() that do nothing.

Additional PR16541 fix. Fix using @cast when nfsd is in a module.

* tapset/linux/nfsd.stp: For kernels where nfsd is in a module (like on
  RHEL5), fix @cast() in new __rqstp_uid() and __rqstp_gid() functions.

delete initscript/README.stap-server

The large majority of information in README.stap-server was already part
of the stap-server(8) man page. A few examples and clarifications were
transferred over.

- initscript/README.stap-server: delete it
- man/stap-server.8: incorporate some of the examples from the README
  and some clarifications
- systemtap.spec: remove README.stap-server from $files list
- NEWS: add blurb about removal

Fix PR16541 by updating the nfsd.stp tapset.

* tapset/linux/nfsd.stp: Two fixes. Handle kernels with CONFIG_USER_NS,
  whose uids/gids aren't simple types. In nfsd.close, handle the inlined
  case were we can't find the argument.

doc/langref.tex: drop some 'experimental' qualifiers

Regex-matching and macros are not experimental any more.

Fix PR16542 by updating the rpc tapset.

* tapset/linux/rpc.stp: Handle the removal of the rpc_clnt 'cl_protname' field.

Fix PR16540 by adding scsi tracepoint support to the scsi.iodone probe alias.

* tapset/linux/scsi.stp (scsi.iodone): Use the "scsi_dispatch_cmd_done"
  tracepoint when available.

NEWS: blurb about README change

autoreconf

man/systemtap.8.in: new man page to replace README

This man page replaces the README.systemtap text file. The content is
almost the same. A lot of rephrasing, some restructuring, and some
clarifications that weren't present in the original document.

- man/systemtap.8.in: new man page
- initscript/README.systemtap: remove it
- initscript/systemtap.in: add hint to man page

- configure.ac: add man/systemtap.8.in in AC_CONFIG_FILES macro
- man/Makefile.am: add systemtap.8 to man_MANS
- systemtap.spec: replace README by man page in systemtap-initscript pkg
  $files list

runtime: linux 3.14 porting: preempt_enable_no_resched

Kludge for linux commit 62b94a08da1bae9d187d49dfcd6665af393750f8:
sched/preempt: Take away preempt_enable_no_resched() from modules

We may well not need to use the _no_resched variant in modern kernels,
and reasons for using it at all are not well documented.  TODO rethink.

runtime: linux 3.14 porting: userns: Remove UIDGID_STRICT_TYPE_CHECKS

Adapt to linux commit 261000a56b6382f597bcb12000f55c9ff26a1efb
by using CONFIG_USER_NS as trigger for our *id*munged treatment
instead of CONFIG_UIDGID_STRICT_TYPE_CHECKS.

Remove the transport's unused "dropped" file.

* runtime/transport/relay_v2.c: Unless _STP_USE_DROPPED_FILE is defined,
  don't bother creating the unused "dropped" file.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Compile fix for runtime/vma.c.

* runtime/vma.c (_stp_vma_exec_cb): Add cast to avoid compiler error.

NEWS: clarify kprocess.exec change

Add the ability for the server to generate MOKs.

* stap-serverd.cxx (generate_mok): New function.
  (handleRequest): Call generate_mok() when needed.

Various server cleanups related to MOK handling.

* stap-serverd.cxx (inotify_callback): Simplified.
  (avahi_publish_service): Open the inotify file in non-blocking
  mode. Create the server mok directory if needed.
  (mok_sign_file): Return a bool to let callers know if it worked.
  (handleRequest): If MOK signing failed, tell the client to not load the
  resulting module.

Remove global list of server MOK fingerprints.

* stap-serverd.cxx (mok_dir_valid_p): Extract code from
  initialize_server_moks().
  (get_server_mok_fingerprints): The remains of initialize_server_moks().
  (create_services): Call get_server_mok_fingerprints() instead of
  initialize_server_moks().
  (initialize_server_moks): Removed.
  (handleRequest): Don't use global list of server MOKs. Instead, check
  presence of client fingerprints on the fly.

Watch the server MOK directory for changes.

* stap-serverd.cxx (create_services): Refresh the server MOK info.
  (inotify_callback): New function.
  (avahi_cleanup): Cleanup the inotify watch.
  (avahi_publish_service): Watch the server MOK directory for any
  changes.
  (initialize_server_moks): Clear out the old MOK info. Don't bother
  initializing NSS (since it will already be initialzied from the new call
  site).
  (initialize): Let create_services() find the list of MOKs.

Simplify server MOK handling.

* stap-serverd.cxx: Convert the server MOK map into a vector of
  fingerprints. Calculate the full directory name as needed.

Make the server send a MOK public cert to the client when needed.

* csclient.cxx (compile_server_client::process_response): If the server
  returns a MOK public certificate, copy it to the user's current
  directory.
* stap-serverd.cxx (handleRequest): If the server has no MOK in common
  with the client, send it one for the client to install.

doc/SystemTap_Beginners_Guide/en-US/Installation.xml: update for rhel7

man/stapprobes.3stap: mention nd_syscall.* family

systemtap.syscall/signal.c doesn't test getpid(), so don't claim that it does.

Improve 'syscall.rt_sigpending' and 'nd_syscall.rt_sigpending' probe aliases.

* tapset/linux/syscalls2.stp (syscall.rt_sigpending): Add better 32-bit on
  64-bit support.
* tapset/linux/nd_syscalls.stp: Ditto.
* testsuite/systemtap.syscall/rt_signal.c: Added rt_sigpending() tests.

Limit systemd-tmpfiles --create to just our own

See also rhbz1043212.

Make the server better handle client requests where there is no matching MOK.

* stap-serverd.cxx (handleRequest): Don't error out too soon if the server
  doesn't have a MOK that matches the client.

Don't enable stap-server.service by default

Updated testsuite/systemtap.syscall/coverage.tcl.

Simplify MOK fingerprint advertisement.

* stap-serverd.cxx (create_services): Instead of "mok_infoN" keys, just
  use a single key ("mok_info") with multiple values.
* csclient.cxx (get_values_from_avahi_string_list): New function.
  (resolve_callback): Expect multiple values with the same "mok_info"
  key.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Fix syscall nesting in 'syscall.close' and add a socketpair testcase.

* tapset/linux/syscalls.stp: Fix syscall nesting in 'syscall.close'.
* tapset/linux/nd_syscalls.stp: Ditto.
* runtime/linux/compat_unistd.h: Added '__NR_compat_close.
* testsuite/systemtap.syscall/socketpair.c: New syscall.exp testcase.

Don't bother keeping up with MOK issuers and serial numbers.

* csclient.cxx: Instead of keeping up with MOK issuer, serial number, and
  fingerprints, just handle fingerprints.
* stap-serverd.cxx: Ditto.
* nsscommon.cxx (read_cert_info_from_file): Only return the cert's
  fingerprint.
* nsscommon.h: Update read_cert_info_from_file() prototype.
* session.h: Rename 'mok_info' to 'mok_fingerprints'.
* session.cxx (systemtap_session): Ditto.
* buildrun.cxx (make_run_command): Ditto.

pplabel(): clarify usage and rename to pnlabel()

PR16478: add pplabel() tapset function

The pplabel() tapset function simply parses the label for which the
event fired by parsing the probe name.

* tapset/pn.stp: add pplabel() function
* labels.exp: strengthen expect block and add test for pplabel()

Initial MOK signed module support.

* buildrun.cxx (make_run_command): If we're using signed modules, we can't
  rename modules.
* csclient.cxx (compile_server_info::operator==): Compare MOK fingerprints.
  (compile_server_client::create_request): If needed, send a MOK
  fingerprint file of valid MOKs to the server.
  (operator <<): Output MOK info.
  (get_or_keep_compatible_server_info): If the client requires secure boot
  signing, make sure the server has the right MOK.
  (resolve_callback): Process MOK info in the avahi advertisement.
* nsscommon.cxx (read_cert_info_from_file): New function.
* nsscommon.h: Add read_cert_info_from_file() declaration.
* session.cxx (systemtap_session::check_options): If the kernel is using
  signed modules, enforce server use.
  (systemtap_session::modules_must_be_signed): New function.
  (systemtap_session::get_mok_info): Ditto.
* session.h: Add new function declarations.
* stap-serverd.cxx (process_r): Keep track of kernel build dir.
  (create_services): Advertise server MOK information.
  (initialize_server_moks): New function.
  (initialize): Call initialize_server_moks() to get list of MOKs the
  server knows about.
  (get_client_mok_fingerprints): New function.
  (mok_sign_file): Ditto.
  (handleRequest): Match up client and server MOKs. Sign module.

string.stp: fix str_replace() return

Unfortunately, we can't use STAP_RETURN() here because we've been
gradually building STAP_RETVALUE from multiple concatenations so using
STAP_RETURN() would overwrite the hard work.

testsuite: adjust tests for new probing powers

Since we can now probe more functions (such as _start,
register_tm_clones), a few tests need to be adjusted.

* rep_ret.exp

  Get rid of 'bad' var and handle the case where main is not the first
  line printed out (which is now _start).

* process_by_cmd.exp

  Change wildcard probe (which now picks up too many functions) for
  multiple probe points targetting only the functions we want.

* exelib.exp

  Same as process_by_cmd.exp

PR16478: always use dwarf for labels

Now that the symtab is queried more often for function probes, we need
to explicitly make .label queries use dwarf or they won't work properly.

execve.exp: quote expected result

This is necessary since commit f631f56, which made [nd_]syscall.execve
use user_string_quoted() rather than user_string().

cmdline.cxx: don't use magic numbers

And prettify the struct array.

stap[run/dyn]: disable colors when SYSTEMTAP_COLORS empty

The current behaviour of SYSTEMTAP_COLORS is to turn on colors if it is
not set, or set but empty, and to turn off colors when set and invalid.
With this patch, rather than having users purposely make it invalid to
turn off colors, we interpret a set but empty SYSTEMTAP_COLORS to mean
turning colors off.

suggest alternatives for unresolved kernel markers

E.g.:
kernel.mark("ext4_sync_fa") --> ext4_sync_fs

suggest alternatives for unresolved sdt markers

E.g. process("stap").mark("benchmart") --> benchmark

And add blurb to NEWS

Merge branch 'PR15781'