testing: add new script to generate   kernel.function("*")  equivalent module

releng: workaround for more rhel6 module-signing nits

* buildrun.cxx (make_typequery_kmod, make_tracequery): Also
  set CONFIG_MODULE_SIG=n in the destination makefile, on
  account of RHBZ 655231.

Make lex_cast work numerically with [u]int8_t

These were getting treated by istream like char types, which would
always fail our generic template since eof isn't reached.  There's not
much point to using lex_cast<char> anyway, since str[0] will do the
same, so I've specialized lex_cast with [u]int8_t to read numerically.

The only place we use this so far is in SDT V3 parsing constants.  SDT
doesn't yet emit 1-byte arguments, but it may in the future.

* util.h (lex_cast<int8_t>): Read via int16_t to stay numeric.
  (lex_cast<uint8_t>): Same, with uint16_t.

compat: adapt to old kernels' dislike of 'bool' type in runtime code

* runtime/sym.c (_stp_build_id_check): Take int instead of bool.  Update
  callers.

testsuite: unembed test sources

Pleading guilty to
* youthful indiscretions
* providing unadmirable examples

Paying penance by
* separating teeny little non-tcl sources from tcl code
* swearing to do better in the future

Updated stapusr/stapdev requirements in stap.1.

sdt_types: remove manual type-casting

For now, remove the int() and short() typecasting, as it seems to be
working without.  We should try as much as possible to fix these issues
in the translator and/or sdt.h before masking it in the test.

Cast the proper sign and size of SDT constant args

* tapsets.cxx (sdt_uprobe_var_expanding_visitor::visit_target_symbol):
  For the constant case, we still need to do some typecasting, as gcc
  doesn't necessarily match the sign of the constant to the type.

Cast the proper sign and size of SDT register args

* tapsets.cxx (sdt_uprobe_var_expanding_visitor::visit_target_symbol):
  For the REGISTER case, insert a typecast to deal with truncation and
  sign-extension of the argument as needed.

sdt_types: Use direct array args rather than &array when possible

sdt_types: add a PASS statement for bitfields_small_var

Don't autoconf systemtap_session::NSPR_Initialized

The 1-byte saving of an autoconfed bool isn't worth the headache of
mismatched definitions, even if we've resolved that.

Remove dead code from systemtap_session

These two functions are dupes of code in main.cxx.

* session.cxx (parse_kernel_config): Removed.
  (parse_kernel_exports): Removed.

Make sure we all use the same systemtap_session

In particular, if some sources don't include config.h, then they'll be
missing HAVE_NSS, which changes the layout of systemtap_session.

* session.h: #include "config.h", so everyone gets HAVE_NSS.

Add user_{int8,int16,uint16,int32,uint32,int64}.

* conversions.stp (STP_GET_USER): New.  Use it to define...
(user_{int{8,16,32,64},uint{16,32}}) New. Names derive from types.h.
(user_char,user_short,user_int): Use STP_GET_USER.

* tapsets.cxx (uprobe_var_expanding_visitor::visit_target_symbol):
Use user_intN tapsets.

* sdt_types.c (unsigned_short_int_var,unsigned_int_var): New

* sdt_types.stp (unsigned_short_int_var,unsigned_int_var): New

CVE-2010-4170, CVE-2010-4171: staprun module loading/unloading security fixes

We would like to thank Tavis Ormandy for reporting this issue.

* runtime/staprun/staprun.c (enable_uprobes): Don't run /sbin/modprobe
  directly, since it takes more inputs than we have tried to sanitize.
  (remove_module): Call init_ctl_channel on putative stap module name,
  to check that it's our own stap module.
  (init_staprun): Do remove/retry via remove_module rather than
  underchecked delete_module(2).
* runtime/staprun/ctl.c (init_ctl_channel): Check ownership of
  .ctl files, to preclude manipulation of some other stapusr member's modules.
* runtime/staprun/Makefile.am, systemtap.spec: Install staprun as
  mode 04110, group stapusr.
* README.security, runtime/staprun/staprun.8: Note new stapdev/stapusr
  joint requirements.

Use output_exportconf for finding tsc_khz

* buildrun.cxx (compile_pass): Switch tsc_khz to output_exportconf.
* runtime/autoconf-tsc-khz.c: Delete this version-based check.

Add a fallback for kernels not exporting add_timer_on

Commit 3fd1c49 regressed for kernels which don't EXPORT add_timer_on.

* buildrun.cxx (compile_pass): Test for add_timer_on's export.
* runtime/time.c (_stp_init_time, __stp_init_time): Restore the
  IPI-add_timer as a fallback.

PR11735: Hash ldd/vdso unwindsym_modules too

* translate.cxx (prepare_symbol_data): Do add_unwindsym_ldd/vdso here.
  (prepare_translate_pass): Call above, and placeholder for the future.
* main.cxx (passes_0_4): Call prepare_translate_pass before checking the
  cache, so we have more complete unwindsym_modules.

PR11735: Hash unwindsym_modules as full paths

* hash.cxx (find_script_hash): Use hash::add_path instead of plain add.

uprobes: Clean up after vfork-exec

When a vfork'ed thread execs, we don't want to remove the probes from
the vfork parent, but we still need to clean up the thread associations.
Otherwise, the newly-execed process won't have the right accounting for
its SSOL area.

* runtime/uprobes2/uprobes.c (uprobe_report_exec): Clean up thread info
  when a vfork'ed task execs.
* runtime/uprobes/uprobes.c (uprobe_report_exec): Ditto.

tapset: add buildok test for inode_name()

tapset: new inode_name tapset function

Remove unfinished sentence from stap.1

The problem was introduced in commit 98aab489.

PR12164: Emit kprobes-sdt goo only when needed

This stuff is only used for apps compiled with EXPERIMENTAL_KPROBE_SDT,
so we don't need it most of the time.

* runtime/kprobes-common.c (stap_kprobe_process_found,
  stap_kprobe_mmap_found): Only create #ifdef KPROBES_TASK_FINDER.
* tapsets.cxx (dwarf_derived_probe::join_group): Only enable_task_finder
  in the session if a semaphore is present.
  (dwarf_derived_probe_group::enroll): Remember if any has_semaphores.
  (dwarf_derived_probe_group::emit_module_decls): Predicate sdt and
  task_finder code on has_semaphores.
  (dwarf_derived_probe_group::emit_module_init): Ditto.
  (dwarf_derived_probe_group::emit_module_exit): Ditto.

runtime: tolerate overlong section/symbol names better

* runtime/staprun/staprun.c (send_a_relocation): Don't
  complain about overlong names, except if very verbose.
  Triple-check null termination of surviving strings.

releng: tweak build ordering to get code first, docs last

* Makefile.am (SUBDIRS): Build . and runtime/staprun first.
* Makefile.in: Regenerated.

regen misc. Makefile.in's due to earlier addition of support_section_question

runtime: bump up module/symbol name length limits

Due to a report that kernel modules written with C++ inside sometimes
grow extra-long sections:

* runtime/transport/transport_msgs.h: Double
  STP_MODULE_NAME_LEN and STP_SYMBOL_NAME_LEN to 128.

Keep running buildid.exp if a test fails.

* buildid.exp:  Only quit if a compile or link fails.

Make the arg of dwflpp::function_scope_matches a reference

Test user mode build id checking.

* buildid.exp: New.

PR11811: news blurbage

PR11811: warn on missing unwind info with 'stap -d FOO'

* unwind.c (unwind_frame): Demote common warnings to dbug_unwind messages.
  (unwind): Print a warning for unwind operations foiled by modules that
  did not have pre-uploaded unwind data.
* buildrun.cxx (compile_pass): Check for exported __module_text_address.

fix accidental prefix '/' in abbreviated module name in backtraces

* runtime/sym.c (_stp_snprint_addr): Use strrchr correctly.

PR12168: eliminate duplicate run-time warning messages

* runtime/staprun/mainloop.c (stp_main_loop STP_OOB_DATA):
  Rewrite WARNING handling.  Include optional duplicate-elimination
  with size-limited glibc tsearch() tree.
* testsuite/systemtap.base/warnings2.exp: New test.
* NEWS: Mention this.

PR12168: extend staprun with -w (suppress warnings) option.

* buildrun.cxx: Pass -w to staprun.
* runtime/staprun/common.c: Parse new -w.  Document old -u.
* runtime/staprun/staprun.8: Ditto.

PR11811 prep: save full mmpath for found vmas

Extend the print_*backtrace symbol names with the full path
of the user-space ELF module, not just the basename.  This
requires saving a char[] copy in the __stp_tf_vma_entry
structure instead of a char* pointing into a dentry.d_name.
-DTASK_FINDER_VMA_ENTRY_PATHLEN governs copy length.

* runtime/task_finder_vma.c (__stp_tf_vma_entry): Change
  char*name -> char[]path field.  Update manipulating
  functions accordingly.
* runtime/vma.c (_stp_vma_mmap_cb): Pass mmpath to tf-vma table
  if available.
* testsuite/systemtap.context/usymbols.exp: Update for expected
  full path in output string.
* NEWS: Mention change.
* runtime/sym.h (_STP_SYM_MODULE_BASENAME): New flag.
  (_STP_SYM_SIMPLE): Include it.
* runtime/sym.c (_stp_snprint_addr): Process it.

fix -DDEBUG_UNWIND compile warning via printf %ld & casting

tweak tz_ctime() parametrization to satisfy kerneldoc

Add build id support for user modules.

* sym.c (_stp_build_id_check): New.  Moved the build id check code from
 _stp_module_check and changed...
(_stp_module_check): to use it.
(_stp_usermodule_check): New.  This is called from the
task manager callback stap_uprobe_change_plus for the process found and
mmap found cases.

* translate.cxx (dump_unwindsyms): Don't stop if it isn't a kernel module.
Set build_id_vaddr for user modules.  Output module->build_id_offset as an
absolute address.

* uprobes-common.c (stap_uprobe_change_plus): Call _stp_usermodule_check.

PR12195: pass user-space timezone at script startup

* runtime/transport/transpot_msgs.h: Declare STP_TZINFO message type.
* runtime/staprun/staprun.c (send_tzinfo): New function to send time zone
  at startup.
* runtime/transport/control.c (_stp_ctl_write_cmd): Allow this message.
* runtime/transport/transport.c (_stp_handle_tzinfo): New function to
  process this message and declare various globals.
* tapset/tzinfo.stp: New tapset to access those globals.
* testsuite/buildok/timestamp-embedded.stp: Extend test.
* NEWS: Mention tz_ctime().
* doc/SystemTap_Tapset_Reference/tapsets.tmpl: Extract docs from new tapset.

Make pfiles kneel before the frame-size overlord

In socket_optname, there's an optname_entries mapping array.  On 64-bit,
each item is 24 bytes, so with 14 entries that's 336 bytes.  That
doesn't need to be on the stack -- static const it is.

Add make targets "uprobes" and "install-uprobes"

This builds uprobes.ko in $srcdir and $DESTDIR, respectively,
because I'm too lazy to type it out all the time.

PR10821: Remove large stack variables from the unwinder

We tend to use the percpu CONTEXT as a pre-allocated stack, so add the
large unwinder variable there too.

* runtime/unwind.c (unwind, unwind_frame): Use an unwind_context
  parameter for the larger data needed.
* runtime/stack-$arch.c (__stp_stack_print): Add the unwind_context
  parameter, and use it for the x86 versions with a dwarf unwinder.
* runtime/stack.c (_stp_stack_print, _stp_stack_sprint): Add the
  unwind_context parameter and pass it along.
* translate.cxx (c_unparser::emit_common_header): Add unwind_context the
  the global CONTEXT when we NEED_UNWIND_DATA.
* tapset/context-unwind.stp (*backtrace): Use CONTEXT->uwcontext.
* tapset/ucontext-unwind.stp (*backtrace): Use CONTEXT->uwcontext.
* buildrun.cxx (compile_pass): Tighten the frame warning to 256 bytes.

Updated memory.stp, rpc.stp, task.stp, and vfs.stp for 2.6.36.

* tapset/memory.stp (vm.oom_kill): Added oom_kill_process().
* tapset/rpc.stp (sunrpc.clnt.call_sync): Updated for 2.6.36.
  (sunrpc.clnt.call_async): Ditto.
* tapset/task.stp (task_gid): Updated for 2.6.36 by defining and using
  task_gid().
  (task_egid): Updated for 2.6.36 by defining and using task_egid().
* tapset/vfs.stp (_vfs.block_prepare_write): Update for 2.6.36 by using
  __block_write_begin() as an alternative to __block_prepare_write().
  (_vfs.block_write_begin): Updated for 2.6.36.

Test that uprobes supports "rep ret"

We've made a special case in uprobes to support this sequence, since it
does occur in normal gcc output, so make sure of that.  At the same
time, test that we reject other prefixes like "repnz ret", even though
we might be able to support them after more analysis.

uprobes_i386: backport check_legacy_prefix from uprobes2

Without this, we can't give "special" prefixed instructions the
treatment they deserve. (e.g. rep-ret)

building: add placeholder for "make -j<N>" runs to build substuff

uprobes: Fix post_ssout handling of "rep ret" on x86

That odd sequence is apparently used to coerce better behavior from the
branch predictor on AMD K8.  GCC does this, so we need to be prepared to
deal with it.

In uprobe_post_ssout, most instructions just need a relative %ip fixup
after single-stepping out-of-line.  A few are special though, either
because their new %ip is not relative, or because their return address
on the stack needs that relative SSOL adjustment, or even both.  This
oddball "rep ret" is such a case, but we were missing the proper fixup
due to the unexpected prefix.

This patch moves that ip-fixup decoding to the validation phase in
setup_uprobe_post_ssout, saving the flags UPFIX_RETURN and UPFIX_ABS_IP
as needed.  In this same step, we reject probing these instructions if
they have a prefix, as we haven't determined the correct behavior for
them.  For "rep ret" we make an explicit exception, since we know that
behaves just like a bare "ret".

Edits to the User-space chapter.

Restore legacy domain (localhost) in server cert for stap-client.

Improve gettimeofday stability

These are a few tweaks to improve the stability of our gettimeofday
startup and shutdown.  Hopefully this helps with PR10651 and PR12182,
but that's not been confirmed yet.

* runtime/runtime.h: Don't include time.c here.
* translate.cxx (c_unparser::emit_common_header): Include time.c here,
  only if NEEDed (so we also ensure init/kill_time will be called).
  (c_unparser::emit_module_init): Change to STAP_SESSION_STOPPED for the
  final cleanup efforts, especially for time.c to wrap up.
  (c_unparser::emit_module_exit): Ditto.
* runtime/time.c (__stp_time_timer_callback): Use the session_state
  instead of stp_timer_reregister, and continue until STOPPED.
  (__stp_init_time): Don't add_timer from the IPI.
  (_stp_init_time): Instead, add_timer_on each cpu here.

Add comment to latencytap.stp on where the translations came from.

Add information about uprobe module in beginners guide

fix memory double-free in module_cache

The kmodule.stp test case could evoke a double-free of module-info
structs, since these were shared pointers, and not managed by GC.
Oh yeah, what GC, in the year 2010.

* dwflpp.cxx (dwflpp dtor): Don't delete shared mod_info ptr.
  (module_cache dtor): New function.
* dwflpp.h: Declare.
* tapsets.cxx (delete_session_module_cache): New function.
  (several::build_no_more): Call it.
  (dwarf_build_no_more): Use delete_map<> template.

Improved fork/vfork tests for RHEL5.

* testsuite/systemtap.clone/dtrace_fork_exec.exp: Improve output string to
  handle parent/child execution order differences.
* testsuite/systemtap.clone/dtrace_vfork_parent.c: Added include files to
  avoid compile error on RHEL5.
* testsuite/systemtap.clone/dtrace_vfork_parent.c: Ditto.

Improve handling of vfork'ed processes for uprobes version 1.

* runtime/uprobes/uprobes.c (insert_bkpt): Don't log EEXIST errors (since
  systemtap inserts duplicate probes).
  (uprobe_report_exec): Only cleanup if this is the last thread.  Without
  this change, vfork'ed processes doing an exec weren't handled correctly.

PR11376: reinforce doc blurbage for process(PID).statement(ADDR).absolute

PR11376: a quickie test case for process(PID).statement(NUM).absolute

PR11376: fix generated probe definition struct for process(PID).statement(ADDR).absolute*

Add Chapter about user-space probing to the Beginner's guide.

PR12176 String literal at end of file crashes parser.

* parse.cxx (parser::parse_literal): Only inspect next token if there is one.
* testsuite/parseok/end_string.stp: New testcase.

examples: Print PID of peer for unix sockets

This information is very useful for debugging but is not normally
available to userland since /proc/net/unix does not list it.

PR12169: fix tokenize()

* tapset/tokenize.stp: New file for tokenize().  Use per-context statics.
* doc/SystemTap_Tapset_Reference/tapsets.tmpl: Pull it into new docs.
* tapset/string.stp: Remove old tokenize() code.
* translate.cxx (emit_common_header): Add STAP_NEED_CONTEXT_TOKENIZE bits.
  (translate_pass): Emit global %{ %} embeds before context definition.

PR12169: avoid unprivileged use of tokenize() until fixed

Revert "git-version: use git status --porcelain to detect tree dirtiness"

This reverts commit 3c29b815f282a0629b85af1758b256bf790bf371.

Meh, old git 1.5* doesn't support this.

git-version: use git status --porcelain to detect tree dirtiness

The previous "git-diff-files" and "git-diff-index --cached HEAD"
would give false-positive results.

tracepoints: restore access to include/trace/event/* points w/o debuginfo

An earlier commit impeded access to kernel tracepoints that are
defined in the proper header files, but lacking the debuginfo
for the backup searching widget to work.

* tapsets.cxx (tracepoint_derived_probe_group::emit_module_decls):
  Remove "include/" substring from header files.

Improve handling of vfork'ed processes.

* runtime/uprobes2/uprobes.c (insert_bkpt): Don't log EEXIST errors (since
  systemtap inserts duplicate probes).
  (uprobe_report_exec): Only cleanup if this is the last thread.  Without
  this change, vfork'ed processes doing an exec weren't handled correctly.

valgrind: fix double-free

* translate.cxx (dump_unwindsyms): Don't free eh_frame_hdr, since
  that comes from elfutils-managed memory.

Rename hash::add_file to add_path and use it for directories

We may get a little better hashing by including stat() info on our
relevant directories too.

Split the hash.log with newlines instead of commas

Don't treat hashed numbers like strings

Valgrind noted that we were reading uninitialized memory in __GI_strlen,
and I tracked this down to our treating a number value as a char buffer,
leading to "parm_stream << [&number]".  Since it isn't a NULL-terminated
buffer, this runs away on the stack.

* hash.cxx (hash::add): Change all the numeric variants to a template,
  which lets operator<< figure the right thing for parm_stream, and then
  pass the raw value to mdfour.

Reduce hash.h to just "export" functions

valgrind cleanups: memory leaks, uninit variable warnings

* dwflpp.cxx (dwflpp dtor): delete mod_info.
  (express_as_string): Don't preallocate memory for open_memstream.
  (literal_stmt_for_*): Fully free obstack after loc2c work.
* hash.cxx (add_file): Clear out struct stat before hashing.
* translate.cxx (dump_unwindsyms): Free eh/debug_frame_hdr at end.

added Feedback.xml file

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Fix thread_ident typos.

Include module containing sdt probes in list that dump_unwindsyms will handle.

* tapsets.cxx (handle_probe_entry): Add module to sess.unwindsym_modules.

docs: slightly separate utrace vs uprobes based user-space probes

PR6456: NEWS blurb tweak

PR6456: use an "any" interpretation for process-wildcard probe matches

* tapsets.cxx (dwarf_builder::build): Canonicalize & optionalize glob-matched
  filenames.
* staptree.cxx (probe::probe): New copy constructor for unusual derivation.
* staptree.h: Corresponding changes.
* main.cxx (printscript): Print full derivation chain for high verbosity.
* testsuite/systemtap.base/prcwildcard.exp: New test.

PR6456: documentation

NEWS: mention process("*") wildcards; tighten up other text

PR6456: support wildcards in process("/bin/*") probes

* tapsets.cxx (dwarf_builder::build): For process probes, detect
  and expand glob patterns via synthetic aliases.
* util.* (contains_glob_chars): New function.

* tapsets.cxx (tracepoint_builder::init_dw): Throw error if glob(3) failed.

add blurb explaining limited mode of isglob()/isdoubleglob()

rpm-finder: produce suppressible WARNINGs instead of direct cerr messages.

AUTHORS bump

Build test for task_dentry_path

A few further pfiles tweaks

- Handle device numbers that are (0,0).
- Add kreads on a few __retvalue assignments.
- Add kreads for getting sock->ops.
- Remove kreads from socket functions that are using the stack.

__dentry_prepend should not always add trailing '/'

Factor out d_path printing for any dentry.

Rewrite pfiles to check return values

Build SDT's derived_loc more precisely

This refactors how the derived_loc is created, in a way that I think
will get better results.  For example, the kprobe variant doesn't have
to try and delete components that don't apply.  Also, the provider
component is now wildcard-expanded for probe listing.

* tapsets.cxx (sdt_query::convert_location): Build up components for
  derived_loc from scratch, rather than trying to rewrite a copy.

PR12137: Separate the .stapsdt.base logic from probe asm

This splits the SDT probes into two __asm__ statements, one for the
probe itself, and the other for logic to prepare the .stapsdt.base
section.  This avoids having a string literal that is too long for
-pedantic compilation (max length 509).

* includes/sys/sdt.h: Define _SDT_ASM_BASE for .stapsdt.base logic,
  separate from _SDT_ASM_BODY, and add to _SDT_PROBE and STAP_PROBE_ASM.

Add a 0-arg test to sdt.exp

PR10745 NEWS blurbage

PR10745: automate kernel source_tree finding with stap -r /PATH/

* tapsets.cxx (init_dw): Provide diagnostics when figuring out source_tree.
* session.cxx (main): Ditto.  For stap -r /PATH/, heuristically infer
  source_tree too.

PR10745: access hidden kernel tracepoints

Including xfs_types.h unconditionally on installations with no
kernel debuginfo would cause normal tracepoint processing to fail too.

* tapsets.cxx (tracepoint_extra_decls): Include xfs_types.h
  only if we know the kernel source tree.