Merge branch 'master' into dsmith/task_finder2

Small fixes and cleanups in stp_utrace.c and task_finder2.c.

* runtime/task_finder2.c (__stp_task_finder_cleanup): Removed unused code.
* runtime/stp_utrace.c (utrace_init): Only declare 'report_exec_name' when
  STAPCONF_UTRACE_VIA_FTRACE is defined.
  (utrace_free_task): Updated (but still isn't called).

Simplified environ variable parsing in server

stap-serverd.cxx
  No need to check for control characters in parsing, as it is only
  passing the environ variables between stap-serverd and its child stap.

PPC64 Dwarf handle both .debug_frame and .eh_frame register mappings.

These are slightly strange since they don't really use dwarf register
mappings, but gcc internal register numbers. There is some confusion about
the numbering see http://gcc.gnu.org/ml/gcc/2004-01/msg00025.html
We just handle the 32 fixed point registers, mq, count and link and
ignore status registers, floating point, vectors and special registers
(most of which aren't available in pt_regs anyway). Also we placed nip
last since we use that as UNW_PC register and it needs to be filled in.
Note that we handle both the .eh_frame and .debug_frame numbering at
the same time. There is potential overlap though. 64 maps to cr in one
and mq in the other...

Add syscall information for ARM

Add syscall information for ARM devices.  This allows tapsets to be
compiled on this architecture when CONFIG_UTRACE is enabled.

Signed-off-by: Wade Farnsworth <wade_farnsworth@mentor.com>

Fix uninitialized variable warning in __stp_call_mmap_callbacks_with_addr

When compiling a tapset, gcc complains that dentry may be used uninitialized in
this function.  Initialize it to NULL to prevent this.

Signed-off-by: Wade Farnsworth <wade_farnsworth@mentor.com>

Fix tapset/powerpc/aux_syscalls.stp for older ppc kernels.

Define missing PTRACE constants if necessary.

translate.cxx (get_unwind_data): Only get .eh_frame for SHT_PROGBITS sections.

This is really a bug somewhere in the toolchain. Only observed on s390x
for the kernel debuginfo vmlinux image. But it is a good sanity check in
general. See also rhbz#751197.

runtime/unwind.c (unwind_frame): _stp_warn which eh or debug hdr is missing.

Ifdef'ed out unused internal utrace code.

* runtime/stp_utrace.h: Ifdef'ed out more unused code.
* runtime/stp_utrace.c: Ditto.

Fix problem with last commit.

* runtime/task_finder.c: Change define back to 'STP_TASK_FINDER2' to match
  up with tapset-utrace.cxx.

Fixed environ variable parsing in server

stap-serverd.cxx
  Used regexp_match() to extract the environment variables from
  environ, checking for embedded control characters. If found,
  that variable is ignored, a warning is printed, and execution
  continues.

Merge branch 'master' into dsmith/task_finder2

Added 'autoconf' tests to figure out which new utrace implementation to use.

* runtime/autoconf-utrace-via-ftrace.c: New autoconf test.
* runtime/autoconf-utrace-via-tracepoints.c: Ditto.
* buildrun.cxx (compile_pass): Use 2 new autoconf tests.
* runtime/stp_utrace.c: Handle STAPCONF_UTRACE_VIA_TRACEPOINTS and
  STAPCONF_UTRACE_VIA_FTRACE.
* runtime/task_finder.c: Ditto.

unprivileged awk regexp tweak to prevent false matches on s390x objdump -d.

clarify that = (equal sign) is necessary for optional-argument --long-options

* stap.1 (use-server, list-servers, trust-servers, use-server-on-error,
  download-debuginfo): Plop in an equal sign, right in the reader's face.

PR13338: prevent infinite recursion during process glob expansion

Previously, it was possible for a process("/usr/bin/*") probe to
expand to a list that included process("/usr/bin/[") (or indeed
some other wildcard-containing filename), which would recursively
trigger glob expansion.  Now we \-quote glob results, to prevent
this, and later \-unquote to undo the damage.

* tapsets.cxx (dwarf_builder::build): quote / unquote process globs.
* testsuite/systemtap.base/bz13338.exp: New test.
* util.cxx (*_glob_chars): New/revised functions for \-quoting
  some glob metacharacters.
* util.h: Corresponding changes.
* staptree.h: Crucial whitespace change.

fix missing \n's in usage message

Previously, the "--download-debuginfo" option kind of got lost.

Cleanup task_finder2 by removing some unused code (ported).

* runtime/task_finder2.c (__stp_utrace_attach_match_filename): Remove
  'register_p' parameter (and associated code), since it was always set.
  (__stp_utrace_attach_match_tsk): Remove 'register_p' parameter.
  (__stp_utrace_task_finder_report_clone): Remove register_p parameter
  from __stp_utrace_attach_match_tsk() call.
  (__stp_utrace_task_finder_report_exec): Ditto.

Compile-server client name resolution improvements.

- treat localhost and localhost.localdomain as identical.

Merge branch 'master' into dsmith/task_finder2

Cleanup task_finder by removing some unused code.

* runtime/task_finder.c (__stp_utrace_attach_match_filename): Remove
  'register_p' parameter (and associated code), since it was always set.
  (__stp_utrace_attach_match_tsk): Remove 'register_p' parameter.
  (__stp_utrace_task_finder_report_clone): Remove register_p parameter
  from __stp_utrace_attach_match_tsk() call.
  (__stp_utrace_task_finder_report_exec): Ditto.

testsuite: update to match error message change

Earlier commit 1d7ae21b changed an error message.
Update server_locale.exp testcase to match.

Merge branch 's390x-unwind'

Hook up s390x dwarf unwinder.

Be explicit about SP from CFA and PC from RA dwarf unwind rules.

There are subtle differences between architectures whether or not they
should unwind the stack pointer from the call frame address and the
instruction pointer from the return address given by the dwarf call
frame instructions. Make it so each arch explicitly encodes how it
does the unwinding of these two special registers.

Fix segfault introduced by previous coverity cleanups.

- make sure environTok is initialized before using
- don't need to call getenv at all.

code hygiene: some more coverity cleanups

* nsscommon.cxx (add_client_cert): Check PORT_Alloc() return value.
* stap-serverd.cxx (get_stap_locale): Check getenv() return value
  and localization key=value parsability.
* util.cxx (assert_regexp_match, regexp_match): Assert regcomp
  success.

Make --with-elfutils work with either a source release or git checkout.

Add configure check to see if this is a source release, or a source
checkout. We need --enable-maintainer-mode if it isn't a source release
to make sure some additional files are generated. This makes working
against non-released elfutils git checkout a lot easier.

Introduce and use STP_ALLOC_SLEEP_FLAGS for use with gfp alloc functions.

When in a context where we can wait we like to use normal GFP_KERNEL.
But this might trigger the oom-killer, which might kill out own stapio
process. To suppress this use __GFP_NORETRY. All _stp_[kmz]alloc_gfp
functions that are used in user context should use STP_ALLOC_SLEEP_FLAGS
if appropriate.

Note that the kernel itself may still use GFP_KERNEL. For example
__alloc_percpu() will always use GFP_KERNEL.

Add the pattern for label probes in libraries

* tapsets.cxx (dwarf_derived_probe::register_patterns): Refactor so that
  all process[.library] variants get the same set of suffixes.
  (dwarf_derived_probe::register_function_and_statement_variants): Add
  the label pattern from here, just as .inline is done.

Refactor sdt & plt pattern registration

This factors the sdt and plt suffixes away from the various process and
process.library prefixes.  As a result, we also gain process.plt for
probing -c commands.

* tapsets.cxx (dwarf_derived_probe::register_sdt_variants): New.
  (dwarf_derived_probe::register_plt_variants): New.
  (dwarf_derived_probe::register_patterns): Register sdt and plt for all
  process/library combinations.
* testsuite/semok/plt2.stp: Test that process.plt succeeds with -c
* testsuite/semko/plt2.stp: Test that process.plt fails without -c

Just test up to -p2 for kernel-debuginfo smoke test.

We already do a -p4 kernel-devel smoke test just before this one.
We don't need another one. It slows down doing make installcheck
RUNTESTFLAGS=quick_test.exp runs. Especially on slow machines.

plt: Throw an appropriate error for missing $var

* tapsets.cxx (plt_expanding_visitor::visit_target_symbol): Throw a
  semantic_error for missing $var, so it may be caught and chained for
  later.  This ensures that the visitor always has a provide() too.
* testsuite/semko/plt1.stp: New, check that missing $var is an error.
* testsuite/semok/plt1.stp: New, check that $$name works, as does
  @defined on a missing $var.

Allow "broken" kernel-debuginfo for the testsuite.

We just care there is some debuginfo, it is allowed have bad var
location descriptors (which will cause some tests to fail of course).

e.g. 2.6.35.6-45.fc14.s390x kernels build with gcc version 4.5.1.

PR 13128: Rework of commit f2013cc91ea1dba576661d6b746ee28658c8bc51 (ported)

Based on peer feedback:
- Compare privilege credentials as sets, not levels.
- Send privilege credentials as a ctl message at startup.
- Send startup ctl messages (tzinfo, relocations, privilege_credentials)
  on the same control channel. Ensure channel is closed properly on error.

Avoid "sleeping function called from invalid context" kernel errors.

* runtime/stp_utrace.c (utrace_task_alloc): Change memory allocation flags
  to avoid waiting.
  (utrace_attach_task): Ditto.
  (finish_callback): Remove call to might_sleep(), since tracepoint
  handlers (and now utrace handlers) can't sleep.

More PR13083 fixes to avoid sleeping in the task_finder (ported).

* runtime/task_finder2.c (__stp_get_mm_path): Call down_read_trylock()
  instead of down_read() to avoid the possibility of sleeping.
  (stap_start_task_finder): Call task_lock() to make sure a task's mm
  doesn't go away while we're looking at it.

Merge branch 'master' of /es/scratch/dsmith/systemtap/src into dsmith/task_finder2

More PR13083 fixes to avoid sleeping in the task_finder.

* runtime/task_finder.c (__stp_get_mm_path): Call down_read_trylock()
  instead of down_read() to avoid the possibility of sleeping.
  (stap_start_task_finder): Call task_lock() to make sure a task's mm
  doesn't go away while we're looking at it.

Workaround PR13350 dwarf unwinder _stp_valid_pc_addr() invalid for s390x.

Just assume it is valid unless clearly bogus (aka zero) for now.

PR 13128: Rework of commit f2013cc91ea1dba576661d6b746ee28658c8bc51

Based on peer feedback:
- Compare privilege credentials as sets, not levels.
- Send privilege credentials as a ctl message at startup.
- Send startup ctl messages (tzinfo, relocations, privilege_credentials)
  on the same control channel. Ensure channel is closed properly on error.

Fixed PR13083 by no longer calling mmput() when possible (ported).

* runtime/task_finder2.c (__stp_utrace_attach): Don't call
  get_task_mm()/mmput().  Since we're in the context of that task, the mm
  should stick around (and mmput() can sleep).
  (__stp_call_mmap_callbacks_with_addr): Ditto.
  (__stp_utrace_attach_match_tsk): Ditto.
  (__stp_call_mmap_callbacks_for_task): Ditto.

Fix spacing in runtime/task_finder2.c to match runtime/task_finder.c.

* runtime/task_finder2.c (stap_start_task_finder): Fix indentation.

PR 13128: Modify unprivileged mode infrastructure to support a multi-privilege design (ported)

Fixed PR13146 by not allowing memory allocations to sleep (ported).

* runtime/task_finder.c (__stp_call_mmap_callbacks_with_addr): Better
      cleanup if memory allocation fails.

Merge branch 'master' into dsmith/task_finder2

Make uprobe_uaddr.exp line matches unique.

Make sdt_misc.exp test names unique.

Make client.exp test names unique.

Remove duplicate -D "foo;bar" invalid_options test from client_args.exp.

Move duplicated __is_user_regs from [nd_]syscalls.stp to aux_syscalls.stp

Make labels.exp test names unique.

Make procfs_maxsize.exp test names unique.

Make procfs.exp test names unique.

Make testsuite error_handler "target_compile" pass/fail message unique.

Make uprobe_uaddr.exp testcase names unique.

Improve git.library.plt testname.

plt.exp: Uniquely identify the library test.

Extract addr_of for unprivileged_[my]probes.exp once and with optional dot.

Some architectures prefix function symbols with a '.', so accept an
optional dot prefix. Also extract each symbol only once instead of
for each pass over the list.

Extend vma_map entry vm_end range when additional segments are mapped.

Once registered, we may want to extend an earlier registered region.
A segment might be mapped with different flags for different offsets.
If so we want to record the extended range so we can address more
precisely to module names and symbols.

* runtime/task_finder_vma.c (__stp_tf_get_vma_map_entry_end_internal):
  New function.
  (stap_extend_vma_map_info): Likewise.
* runtime/vma.c (_stp_vma_mmap_cb): Call stap_extend_vma_map_info().

Add runtime/autoconf-mm-context-vdso-base.c for vma.c vdso catching.

Some architectures use an unsigned long vdso_base field in mm->context,
instead of a void *vdso field. Detect either in _stp_vma_match_vdso().

set test "hash_add_buildid"

Make sure sdt includes are setup for cast-scope.exp testcase.

testsuite/systemtap.exelib allow any libc function to occur as start_func.

On some arches some libc startup function don't have a starting _.
e.g. on powerpc there is generic_start_main().

Disable uregs recovery through kernel dwarf unwinder for powerpc.

Sadly powerpc does support the dwarf unwinder, but doesn't have enough
CFI in the kernel to recover fully to user space.

Don't try to do any lookup when addr is zero in _stp_kallsyms_lookup().

Remove unused runtime/stack-ppc.c.

Don't trust dwfl_module_relocations() for ET_EXEC in get_unwind_data.

Fixed PR13158 by adding a staprun signal handler so modules don't remain.

* runtime/staprun/staprun.c (term_signal_handler): New function.
  (setup_term_signals): Ditto.
  (insert_stap_module): Remembers if insert_module() worked.
  (main): Call setup_term_signals().
* testsuite/systemtap.base/rename_module.exp: Made test case more robust
  by waiting on output from all stap scripts.
* testsuite/systemtap.base/pr13158.exp: New testcase.

PR13319: fix _stp_bufsize-related start-time net/ memory report printk

* transport/relay_v2.c, relayfs.c (_stp_transport_data_fs_init):
  Increment _stp_allocated_[net_]memory with relay buffers.
* transport/ring_buffer.c: Ditto.  Plus fix scaling of the incoming -sNN
  value, so NN represents megabytes consistently.

rhbz744907: Fix unowned directories

Most notably, %{_libdir}/systemtap and %{_libexecdir}/systemtap were
note owned by the subpackages which install files there.

PR13317: mention parser error handling changes

PR13317: improve parse error recovery heuristics

This change changes the 10 parse errors reported by brendang for iostat-scsi.stp
to just six actually salient ones.

* parse.cxx (parser::parse): Reorder error recovery to skip
  everything until next top-level keyword.  Wrap try {} in
  while {} rather than vice versa.
  (parser::parse_stmt_block): Drop recovery loop.

testsuite: add installtest_p protection to systemtap.base/stmt_rel.exp

testsuite: add installtest_p assertion to rename_module.exp

Don't crash with -DDEBUG_SYMBOLS in _stp_umod_lookup when vm_start is NULL.

Filter out arch-specific and deprecated functions in unprivileged_embedded_C.exp.

PR 13128: Pass user privilege credentials from staprun to the module.

- User's privilege credentials are determined by staprun and passed to the module
- Module contains generated code which checks the user's credentials against those
  required to load/run the module (specified at compile time).
  - module aborts if credentials are insufficient.

PR13261 Cont'd: Added NEWS, man page and Language Ref entries

PR13284 Failure to resolve kernel global e.g. jiffies.

* dwflpp.cxx (vardie_from_symtable): Also accept STT_NOTYPE. Some global
  don't have a type associated with them.
* testsuite/buildok/pr13284.stp: New testcase.

PR13283: Use a temporary string for comparisons

The reported issue was trying to directly compare the results of two
different kernel_string() calls, but they were always computed equal
even though they were known to be different.  Inspection of pass-3
showed that both calls led to an expr-stmt ending in ...->__retvalue.
This is just a pointer though, and it happens here that both calls will
point to the same string buffer, so strncmp rightly calls them equal.

To fix this, we must introduce temporary storage for the intermediate
strings.  Now we won't lose either value, and they can be properly
compared for equality.

* translate.cxx (c_tmpcounter::visit_comparison): Declare temporary
  storage for the left operand if it's not a literal.
  (c_unparser::visit_comparison): Use the left temporary.
* testsuite/systemtap.string/strcmp.*: Test string comparisons.

Fix PR13312 by defining PTRACE_GET_LAST_BREAK for older kernels.

* tapset/s390/aux_syscalls.stp: If PTRACE_GET_LAST_BREAK isn't defined,
  define it.

i18n: fix printf formatting typo in commit 984ad50c

i18n: fix gettext markup for "command line argument index" parse error message

PR13261 Cont'd: Added test cases for map wrapping

PR13261 cont'd: Added error handling for scalars

elaborate.cxx
  Ensured that if the variable is a global scalar and '%' has been
  used for wrapping, an error is thrown.

Tweak cache logic to group removals by hash value

We used to glob the cache for *.ko, *.so, *.h, and *.log, implicitly
assuming that this was all that was cached.  For the .ko case we also
grouped .c and .sgn to be removed all together.  But when any new
extension came along, the cache cleanup ignored it.

Now we glob instead for any file in the cache that looks like is has a
hashed name, and we group removals for all files that appear to have the
same hash value, regardless of prefix or suffix.  This will hopefully
make us more robust against future file-caching changes.

* cache.cxx (cache_ent_info): Becomes a vector of paths, with no
  knowledge needed for modules.  Use better types for size and mtime.
  (clean_cache): Use a new glob that looks for hash-like files, with 32
  hex digits in a row.  Use a regex to find common HASH_LEN substrings
  in all those filenames.  Build the cache_ent_info groups by HASH_LEN,
  and proceed to delete old entries until below quota.

Handle PPC64 function symbols by resolving function descriptors.

* translate.cxx (dump_symbol_table): If the module is EM_PPC64, but not
  ET_REL, then register two address for a STT_FUNC. The function descriptor
  address and the address of the function that the descriptor points to.
  For ET_REL still rely on the .function_name convention.

(More PR13289 fixes) Added better %m/%M error handling.

* runtime/print.c (_stp_unreserve_bytes): New function.
* runtime/print.h: Added _stp_unreserve_bytes() declaration.
* runtime/vsprintf.c (_stp_vsprint_memory): Only change the input pointer
  to "<NULL>" when we're formatting a string (%s), not when we're
  formatting raw memory (%m/%M).  Also, return NULL on errors.
  (_stp_vsprint_memory_size): Only change the input pointer to "<NULL>"
  when we're formatting a string (%s), not when we're formatting raw
  memory (%m/%M).
  (_stp_vsnprintf): If _stp_vsprint_memory() returns NULL, unreserve bytes
  in the print buffer, when necessary.
* translate.cxx (c_unparser::emit_compiled_printfs): If
  _stp_vsprint_memory() returns NULL, unreserve bytes in the print buffer,
  when necessary.  Also improve error message if _stp_vsprint_memory()
  fails by setting 'last_stmt'.
* testsuite/systemtap.stress/conversions.stp: Added tests for '%M' and for
  using sprintf() with '%m' and '%M'.
* testsuite/systemtap.stress/conversions.exp: Updated error count.

PR13155: Fix tracepoint argument access

The restructured tracepoint build broke the way tracepoint parameters
are passed to the script.  This patch cleans that up, and simplifies a
few other parts of the code generation.

* tapsets.cxx (tracepoint_derived_probe_group::emit_module_decls):
  Define intptr_t for the aux source.  Collect .used entries from
  p->args[] into used_args[] to ease call-list generation. Simplify
  registration by replacing the wrappers with plain declarations.
* buildrun.cxx (compile_pass): We do have everything needed for strict
  prototypes, so don't squash this warning.

PR13155: separate compilation for tracepoint-related functions

The linux kernel's tracepoint headers are sometimes mutually
conflicting, defining structs etc. differently.  Since we need to use
each header in its natural habitat, we need to separately-compile
those tracepoint-related functions that absolutely need access to
those declarations.  This is quite new to us as so far, the translator
has usually emitted a single translated_source output, plus the
stap-symbols.h file.

* buildrun.cxx (compile_pass): Compile auxiliary sources into main module.
* tapsets.cxx (tracepoint_derived_probe_group::emit_module_decls): Effectively
  rewrite to create per-tracepoint-header auxiliary source files.
* session.cxx (op_create_auxiliary): New function.
* translate.cxx (translator_output): Add filename field.
* session.h, translate.h: Corresponding changes.
* hash.cxx (find_script_hash): Rename primary source file to stap_XXX_src.c.
* main.cxx (passes_0_4): Ditto.

documentation: mention --remote=direct:// and --remote-prefix

PR13155 prep: move kbuild make -j parallelism to general code

* buildrun.cxx (run_make_cmd): Do it here, to cover all make invocations,
  (make_tracequeries) ... instead of here.

PR13076 tidbit: increase default module cache size to 256MB

Fixed PR13083 by no longer calling mmput() when possible.

* runtime/task_finder.c (__stp_utrace_attach): Don't call
  get_task_mm()/mmput().  Since we're in the context of that task, the mm
  should stick around (and mmput() can sleep).
  (__stp_call_mmap_callbacks_with_addr): Ditto.
  (__stp_utrace_attach_match_tsk): Ditto.
  (__stp_call_mmap_callbacks_for_task): Ditto.

PR13261: Added map->wrap mode to script parser

To activate map->wrap mode, use the '%' symbol after the variable name
in a global declaration, for example:

  global foo%[100]

This will let it automatically replace elements in the map if you
try to place something out of bounds, rather than give an error.
It also works for statistics-valued arrays.

parse.cxx
  Checked for the '%' symbol in parser::parse_global(), and if
  present, sets the vardecl* d->wrap value to true.

staptree.cxx
  Set the default value of the new vardecl->wrap boolean value to false.
  Added the '%' to the hash if it is enabled.

staptree.h
  Added the bool wrap element to struct vardecl

translate.cxx
  Added the bool wrap element to struct mapvar and initialixed it to the
  wrap element of the associated vardecl variable.
  Checked whether the mapvar->wrap has been set (from vardecl->wrap set
  in parser::parse_global()).
  If so, added the apropriate code to set the map->wrap for whether its a
  map or a pmap.

PR13241 too much dump-unwindsyms processing for modules even if !need_symbols

Introduce dump_section_list() that will pregenerate the section list when
needed. dump_symbol_tables() now does the minimum necessary to extract
the needed symbols, or will not even be called at all when !need_symbols
and the module isn't the "kernel".

Fixed PR12389 by making %m/%M use kread() to access memory.

* runtime/vsprintf.c (_stp_vsprint_memory): The '%m' and '%M' formatting
  operators use kread() to read memory.
* translate.cxx: Removed all support from the c_unparser class for
  'probe_or_function_needs_deref_fault_handler' processing since it is no
  longer needed.
  (c_unparser::visit_print_format): Removed deref_buffer() call.  Added
  check for c->last_error after print is done.
* runtime/runtime_context.h: New file.
* runtime/vsprintf.h: Ditto.
* runtime/print.c: Removed extra include of vsprintf.c.  Allow use to
  override STP_LOG_BUF_LEN.  Make _stp_print_flush() definitions exactly
  the same between the RELAY_{GUEST,HOST} and normal caes.
* runtime/print.h: Added a few more functions and includes the new
  vsprintf.h file.
* runtime/runtime.h: Includes print.h instead of print.c.  Moved print.c
  and io.c to runtime_context.h.
* runtime/transport/transport.h: Declares '_stp_target'.

embeddedc.awk: Fixup too much whitespace for unprivileged_embedded_C.exp.

Split translate dump_unwindsyms in separate collection/dump phases.

Untangle separate module data collection. First collect all information,
build-ids, symbols, unwind tables, etc. Put all collected info in the
unwindsym_dump_context. Then dump it all out using the context.