Revert "Make stap-prep script available in the RPM"

This reverts commit da3dfc346ff926f0f1bdd2872fe4f5f8e920953a.

Make stap-prep script available in the RPM

PR11373 kludge: clean up testsuite/stap_*.ko upon 'make clean'

langref.tex editing

Reviewed the language reference manual and made editing changes:

-Reorderd sections for better grouping
-Added description of the @defined operation
-Corrected limits for MAXSTRENLEN and number of indices in associate array
-Adjusted language in aggregates section
-Corrected @hist example writeup.
-Make output for @hist avoid page breaks
-Updated information about manpages in "For Futher References" section

smileytap logo: inserted GPLv2 RDF tag

Add startswith/endswith helpers

Inspired by the Python equivalents, these new utility functions just
make it a little cleaner to match at the beginning or end of a string.

Fix the edge-case of MAXTRYLOCK=0

We didn't really have good semantics for what is meant by MAXTRYLOCK=0,
so when skipped.exp tried it, we ended up locking the variable and then
reporting a skip without ever unlocking it.

This is now cleaning up the semantics such that MAXTRYLOCK defines how
many times we should loop if the lock is busy.  Thus MAXTRYLOCK=0 means
we try only once and fail immediately.

The testcase was accidentally creating contention due to the broken
unlock behavior.  We now have to try a bit harder to create real
contention, so some lengthy delays are inserted to hoard the lock.

* runtime/probe_lock.h (stp_probe_lock): Fix the skip behavior.
* testsuite/systemtap.base/skipped.exp: Add a big udelay.

Fix proc_mem.stp for RHEL5.

* tapset/proc_mem.stp: Move header file so that it will compile on RHEL5
  systems.

Revoke unprivileged from ftrace()

It's writing into a system-wide resource, so it shouldn't be permitted
to just anyone.  Also remove the printk fallback that isn't actually
functional.

* tapset/logging.stp (ftrace): Remove unprivileged and printk.

Update tapset proc_mem for 2.6.34

* tapset/proc_mem.stp(_stp_get_mm_counter_file_rss,
   _stp_get_mm_counter_anon_rss): Use embedded function.

PR11370: Add multi-header @casts

Sometimes you need multiple headers to fully describe a type, so we now
permit them to be listed together, e.g. "kernel<foo.h><bar.h>".

* buildrun.cxx (make_typequery): Split the input string into a vector.
  (make_typequery_kmod, make_typequery_umod): Use the vector of headers.
* testsuite/semok/cast.stp: Add a multi-header case.
* stap.1.in, NEWS: Document it.

Revert "Remove unnecessary embedded-c function __dentry_get_current_root()."

This reverts commit 5ab0b1b6c4d3a7f1ea156835a32000669e378886.
Wrongly pushed commit.

Be pessimistic about the gcc version as debuginfo has an undependable case (RH572260).

* sdt.h (GNUC_VERSION): Check against gcc 4.5.0

PR 11210 move stapprobe.* man pages to tapset::*

make on RHEL-5 and earlier cannot deal with the :: in the man page names.
This work around uses the install-data-local rule to install the
manpages to avoid confusing the older versions of make.

Removed unneeded '-u' switch from 3 tests.

* testsuite/buildok/scheduler-test-tracepoints.stp: Removed unneeded '-u'
  option.
* testsuite/buildok/vm.tracepoints.kmalloc.stp: Ditto.
* testsuite/buildok/vm.tracepoints.stp: Ditto.

sdt.h: rename volatile-control macro to STAP_SDT_VOLATILE.  Document in NEWS.

PR11366 Always call semantic_pass_const_fold.

Even in unoptimized mode we want constant folding to work to make sure
non-existing $variable expressions (detected through @defined) aren't
included.

* elaborate.cxx (semantic_pass_optimize1): Call semantic_pass_const_fold()
  unconditionally.

Remove unnecessary embedded-c function __dentry_get_current_root().

* tapset/dentry.stp: Removed embedded-c include and function
  __dentry_get_current_root(). Use task_current and @cast in d_path().

tapset/task.stp remove redundant extra @defined in task_cpu().

Use exported print_context_stack for 2.6.33

* runtime/stack.c(print_stack_ops): Use print_context_stack and
  adjust version code.

NEWS: mention man page renames

PR 11210 move stapprobe.* man pages to tapset::*

Complete the renaming scheme with prefix of "tapset::" for the man
pages related to over all description of groups of probes.

PR11360: Make @defined and -L play nice

The constant-folding is now enabled for s.listing_mode_vars, despite all
other optimizations being disabled.  This is needed so we can prune any
invalid branches that are gated by @defined.

* elaborate.cxx (semantic_pass): Leave the optimization decision to the
  optimization passes themselves.
  (semantic_pass_optimize1): Predicate most optimizations, but enable the
  constant-folding for listing_mode_vars too.
  (semantic_pass_optimize2): Predicate all (1) optimizations.
* testsuite/semok/defined_list_vars.stp: New test.

Include __GNUC_RH_RELEASE__ in the volatile check.

sdt.h (GNUC_VERSION) Include __GNUC_RH_RELEASE__.  Check for at least gcc 4.4.4

PR 11338 (partial): Used '@defined()' in task, dentry, and scsi tapsets.

* tapset/task.stp: Used '@defined()' to remove kernel version checks.
* tapset/dentry.stp: Ditto.
* tapset/scsi.stp: Ditto.

Update tests to check for uprobes instead of utrace.

* testsuite/systemtap.context/uprobe_stmt_num.exp: Change utrace test to
  uprobes test.
* testsuite/systemtap.context/uprobe_uaddr.exp: Ditto.
* testsuite/systemtap.base/bz5274.exp: Ditto.

Check the gcc version using polynomial representation.

* sdt.h (GNUC_VERSION): New.

Fix PR 11363 by using logrotate to ensure logfile doesn't grow too large.

* initscript/logrotate.stap-server: Add logrotate config file to make sure
  stap-server logfile doesn't grow too large.
* systemtap.spec: Install logrotate config file.  Also follow
  <https://fedoraproject.org/wiki/PackagingDrafts/Logfiles> to correctly
  create the logfile.

Improved PR 11309 by fixing directory and file permissions.

* systemtap.spec: Fixed directory and file permissions on
  /usr/share/systemtap/runtime/uprobes and /var/log/stap-server.

PR 11210 Eliminate man page collisions

The various man pages for each systemtap probe and function
are prepended with "probe::" and "function::" respectively to avoid
collisions with other man3 pages with the same name.  For example
systemtap's strlen function was colliding with glibc's strlen function.

Only use volatile for sdt.h arguments when needed.

sdt.h (VOLATILE_ARG): gcc 4.4.3 support for inline asm
argument debug info means volatile is not needed.

build: re-enable librpm checking

* configure.ac: With AC_CHECK_LIB()'s four-parameter variant,
  the default AC_DEFINE etc. is removed, so restore the key
  parts by hand.

typo 7754 -> 775

PRs 11205, 11309: Specfile problems for stap-server:

- Use assigned gid/uid of 155/155 for stap-server.
- Create stap-server group in main systemtap rpm.
- Make uprobes runtime directory read/write/search by members
  of stap-server group in main systemtap rpm.
- Keep stap-server log in %{_localstatedir}/log/stap-server/log

PR 11338 (partial): Used '@defined()' in tty, scheduler, and vfs tapsets.

* tapset/tty.stp: Used '@defined()' to remove kernel version checks.
* tapset/scheduler.stp: Ditto.
* tapset/vfs.stp: Used '@defined()' to remove kernel version checks.  Also
  made several probe points optional instead of using kernel version
  checks to know when to include them.
* testsuite/buildok/vfs_testcase.stp: Removed stap '-u' (unoptimized mode)
  switch, since '@defined()' doesn't work in unoptimized mode.

docs: clarify that only -> is used for $var dereferencing, not .

new sample: varwatch

Move semko/nineteen.stp to semok

The *ko tests are for things that SHOULD fail, but semko/nineteen is a
test that should pass but often doesn't (due to inline var trouble).  It
should be in semok to set the expectation properly.

It does pass on F12 now, but if we want to silence the error for older
gcc, setup_kfail is the right approach.

PR11352: Assign tokens to all SDT-synthesized elements

* tapsets.cxx (sdt_query::convert_probe): Fix a few missing tokens.
  (sdt_var_expanding_visitor::visit_target_symbol): Ditto.
* translate.cxx (c_unparser::record_actions): Add a defensive check,
  which perhaps someday can be an assertion instead.

PR11342: Ensure that last_stmt is always set

* translate.cxx (c_unparser::record_actions): Take a token to fill in
  last_stmt for MAXACTION errors.
  (c_unparser::*): Pass a token to record_actions.
  (c_unparser::visit_try_block): The try/catch blocks are also basic
  blocks, so they should flush record_actions when done.
  (c_unparser_assignment::c_assignop): Set last_stmt for /= and %=.
  (c_unparser::visit_foreach_loop): Set last_stmt for agg. overflow.
  (c_unparser::visit_print_format): Set last_stmt for %m errors.

Make sure synthesized var display is tokenful

* elaborate.cxx (add_global_var_display): Assign a few token*s.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Update example indices.

Improved 'mm_struct' casting for RHEL5.

* tapset/context.stp: Improved casting to 'mm_struct' on RHEL5 by changing
  the header file referenced from '<linux/mm_types.h>' to
  '<linux/sched.h>' (since mm_types.h doesn't exist on RHEL5).  On newer
  kernels, sched.h includes mm_types.h.
* tapset/proc_mem.stp: Ditto.

PR 11338 (partial): Used '@defined()' in syscall tapsets.

* tapset/syscalls.stp: Used '@defined()' to remove kernel version checks.
* tapset/syscalls2.stp: Ditto.
* tapset/x86_64/syscalls.stp: Ditto.
* tapset/nd_syscalls.stp: Updated to match tapset/syscalls.stp.
* tapset/nd_syscalls2.stp: Updated to match tapset/syscalls2.stp.
* tapset/x86_64/nd_syscalls.stp: Updated to match
  tapset/x86_64/syscalls.stp.

Remove unneeded embedded-c include block from tapset/udp.stp.

PR11346: Make @defined() independent of --skip-badvars

* tapsets.cxx (dwarf_var_expanding_visitor::visit_target_symbol): Don't
  squash target_symbol errors in the operand of @defined().

Add cmdline argument fetching for current process to context.stp tapset.

* tapset/context.stp: Add cmdline_str, cmdline_arg and cmdline_args.
* testsuite/buildok/context_test.stp: Add tests for new functions.

Filter the path of stap as called by the client and server.

Comment on the use of PR_ErrorToString vs static table.

Canonicalize another email->name

Set a timeout when prompting for consent to trust a server as a SSL peer.

Can't call SEC_PrintCertificateAndTrust.

PR 10331: Improved certificate management -- client side.

stap-client-connect.c: use SSL_BadCertHoook to provide an opportunity for
the user to trust and/or import the server's certificate.

stap-client: Reorganized so that newly trusted certificates can be used.
Also does the actual prompting.

Improved NSPR error handling. Use PR_ErrorToString.

Language Refrence manual clean up.

-Remove unneeded pagebreak()
-Remove duplicate system() command description
-Clean up the function prototypes

Describe function args and clean up titles for proc_mem.stp and task_time.stp

HACKING: emphasize embedded-c testing

Add task_stime_tid(), task_utime_tid() and task_time_string_tid() support.

* tapset/task_time.stp: New functions task_stime_tid(), task_utime_tid()
  and task_time_string_tid().
* testsuite/buildok/task_test.stp: Add tests.

Add documentation and tests for proc_mem_*_pid functions.

Add proc_mem_*_pid tapset function variants.

* tapset/proc_mem.stp: Add proc_mem_size_pid, proc_mem_rss_pid,
  proc_mem_shr_pid, proc_mem_txt_pid, proc_mem_data_pid and
  proc_mem_string_pid functions to tapset.

git_version.sh: Don't unnecessarily write to builddir during make install.

Ideally make install wouldn't touch the src or build dirs. When the build
dir is mounted so root cannot write to it a make install would fail
because git_version.sh tried to create a temporary file. Fix by creating
temporary git_version.h.new file in temp dir.

* git_version.sh: Create temp dir and git_version.h.new outside src
  and build dir. Change all occurances of $outfile.new to $outfilenew.

PR11004: try / catch error-handling script syntax

* parse.h (try_block): New class.  Update basic visitors.
* staptree.cxx: Implement basic visitors.
* parse.cxx (expect_kw): Fix to actually look for keywords.
  (parse_try_block): New function.
  (lexer ctor): Designate 'try' and 'catch' as keywords.
* elaborate.cxx (dead_assignment_remover, dead_statmtexpr_remover): Optimize.
  (other visitors): Implement.
* translate.cxx (c_unparser): Implement via super-handy __local__ labels.
  (emit_probe, emit_function): Make outer out: label also __local__.
* testsuite/buildok/fortyone.stp, semko/fortynine.stp,
  systemtap.base/trycatch.exp: Test it.
* NEWS, doc/langref.txt, stap.1.in: Document it.

PR11246 cont'd: Add options for cache control

--disable-cache : turn off all caching
--clean-cache   : clean up stale entries and then quit
--poison-cache  : force regeneration of items that would have hit the cache

These are undocumented for now, until we decide whether they are
generally useful.

* main.cxx (main): Parse the new options.
* session.h (systemtap_session): Add poison_cache; document the others.
* clean.cxx (clean_cache): No longer static.
  (get_stapconf_from_cache, get_script_from_cache): Respect poison.
* tapsets.cxx (tracepoint_builder::get_tracequery_module): Ditto.
  (dwarf_cast_expanding_visitor::filter_special_modules): Ditto.

PR11246 cont'd: Separate script/stapconf caching

I'm separating the caching and creation logic for stapconf, so it can be
conditionalized on s.use_cache instead of s.use_script_cache.

* session.h (systemtap_session): Store base_hash for better reuse.
* hash.cxx (get_base_hash): Get the base from the session, or build it.
  (find_hash): Split into separate script/stapconf versions.
* cache.cxx (add_to_cache, get_from_cache): Ditto.
* main.cxx (main): Adapt caller, and delay stapconf until pass-4.

Move pass-3/4 cache checks after the reported pass-2 end

* main.cxx (main): Reorganize the end of pass-2 a bit.

PR11246: Add more granular cache control

There are some module options that require us to disable caching for the
script, but before now this had a global effect.  There are some cache
objects, like tracepoint and @cast query modules, which we would like to
cache even when the script itself needs to be uncached.

* session.h (systemtap_session): New use_script_cache flag.
* main.cxx (main): -m & -k can just disable the script cache.  Failure to
  create the cache directories still disables all caching.
* hash.cxx (create_hashdir): Failure disables all caching.
* cache.cxx (add_to_cache): Failure only toggles the script caching. If
  the stapconf fails though, we don't need to block the .ko reuse.

Revise the embedded-C.stp example to something more portable.

Minor clean-up in tutorial.

Make the inode-watch.stp example work on newer kernels.

Fixed PR 11336 by using a wait queue to wait on procfs file availability.

* runtime/procfs-probes.c: Removed old kernel 2.6.16 code.  Simplified
  _spp_lock macros.
  (_stp_proc_open_file): If file is busy, use a wait queue to wait on it
  being available.
  (_stp_proc_release_file): Decrease open count.
* tapset-procfs.cxx (emit_module_init): Updated procfs probe
  initialization/shutdown routine names.
  (emit_module_exit): Ditto.

PR11229: Make parse_kernel_config return int and suggest that the user check their installation of kernel devel

Squash elision warnings on synthetic functions

* staptree.h (functiondecl): Add a synthetic flag.
* elaborate.cxx (semantic_pass_opt1): Don't warn about synthetic funcs.
* tapsets.cxx (dwarf_var_expanding_visitor::visit_target_symbol): Mark
  the new function as synthetic.
  (dwarf_cast_expanding_visitor::visit_cast_op): Ditto.
  (tracepoint_var_expanding_visitor::visit_target_symbol_arg): Ditto.
* tapset-perfmon.cxx
  (perfmon_var_expanding_visitor::visit_target_symbol): Ditto.
* tapset-procfs.cxx (procfs_var_expanding_visitor::visit_target_symbol):
  Ditto.
* testsuite/semok/thirtyeight.stp: New check with -W and @defined.

Add package check for librpm

* configure (have_librpm): Move to AC_CHECK_LIB
* configure.ac: Regenerate.

Add package check for librpm

* configure (have_librpm): Define.
* configure.ac: Regenerate.

PR11075: -W option to turn warnings into errors

* session.h
* NEWS: Discuss it.
* main.cxx: Parse it.
* session.h (num_errors): Provide it.
* semok/fortyeight.stp, semok/thirtyseven.stp: Test it.

Expand the comment around @defined pass-through

Ensure that @defined()==1 goes the right way

We need to poison the false case of valid "@defined(x)?x:y", so we know
that the @defined is correctly leading to the true case only.

* testsuite/semok/thirtysix.stp: poison false in valid cases.

Expand @defined to support more cases

* tapsets.cxx (var_expanding_visitor::visit_defined_op): If no error was
  raised or replacement made on a target_symbol, then its @defined state
  is still indeterminate.  Some later pass (like @cast) might handle it.
* elaborate.cxx (const_folder::visit_defined_op): Squash any escapees.
* testsuite/semok/thirtysix.stp: Add more variants.

PR11326: Make an early check for saved-return-$var validity

We now check validity *before* the entry-probe is generated, so invalid
$vars have a chance to be properly optimized without error.

* tapsets.cxx
  (dwarf_var_expanding_visitor::visit_target_symbol_saved_return):
  Attempt variable expansion immediately, and skip out on failure.
* testsuite/semok/thirtysix.stp: unblock the previously broken part.

Fixed pr 10690 by adding '.maxsize(NNN)' procfs read probe parameter.

* tapset-procfs.cxx (procfs_derived_probe::procfs_derived_probe): Added
  'maxsize_val' initialization.
  (procfs_derived_probe::join_group): Updated '_stp_procfs_data'
  definition and added STP_PROCFS_BUFSIZE.
  (procfs_derived_probe_group::emit_module_decls): Emits structure to
  contain procfs file buffers.  Initializes '.bufsize' structure member.
  (procfs_var_expanding_visitor::visit_target_symbol): Uses 'bufsize' for
  maximum buffer size instead of using MAXSTRINGLEN.
  (procfs_builder::build): Looks for '.maxsize(NNN)' parameter.
  (register_tapset_procfs): Added '.maxsize(NNN)' parameter binding.
* runtime/procfs-probes.c (stap_procfs_probe): Converted 'buffer' to a
  pointer and added 'bufsize' member.
* testsuite/semko/procfs13.stp: New testcase.
* testsuite/semko/procfs14.stp: Ditto.
* testsuite/semko/procfs15.stp: Ditto.
* testsuite/systemtap.base/procfs_maxsize.exp: Ditto.
* testsuite/systemtap.base/procfs.exp: Minor fix.
* stapprobes.3stap.in: Added '.maxsize(NNN)' documentation.
* stap.1.in: Added STP_PROCFS_BUFSIZE documentation.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

PR11224: Documentation for module arguments

PR11114: simplify librpm autoconf

* configure.ac: Check for -lrpm with simple AC_CHECK_LIB.
* Makefile.am: Forget about @rpm_LIBS@

PR11224: added test case for module arguments in testsuite/systemtap.base

PR11005: @defined part 2: clarify/standardize internal handling of unresolvable $variables

* staptree.cxx (target_symbol::chain): New function.
* staptree.h: Declare it.
* (*): Use it instead of hand-chaining to target_symbol->saved_conversion_error.
* tapset-mark.cxx (*::visit_target_symbol): Chain resolution error object,
  do not throw.
* tapset-procfs.cxx (*::visit_target_symbol): Ditto.
* tapset-utrace.cxx (*::visit_target_symbol): Ditto.
* tapsets.cxx (*::visit_target_symbol): Ditto.
  (*::visit_defined_op): Explain & enforce the above.
* testsuite/semok/thirtysix.stp: Expand.

* testsuite/systemtap.base/sdt_misc.exp: Bonus fix: make work with blddir != srcdir.

PR10719 cont'd: const-fold binary expressions

We can compute results between two literals, we can reduce identity
elements, and reduce constants if the non-literal side has no side
effects.

* elaborate.cxx (const_folder::visit_binary_expression): Implement.

Permit chained unary operators

The operand of a unary may be yet another unary.  This is useful for
things like boolean normalization, !!x.

* parse.cxx (parser::parse_unary): Recurse the operand.
* testsuite/parseok/eleven.stp: Add chained unary operators.

PR10719 cont'd: const-fold logical ops

We can compute results between two literals, we can short-circuit some
literals on the left ("0&&x", "1||x"), and we can simplify literals on
the right if the left has no side effect ("x&&0", "x||1").

* elaborate.cxx (const_folder::visit_logical_or_expr): Implement.
  (const_folder::visit_logical_and_expr): Implement.

PR10719 cont'd: const-fold comparisons

We can compute results between two literals, and we can also compute
comparisons to boundary numbers.

(We could also check boundary strings, "" and "\377\377...", but even
I am not THAT pedantic... yet...)

* elaborate.cxx (const_folder::visit_comparison): Implement.

PR10719 cont'd: const-fold string concatenation

We can concat literal strings directly and discard empty strings.

* elaborate.cxx (const_folder::visit_concatenation): Implement.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

* 'master' of ssh://sources.redhat.com/git/systemtap:
  PR10719 part 1: Partial constant folding
  Simplify null_statement construction
  Fixed PR 11269 by properly handling mmap syscall 'fd' argument.
  Removed rvalue operator check.
  PR 10690 (partial fix).  Handle '.=' operator in procfs probes.

Conflicts:
tapsets.h

PR11005: @defined($tvar) predicate, part 1

* staptree.h (defined_op): New class.
* all files: Extend all visitors as appropriate, mostly
  dummy/pass-through implementation.
* parse.cxx (parse_target_symbol): New function, factored out
  of parse_symbol().
  (parse_define_op): New function.
* NEWS: Mention it.
* parse.h: Corresponding changes.
* tapsets.cxx (var_expanding_visitor::visit_defined_op):
  Implement @defined() semantics.
  (dwarf_var_expanding_visitor::visit_target_symbol): Adjust.
* tapset-utrace.c (visit_target_symbol_arg): Avoid crashes
  on $argZZZ.
* tapsets.cxx (sdt_var_expanding_visitor): Ditto.
* semok/thirtysix.stp: New test.

PR10719 part 1: Partial constant folding

This implements constant folding for if/for/foreach, unary expressions,
and ternary expressions.  Binary expressions are TODO...

* elaborate.cxx (const_folder): New visitor to collapse constants.
  (semantic_pass_const_fold): Drive everything through const_folder.
  (semantic_pass_optimize1): Call it.

Simplify null_statement construction

It only needs a token*, so build that into the constructor.

Fixed PR 11269 by properly handling mmap syscall 'fd' argument.

* testsuite/systemtap.syscall/mmap.c (main): Added mprotect and mremap
  testing (along with testing of anonymous maps).
* tapset/i386/syscalls.stp: In mmap probes, handle the fact that the
  kernel gets an unsigned long 'fd', but the user-side passes a signed
  int.
* tapset/i386/nd_syscalls.stp: Ditto.
* tapset/ia64/syscalls.stp: Ditto.
* tapset/powerpc/nd_syscalls.stp: Ditto.
* tapset/powerpc/syscalls.stp: Ditto.
* tapset/x86_64/nd_syscalls.stp: Ditto.
* tapset/x86_64/syscalls.stp: Ditto.

Removed rvalue operator check.

* tapset-procfs.cxx (procfs_var_expanding_visitor::visit_target_symbol):
  Removed unneeded rvalue operator check.

PR 10690 (partial fix).  Handle '.=' operator in procfs probes.

* tapsets.h (var_expanding_visitor): Add 'valid_ops' and 'op' member
  variables.
* tapsets.cxx (var_expanding_visitor::var_expanding_visitor): Set
  'valid_ops' to '='.  By default, var_expanding_visitor classes only
  handle the '=' operator.
  (var_expanding_visitor::visit_assignment): Remember what operator we're
  handling.  When an operator is found that isn't in the 'valid_ops' set,
  error.
* tapset-procfs.cxx
  (procfs_var_expanding_visitor::procfs_var_expanding_visitor): Add '.='
  to the 'valid_ops' set.
  (procfs_var_expanding_visitor::visit_target_symbol): Handle the '.='
  operator when the target variable is an lvalue.

hashing: add in the -Werror-defeating flag

Check for/build elfutils iff translator is enabled.

* configure.ac: Don't bother with elfutils if $enable_translator = no.