Workaround for WOF incompatibility

If a stream has compressed_size == uncompressed_size, WOF assumes it's
uncompressed.  As a workaround, we need to re-write the stream as uncompressed
if this ever happens.

This requires adjusting the DONE_WITH_FILE messages to be fired after writing
each stream, not after reading each stream.

We also need to loosen the check for whether the input stream is in a solid
block or not.

Finally, this commit also makes the DONE_WITH_FILE messages work in more cases
--- when appending to a WIM, and when the file hashes are already known.

wimlib-imagex: Don't open base or template WIMs for write access

Update COPYING

- Use "or later" clause for GPLv3 and LGPLv3
- Make LGPL exception more general

programs/wgetopt.c: Adjust license to reflect this not being part of the library

Don't bother with copyright statement in header file

Use LGPLv3+ for src/*.c

Update NEWS

win32_{apply,capture}.c:  workaround for SACL_SECURITY_INFORMATION quirk

Update NEWS

compress_parallel.c:  Smarter setting of chunks_per_msg

Useful when compressing small chunks with many threads.

make_reparse_data(): No changes until success ensured

win32_capture.c: Random cleanups

win32_apply.c: Add workaround for setting ACL auto-inherit bits

A few minor compressor cleanups

lzx-compress.c: Fix for lazy parsing and multiple blocks

Compression updates

- Faster searching for repeat offset matches
- Lazy updates of adaptive state in near-optimal parsing
- Faster LZX near-optimal parsing
- Better LZX lazy parsing
- Faster XPRESS near-optimal parsing
- Faster LZMS near-optimal parsing
- Faster LZMS match/literal output
- Slightly faster LZMS decompression
- Cleanups

win32_capture.c: Fix format string

lzx-compress.c: Avoid unnecessary branch in match cost calculation

lzx_write_match():  One-branch check for aligned offset case

lzx-compress.c:  Optimize output of compressed Huffman codes

lzx_decompress_block():  One-branch check for aligned offset case

wimverify: Add --nocheck option

lzx-decompress.c: Optimize lzx_read_codeword_lens()

lzx-decompress.c: Inline and optimize lzx_decode_match()

read_huffsym(): Use 'unsigned' for 'entry' and 'key_bits'

Slight performance improvement.

xpress-decompress.c: Performance tweaks

Move XPRESS_TABLEBITS to xpress-decompress.c

lz_copy(): Unroll first iteration

Most matches are short, so 1 iteration is the most common case.
Use separate branch for this.

lzx-decompress.c: Don't allow using offsets of 0

This can happen if an uncompressed block is present, since then the match
offset LRU queue is filled directly from the input buffer.  Too-large
offsets were already checked later, but offsets of 0 would cause
uninitialized memory to remain in the output buffer.

Update input_bitstream

- Very slightly more efficient
- Don't access any internal members from LZX decompressor

configure.ac: Remove unnused variable SHA1_SOURCES

update_image.c: Don't set RP_FIX until all commands have finished

win32_capture.c: Use volume ID as device number

update_image.c: Remove update1()

This makes the three wrapper functions more obvious at first glance.

xml.c: Minor cleanup

xml.c: Simplify node_get_string()

wimlib.h: Add section about backwards compatibility

Add WIMLIB_ERR_FVE_LOCKED_VOLUME

read_capture_config(): Don't warn about compression sections

Remove WINDOWS_LDADD

Linking with shlwapi is no longer needed.

README, configure.ac:  Updates regarding building wimlib

The only real changes are:

* --without-fuse by default on non-Linux UNIX
* Explicit check for libattr when libfuse enabled

All other changes are documentation improvements.

Update wimoptimize documentation

Support for file exclusions via progress function

Update make-releases

Update NEWS

Factor out lz_repsearch() and also use for LZMS

Update NEWS

Merge branch 'wimboot_fast'

win32_apply.c: set_short_name(): Zero buffer

win32_apply.c: set_short_name(): Zero buffer

Merge remote-tracking branch 'origin/master' into wimboot_fast

Support file counts for extract file structure and metadata progress

Fix [PrepopulateList] handling

wimboot_set_pointer(): No unnecessary file open

Make generic extraction code aware of external backing and optimize on Win32 side

win32_apply.c:  set_short_name(): Increase minimum buffer size

Update NEWS

lzx-compress.c: Faster extension of repeat offset matches

xpress-compress.c: Adjust condition for using binary tree matchfinder

wimlib_get_error_string(): Fix return value for some invalid numbers

The function was returning NULL for unknown error codes in the range of the
array.  But it should return "Unknown error" for such codes.

wimlib.h:  Various minor doc improvements

wimlib_get_compressor_needed_memory(): return 0 on invalid max_block_size

Make create_decompressor() checks of max_block_size consistent

wimlib_create_{de,}compressor(): Check ctype first

wimlib_create_decompressor(): Fail if max_block_size == 0

wimlib.h: Improve documentation for compression API

LZX: Allow max_block_size not a power of 2

This should be treated as an internal of LZX.

wimlib_decompress(): Check uncompressed_size

lz_*.c: Use UINT32_MAX for default max_match_len

This avoids max_match_len < min_match_len on extremely small windows.

wimlib_compress(): Return 0 if uncompressed_size is invalid

win32_apply.c: Use volume handle when enabling short names

Otherwise it doesn't work.

win32_apply.c: Adjust short name behavior

- Try to enable short names on the volume if it seems to be necessary to set
  short names.
- Without WIMLIB_EXTRACT_FLAG_STRICT_SHORT_NAMES, still warn about how many
  short names could not be set.

xpress-decompress.c: Remove unnecessary bitstream_ensure_bits()

LZX, XPRESS: Use optimized write_bits() functions

For LZX, no handling of literal bytes is needed.  Also, no padding at the end is
needed; omitting it improves the compression ratio slightly.

For XPRESS, no handling of bit counts > 16 is needed.

Rate limit VERIFY_STREAMS progress messages

win32_apply.c:  Set WimBoot=1 in extracted registry

extract.c: Simplify mkdir_if_needed()

Just go ahead and try mkdir().  If it works or it fails with EEXIST,
we're done.  (On Windows, a quirk also requires a check for EACCES.)

This aoids the need to call tstat(), which on Windows was really
_wstat(), which is horribly broken: it will fail on paths ending in a
slash.

README: update COMPRESSION RATIO section

Set version to 1.7.2-BETA

More lz_hash_chains, lz_binary_trees performance improvements

- Use a multiplicative hash function.  In practice it's as good as the
  CRC32-based hash function previously used, but it's faster to compute
  and requires no static data.

- Use slightly different logic that avoids the need to special-case the
  extension of matches from 'nice_len' to 'max_len'.

- Faster skip_positions() by avoiding unnecessary calculations.

- Fast match length extension on x86 using unaligned word accesses and
  trailing zero count.

debian/control: Fix Depends

ntfs-3g_capture.c: ntfs_get_ntfs_attrib() gets cpu-endian value

v1.7.1

decompress_common.c: Don't include error.h

lzx-common.c: Use sle32 for target in e8 translation

Delete useless 1-byte explicit endian types

Add sparse annotations for endianness checking

Update README and README.WINDOWS

LZX decompression:  Cleanup

No change in behavior.

mount_image.c: Cleanup

- Improve some comments.
- Don't use the T() macro.  The mount code doesn't run on Windows.
- Make sure we don't accidentally return errno=0.
- Return WIMLIB_ERR_NO_FILENAME if read-write mounting WIM that has no
  backing file.
- inode_resolve_streams() already does nothing if inode->i_resolved
- create_dentry() is never called with NULL 'dentry_ret'
- attr_timeout=0 was in FUSE options two times!
- 'have_progfunc' argument to create_message_queue() was always true; get
  rid of it.
- Use geteuid() rather than getuid() when testing for root

read_wim_header(): Check return value of lseek()

ntfs-3g_capture.c: Remove a never-executed statement

capture_common.c: Add missing breaks in switch stmt in do_capture_progress()

No effect because EXCLUDE_VERBOSE is set whenever VERBOSE is, but these
should be there.

extract.c: Fix dereference of NULL in memory exhausted path

found_lte can be NULL here if the call to new_lookup_table_entry()
failed.

write.c: Fix handling of NULL context in stream_filtered()

A NULL filter_context is supposed to be valid and interpreted as "don't
filter anything".  This case can't be triggered by wimlib-imagex, but it
might be possible via custom library calls.

wim.h: Delete prototype for nonexistent function close_wim()

win32_common.c:  Remove code for windows version detection

This isn't used by anything anymore.

xpress.h: Remove ENABLE_XPRESS_DEBUG

Neither XPRESS_DEBUG() nor XPRESS_ASSERT() is used anymore.

debian/: wimlib9 => wimlib15

Should have been done for 1.7.0.

lzms-compress.c: Fix crash on compression levels 1 through 4

lzms_get_near_optimal_item() assumes that nice_match_length >=
min_match_length.