wimlib_create_{de,}compressor(): Check ctype first

wimlib_create_decompressor(): Fail if max_block_size == 0

wimlib.h: Improve documentation for compression API

LZX: Allow max_block_size not a power of 2

This should be treated as an internal of LZX.

wimlib_decompress(): Check uncompressed_size

lz_*.c: Use UINT32_MAX for default max_match_len

This avoids max_match_len < min_match_len on extremely small windows.

wimlib_compress(): Return 0 if uncompressed_size is invalid

win32_apply.c: Use volume handle when enabling short names

Otherwise it doesn't work.

win32_apply.c: Adjust short name behavior

- Try to enable short names on the volume if it seems to be necessary to set
  short names.
- Without WIMLIB_EXTRACT_FLAG_STRICT_SHORT_NAMES, still warn about how many
  short names could not be set.

xpress-decompress.c: Remove unnecessary bitstream_ensure_bits()

LZX, XPRESS: Use optimized write_bits() functions

For LZX, no handling of literal bytes is needed.  Also, no padding at the end is
needed; omitting it improves the compression ratio slightly.

For XPRESS, no handling of bit counts > 16 is needed.

Rate limit VERIFY_STREAMS progress messages

win32_apply.c:  Set WimBoot=1 in extracted registry

extract.c: Simplify mkdir_if_needed()

Just go ahead and try mkdir().  If it works or it fails with EEXIST,
we're done.  (On Windows, a quirk also requires a check for EACCES.)

This aoids the need to call tstat(), which on Windows was really
_wstat(), which is horribly broken: it will fail on paths ending in a
slash.

README: update COMPRESSION RATIO section

Set version to 1.7.2-BETA

More lz_hash_chains, lz_binary_trees performance improvements

- Use a multiplicative hash function.  In practice it's as good as the
  CRC32-based hash function previously used, but it's faster to compute
  and requires no static data.

- Use slightly different logic that avoids the need to special-case the
  extension of matches from 'nice_len' to 'max_len'.

- Faster skip_positions() by avoiding unnecessary calculations.

- Fast match length extension on x86 using unaligned word accesses and
  trailing zero count.

debian/control: Fix Depends

ntfs-3g_capture.c: ntfs_get_ntfs_attrib() gets cpu-endian value

v1.7.1

decompress_common.c: Don't include error.h

lzx-common.c: Use sle32 for target in e8 translation

Delete useless 1-byte explicit endian types

Add sparse annotations for endianness checking

Update README and README.WINDOWS

LZX decompression:  Cleanup

No change in behavior.

mount_image.c: Cleanup

- Improve some comments.
- Don't use the T() macro.  The mount code doesn't run on Windows.
- Make sure we don't accidentally return errno=0.
- Return WIMLIB_ERR_NO_FILENAME if read-write mounting WIM that has no
  backing file.
- inode_resolve_streams() already does nothing if inode->i_resolved
- create_dentry() is never called with NULL 'dentry_ret'
- attr_timeout=0 was in FUSE options two times!
- 'have_progfunc' argument to create_message_queue() was always true; get
  rid of it.
- Use geteuid() rather than getuid() when testing for root

read_wim_header(): Check return value of lseek()

ntfs-3g_capture.c: Remove a never-executed statement

capture_common.c: Add missing breaks in switch stmt in do_capture_progress()

No effect because EXCLUDE_VERBOSE is set whenever VERBOSE is, but these
should be there.

extract.c: Fix dereference of NULL in memory exhausted path

found_lte can be NULL here if the call to new_lookup_table_entry()
failed.

write.c: Fix handling of NULL context in stream_filtered()

A NULL filter_context is supposed to be valid and interpreted as "don't
filter anything".  This case can't be triggered by wimlib-imagex, but it
might be possible via custom library calls.

wim.h: Delete prototype for nonexistent function close_wim()

win32_common.c:  Remove code for windows version detection

This isn't used by anything anymore.

xpress.h: Remove ENABLE_XPRESS_DEBUG

Neither XPRESS_DEBUG() nor XPRESS_ASSERT() is used anymore.

debian/: wimlib9 => wimlib15

Should have been done for 1.7.0.

lzms-compress.c: Fix crash on compression levels 1 through 4

lzms_get_near_optimal_item() assumes that nice_match_length >=
min_match_length.

extract.c: Fix yet another bug in many-identical-streams case

wimlib.h: Update wimlib_create_compressor() docs

win32_capture.c: Ignore unnamed data stream of reparse point

This data will not be archived; only the reparse data will.  So there's
no need to create a 'struct wim_lookup_table_entry' for it.

If a reparse point had an unnamed data stream, the assertion introduced
in commit 321750354891a0968ca0c3664417eae73b9414aa would be triggered.
This is just as well, because this case wasn't being handled in the most
logical way.

Add WIMLIB_PROGRESS_MSG_EXTRACT_{FILE_STRUCTURE,METADATA}

These are essentially updated versions of
WIMLIB_PROGRESS_MSG_EXTRACT_{DIR_STRUCTURE,TIMESTAMPS} which were removed
in v1.7.0.  The new versions will file periodically, so they can be used
as cancellation points where the library user provides
WIMLIB_PROGRESS_STATUS_ABORT.

decompress_common.h: Add back check for buffer overrun

This got lost by commit 8e9c6b63fcba9406cea6b742859e7730e0e2e8a9 two days
ago.  This check is still needed, unfortunately.

The unrolled loop and is_constant() optimization still helps a bit, but
not as much now.

wimlib-imagex.1: Mention 'verify' subcommand

extract.c: Fix extract_from_tmpfile()

Abbreviate the NEWS a bit

Add 'wimlib-imagex verify' command

Add wimlib_verify_wim()

Add sprint_hash()

Delete print_hash() and get_sha1_string()

wimlib-imagex.1: Update license statement

Update COMPRESSION RATIO section in README

lzx-compress.c: Update some comments

lzx-compress.c: Don't update recent offset queue unnecessarily

lzx-compress.c: Speed up rep match cost evaluations

lzx-compress.c: Use local variable for 'optimum' pointer

decompress_common.h: Optimize bitstream_ensure_bits()

lz_binary_trees.c: Avoid buffer overrun if min_match_len > 3

lz_hash_chains.c: Avoid buffer overrun if min_match_len > 3

xpress-compress.c: Use dedicated choose-items function for each parsing strategy

This speeds up lazy and greedy parsing.

lz_hash_chains.c:  Add some comments to lz_hc_get_matches()

lz_hash_chains.c:  Hand-inline do_search()

On x86_64 this improves performance slightly (XPRESS compression ~3%
faster).  Probably a lot of the difference is due to redundant checks
against 'max_len' getting removed.

Update NEWS

lzms-common.c:  Don't process first byte in x86 filter

Microsoft's LZMS compressor and decompressor seemingly skip this byte.

This resulted in different behavior on the following uncompressed data:

0000000 e8 6b e8 fb ff 5e 1f 03 e8 63 e8 fb ff 5e c0 02
0000016 e8 5b e8 fb ff 5e 51 01 e8 53 e8 fb ff 5e c4 00

wimlib would do a translation following the e8 byte at offset 16, since
it would enable x86 translations following the identification of matching
absolute addresses following the potential opcodes at offsets 0 and 8.
But as far as I can tell, the Microsoft implementation just skips byte 0
entirely and doesn't consider it as beginning a potential instruction.

lzms-common.c: Add comment to lzms_x86_filter()

imagex-export.1.in: Add ESD <=> WIM examples

imagex-capture.1.in: Update

Remove "brute force" match-finding algorithm

It's not of much use, and the code ended up being more complicated than I
had planned.  Just get rid of it.

resource.c: Make extract_chunk_to_fd() static

wim.c: Cleanup

Starting to remove some error messages that are mostly or entirely
redundant with the returned error code.

Check return value of wimlib_global_init() when called in lib

On Windows, wimlib_global_init() can fail if functions are missing from
ntdll.  It's best to fail fast in this case rather than plowing ahead and
assuming the user would have already called wimlib_global_init()
themselves if they cared.

inode.c: cleanup

Remove some unneeded includes

dentry.c: Cleanup + improve comments

cleanups

win32_apply.c: Add comment about registry changes

Speed up match length computations

Merge compression updates

- New internal match-finding API (might release as stand-alone library
  sometime)
- Add some new match-finding algorithms
- Get rid of lz_hash.c / lz_analyze_block()
- Add optimal parsing to XPRESS
- Optimize get_matches() / skip_bytes() calls in XPRESS and LZX
  compressors
- Get rid of decompressor parameters
- Get rid of compressor parameters exposed in API (use compression levels
  instead)

win32_capture.c: Fix memory leak in error path

lzx-compress.c: Rename lzx_record_ctx.matches

lzx-compress.c: Rename lzx_write_matches_and_literals()

{lzx,lzms}-decompress.c: Include wimlib/error.h, not wimlib.h

xpress-decompress.c: Remove unneeded wimlib.h include

{de,}compressor_ops.h: Forward declare params header

xpress-compress.c: Rename xpress_match => xpress_item

lzx-compress.c: Minor cleanups

Get rid of input_idx_t

This can't simply be changed anymore, so there's not much point in having
it.  For now window sizes are fixed at 32 bits.

Rename raw_match => lz_match

lzx-compress.c: Rename lzx_match => lzx_item

An LZX item can be a match or a literal.  This makes more sense than "a
LZX match can be a match or a literal".

Ensure WIM has filename before doing WIMBoot extraction

wimboot.c: Set correct error code if rename fails

win32_apply.c: Minor cleanups

Place headers that could be useful in unrelated projects in public domain

lzms-decompress.c: Update comments about Huffman codes

Make consistent with the observations in compress_common.c

Place common decompression/compression code in public domain

Not much except Huffman coding in these files anymore, and that should be
completely free especially since it's been over 60 years since it was
invented...

win32_capture.c:  Fix exclusion when capture path ends in slash

Broken by e9aed5bf5c3296f35ff7007cb1702c07b7dc2b37

doc updates

Windows replacement for fopen(path, "a")

Use tchar for error file path

win32_capture.c: Exclude files pending deletion

wimexport: Add --recompress option

Close error file opened by name