Add sprint_hash()

Delete print_hash() and get_sha1_string()

wimlib-imagex.1: Update license statement

Update COMPRESSION RATIO section in README

lzx-compress.c: Update some comments

lzx-compress.c: Don't update recent offset queue unnecessarily

lzx-compress.c: Speed up rep match cost evaluations

lzx-compress.c: Use local variable for 'optimum' pointer

decompress_common.h: Optimize bitstream_ensure_bits()

lz_binary_trees.c: Avoid buffer overrun if min_match_len > 3

lz_hash_chains.c: Avoid buffer overrun if min_match_len > 3

xpress-compress.c: Use dedicated choose-items function for each parsing strategy

This speeds up lazy and greedy parsing.

lz_hash_chains.c:  Add some comments to lz_hc_get_matches()

lz_hash_chains.c:  Hand-inline do_search()

On x86_64 this improves performance slightly (XPRESS compression ~3%
faster).  Probably a lot of the difference is due to redundant checks
against 'max_len' getting removed.

Update NEWS

lzms-common.c:  Don't process first byte in x86 filter

Microsoft's LZMS compressor and decompressor seemingly skip this byte.

This resulted in different behavior on the following uncompressed data:

0000000 e8 6b e8 fb ff 5e 1f 03 e8 63 e8 fb ff 5e c0 02
0000016 e8 5b e8 fb ff 5e 51 01 e8 53 e8 fb ff 5e c4 00

wimlib would do a translation following the e8 byte at offset 16, since
it would enable x86 translations following the identification of matching
absolute addresses following the potential opcodes at offsets 0 and 8.
But as far as I can tell, the Microsoft implementation just skips byte 0
entirely and doesn't consider it as beginning a potential instruction.

lzms-common.c: Add comment to lzms_x86_filter()

imagex-export.1.in: Add ESD <=> WIM examples

imagex-capture.1.in: Update

Remove "brute force" match-finding algorithm

It's not of much use, and the code ended up being more complicated than I
had planned.  Just get rid of it.

resource.c: Make extract_chunk_to_fd() static

wim.c: Cleanup

Starting to remove some error messages that are mostly or entirely
redundant with the returned error code.

Check return value of wimlib_global_init() when called in lib

On Windows, wimlib_global_init() can fail if functions are missing from
ntdll.  It's best to fail fast in this case rather than plowing ahead and
assuming the user would have already called wimlib_global_init()
themselves if they cared.

inode.c: cleanup

Remove some unneeded includes

dentry.c: Cleanup + improve comments

cleanups

win32_apply.c: Add comment about registry changes

Speed up match length computations

Merge compression updates

- New internal match-finding API (might release as stand-alone library
  sometime)
- Add some new match-finding algorithms
- Get rid of lz_hash.c / lz_analyze_block()
- Add optimal parsing to XPRESS
- Optimize get_matches() / skip_bytes() calls in XPRESS and LZX
  compressors
- Get rid of decompressor parameters
- Get rid of compressor parameters exposed in API (use compression levels
  instead)

win32_capture.c: Fix memory leak in error path

lzx-compress.c: Rename lzx_record_ctx.matches

lzx-compress.c: Rename lzx_write_matches_and_literals()

{lzx,lzms}-decompress.c: Include wimlib/error.h, not wimlib.h

xpress-decompress.c: Remove unneeded wimlib.h include

{de,}compressor_ops.h: Forward declare params header

xpress-compress.c: Rename xpress_match => xpress_item

lzx-compress.c: Minor cleanups

Get rid of input_idx_t

This can't simply be changed anymore, so there's not much point in having
it.  For now window sizes are fixed at 32 bits.

Rename raw_match => lz_match

lzx-compress.c: Rename lzx_match => lzx_item

An LZX item can be a match or a literal.  This makes more sense than "a
LZX match can be a match or a literal".

Ensure WIM has filename before doing WIMBoot extraction

wimboot.c: Set correct error code if rename fails

win32_apply.c: Minor cleanups

Place headers that could be useful in unrelated projects in public domain

lzms-decompress.c: Update comments about Huffman codes

Make consistent with the observations in compress_common.c

Place common decompression/compression code in public domain

Not much except Huffman coding in these files anymore, and that should be
completely free especially since it's been over 60 years since it was
invented...

win32_capture.c:  Fix exclusion when capture path ends in slash

Broken by e9aed5bf5c3296f35ff7007cb1702c07b7dc2b37

doc updates

Windows replacement for fopen(path, "a")

Use tchar for error file path

win32_capture.c: Exclude files pending deletion

wimexport: Add --recompress option

Close error file opened by name

wimlib: Allow custom error file

Use completed_streams and total_streams in extract progress

Remove begin_stream callback flags

These aren't used for anything anymore.

extract.c: Pass orig stream to callbacks when reading tmpfile

Needed for "WIMBoot" extraction

win32_apply.c:  Don't use BEGIN_STREAM_STATUS_SKIP_STREAM

This doesn't work correctly when extracting the stream from a pipe or a
solid block.  Just read the data and don't do anything with it --- at
least this double checks that it's actually valid.

extract.c: Send "extract streams" progress at least every 5 MB

Add experimental support for WIMLIB_PROGRESS_MSG_DONE_WITH_FILE

Update NEWS

Factor out Win32 => NT path conversion and use in win32_capture.c

win32_capture.c: Don't add duplicate backslashes

write.c: Send "write streams" progress at least every 5 MB

This is helpful when writing large archives, especially when the library
user uses the ability to abort the operation.

extract.c: Fix for running out of file handles

Update version to v1.7.1-BETA

Allow multiple wimlib_global_init/cleanup per app

security.c: Use int32_t for security IDs

v1.7.0

imagex-optimize.1.in:  Update LZX compressor note

README: Update COMPRESSION RATIO section

sha1-ssse3.asm:  Fix building on Windows

For some reason the Intel original doesn't actually build for Windows
because it requests too high alignment per section.  It should be
sufficient to retain the alignment directives in the code itself.

make-windows-release: Allow multiple extra args to configure

make-windows-release: Set VERSION correctly for betas

Re-visit SHA-1 code

- Fixed build failures when configured with --enable-ssse3-sha1.

- Actually calculate the message digest correctly in the SSSE3-optimized
  version!  The Intel code just does block transformations, not arbitrary
  updates; the previous code did not reflect this.

- Use an appropriate fallback when the CPU does not support SSSE3
  instructions; don't just call abort()!

- Improve sha1_update() and sha1_final().  They should now be slightly
  faster, as well as easier to understand.

- Use beXX_to_cpu() and cpu_to_beXX() macros instead of hard-coding
  endian conversions.

avl_tree.c: Remove avl_set_balance_factor()

Speed up LZ77 match copying

xpress-decompress.c:  Store 'len_hdr' and 'offset_bsr' in unsigned ints

This speeds up XPRESS decompression by about 2%.

finish_write():  Read old integrity table into memory if needed

This is a better fix for the problem, since it doesn't prevent the old
table from being used when it can be.

finish_write(): Don't use old integrity table if already overwritten

When updating a WIM in-place without modifying the lookup table, the new
XML data will spill into the old integrity table if the new XML data is
longer than the old XML data.  Temporarily fix this by not using the old
integrity table in this case.

extract.c: Don't compile unneeded code when WITH_NTFS_3G undefined

extract.c: Do endian conversion when checking pipable WIM header

dentry.c:  Cast name length u16 => u32 whenever adding 2

Due to integer promotion this won't make a difference if an 'int' is 4+
bytes anyway, but make the intention clear: this computation should not
overflow.

read_dentry_tree(): Use dentry_set_name()

Does the same thing but is shorter.

compress_serial.c:  Don't store compressed length in context

It can be a local variable.

compress_parallel.c:  Don't bail if not all threads can be created

If pthread_create() fails but at least 2 threads were created, use them
instead of falling back to serial compression.

compress_parallel.c: Use more appropriate type for shift

chunk_compressor: Use u32 for chunk uncompressed size

All chunk sizes must fit in a 32-bit integer because they cannot exceed
'out_chunk_size'.

make_canonical_huffman_code():  Stricter validation of max_codeword_len

max_codeword_len must be long enough to give a distinct codeword to each
symbol.  As we also check that num_syms >= 2, use this check instead of
max_codeword_len > 0.

compress.c:  Always include base compressor size

When the struct compressor_ops does not provide get_needed_memory(),
still include the size of the struct wimlib_compressor.

{de,}compress.c: Sort ops by type number

capture_common.c: Fix comment

Update NEWS

dentry.c: Fix comment

wimlib.h:  Make beginning of docs a bit more friendly

wimlib.h: Update docs

Remove WIMLIB_COMPRESSION_TYPE_INVALID from library

This is actually only used in wimlib-imagex

wimlib_get_compressor_needed_memory(): Include struct wimlib_compressor

make-windows-release: Include all COPYING files

Update Makefile.am