Don't touch config.rpath in bootstrap script

This has no purpose.

Update some copyright years

Consistently use _WIN32 instead of __WIN32__

_WIN32 works with all compilers, while __WIN32__ is MinGW-specific.
This project used __WIN32__ in files that only support MinGW, and _WIN32
in other files such as the library header and example programs.  One
place even used WIN32.  Avoid this unnecessary complication by just
always using _WIN32.

Use native Windows threads on Windows

This makes building wimlib for Windows easier, as it no longer depends
on winpthreads.

Explicitly define _WIN32_WINNT

Explicitly define _WIN32_WINNT to correspond to the minimum Windows
version we are supporting (currently Windows Vista).

Remove support for Windows XP

Update NEWS

Add a configuration file for GitHub Actions

Fix build with very latest MinGW

MinGW's winioctl.h has added the FSCTL_*_OVERLAY constants but not the
structs they use, so make sure to define the structs ourselves.

Skip a test case on macOS

Make the 'tree-cmp' program build on macOS

Fix 'MAX' redefined warning on macOS

Update winpthreads in Windows binaries to 10.0.0

Update libxml in Windows binaries to 2.10.3

Add a basic test for wimverify and the SHA-1 code

SHA-1 rework

First, add new SHA-1 implementations that use the x86 and ARM SHA-1
intrinsics, so that these can be taken advantage of in Windows builds.

Second, replace sha1-ssse3.asm with an easier-to-maintain implementation
using intrinsics, and build a copy of it with AVX+BMI2 enabled.

Finally, now that better SHA-1 implementations are included, support for
OpenSSL's SHA-1 is no longer very useful, so remove it.

I considered going in the other direction: removing all SHA-1 code and
relying completely on external libraries.  Some issues with that are:

- Statically linking OpenSSL into libwim.dll on Windows increases the
  binary size by over 4x, even when using "no-autoalginit".

- OpenSSL has deprecated its easy-to-use SHA-1 API in favor of the EVP
  API, which is harder to use (everything can fail) and slower.

- Windows CryptoAPI is Windows-only (duh) and also has a complex, slow
  API where every function can fail, so that's not great either.

- SHA-1 is considered insecure these days, so it may be unwise to count
  on its continued support in crypto libraries into the future.

So, let's just do it ourselves...

Add and use SHA1_HASH_STRING_LEN constant

Add unaligned access helpers for be32

Rename sha1_buffer() to simply sha1()

Improve runtime CPU feature detection

- Make wimlib_global_init() do the CPU feature detection, so that it
  doesn't have to be done on-demand later.

- Add support for detecting the x86 SHA extensions.

- Add support for detecting ARMv8 SHA1 instructions on Linux, Windows,
  and macOS.  (64-bit only for now.)

- Allow disabling features via an environment variable for testing.

- Remove some unused functionality.

Call wimlib_global_init() when creating compressors and decompressors

All nontrivial API functions are supposed to call wimlib_global_init().
wimlib_create_compressor() and wimlib_create_decompressor() did not.
Make them do so, so that CPU feature detection can be moved to
wimlib_global_init().

wimsplit: use uint64_t for part_size

Reported at https://wimlib.net/forums/viewtopic.php?t=640

Suppress deprecation warnings for OpenSSL's SHA1_* functions

v1.13.6

tools/make-releases: use libdeflate-gzip instead of 7z

tools/afl-fuzz: add gitignore file

tools/afl-fuzz: fix ctype calculation

Makefile.am: don't explicitly link to msvcrt

The latest MinGW versions don't want this, and it causes an error about
the lib not being found.

tools: add afl-fuzz files

wof.h: guard by __WIN32__

This is needed for the wlfuzz program to compile on non-Windows.

wimlib.h: remove duplicate 'the'

Remove some unnecessary configure options

Remove support for the following options which aren't really useful and
probably aren't being used by anyone:

* --disable-assertions
* --disable-error-messages
* --disable-multithreaded-compression

Don't bother with malloc function attribute

matchfinder_common: sync with libdeflate

compress_common: sync with libdeflate

bt_matchfinder: sync with libdeflate

hc_matchfinder: sync with libdeflate

Use MIT license instead of CC0

CC0 has continued to fall out of favor due to the patents clause
(https://lwn.net/ml/fedora-legal/CAC1cPGw1xScGAXo-0NRs92zFB7ptRxTt=oCYi0BxfZDfAgUtYQ@mail.gmail.com).
Years ago I released some source files in this project (not the whole
project) under CC0.  Use the MIT license for these files instead.

Note that this requires claiming copyright on the latest version of
these files.  Of course, previous versions of these files remain public
domain where legally recognized; this is *not* in any way an attempt to
"revoke" the public domain status of previous versions.

Reduce MAX_OPEN_FILES to 128 on macOS where the default limit is 256

wimlib_iterate_dir_tree(): don't checksum unhashed blobs

wimlib_iterate_dir_tree() on a modified-but-not-committed image is very
slow because it checksums all unhashed blobs.  This was originally
implemented by commit 681faad85f73 ("wimlib_iterate_dir_tree(): checksum
unhashed blobs"), presumably to make the sha1_hash field always valid.
However, I can't remember a real use case for this.  The current
behavior is causing problems, so let's just revert it and update the
documentation accordingly.

Reported at https://wimlib.net/forums/viewtopic.php?f=1&t=572

wimsplit: don't print success message on failure

v1.13.5

Update libxml to 2.9.12 for Windows binaries

export_image.c: allow duplicate image names in source WIM

Reported at https://wimlib.net/forums/viewtopic.php?f=1&t=568.  DISM can
create WIM files containing images with duplicate names, whereas wimlib
enforces unique image names in certain cases such as adding images,
exporting images, and changing image names.  This behavior generally
seems fine, but the "export" check is too strict: an export of "all"
images will fail if the source WIM contains duplicate names.

Fix this by making wimlib_export_image() allow duplicate image names in
the source WIM, provided that they don't collide with image names that
already exist in the destination WIM.

configure.ac: fix trailing newline issue

Reported at https://wimlib.net/forums/viewtopic.php?f=1&t=562.
m4_esyscmd() needs to be m4_esyscmd_s(), so that the version string
doesn't get a trailing newline.  It works for me either way, but that's
probably because in autoconf 2.70, AC_INIT started trimming extra
whitespace from its arguments (as per the release notes at
https://lists.gnu.org/archive/html/autotools-announce/2020-12/msg00001.html).
So presumably this fix is needed for older versions of autoconf.

configure.ac: generate version number from git commit and tags

This should hopefully make it less confusing when building from the git
repository.  Previously, when doing so the version number would always
be that of the last official release.

nasm.m4: use AS_MESSAGE_LOG_FD

Address the following warning when running autoreconf:

    configure.ac:191: warning: The macro `AC_FD_CC' is obsolete.
    configure.ac:191: You should run autoupdate.
    ./lib/autoconf/general.m4:399: AC_FD_CC is expanded from...
    m4/nasm.m4:4: AC_PROG_NASM is expanded from...
    configure.ac:191: the top level

v1.13.5-BETA1

README.WINDOWS: clarify how to build master branch

Warn rather than abort if SHA-1 is same but size is different

Assertions should only be used for bugs in wimlib, but this scenario can
also happen if there is a SHA-1 collision, or if the SHA-1 hash provided
by the filesystem for a WIM-backed file on Windows is wrong.

tools/make-windows-release: ensure the headers in tools/windeps/ are used

Avoid a build error due to the libxml2 headers not being found.

Previously it worked by chance due to the system headers being used.
This stopped working in Cygwin builds for some reason, though.

tools/make-windows-release: check existence of config.log before grepping it

Avoid a misleading log message.

win32: update WOF ioctl definitions

Use the "official" Microsoft struct and field names, and only define
things when they aren't already defined (since some of them were
recently added to MinGW's winioctl.h, causing build errors).

win32: only define FSCTL_SET_PERSISTENT_VOLUME_STATE if not yet defined

The MinGW headers define this (and the related struct and constant) now,
which is causing a build error.

Also use CTL_CODE() rather than a raw number.

README.WINDOWS: fix category of p7zip

v1.13.4

v1.13.4-BETA2

Add support for a data recovery mode

Add support for extracting file data even if it is corrupted (i.e. if
its hash doesn't match or some of its chunks can't be decompressed).

This isn't recommended for general use, but it could be useful for
recovering data from a corrupted WIM archive.

v1.13.4-BETA1

Fix slow progress updating for wimsplit

wimsplit only prints a progress message when starting each WIM part.
That could be very infrequently since each part could be gigabytes.

Fix it to update the progress regularly as data is written, like the
other wimlib-imagex commands do.

This required changing the library to report
WIMLIB_PROGRESS_MSG_WRITE_STREAMS messages from wimlib_split() and
include the completed compressed size in them.

Reported at https://www.reddit.com/r/pcmasterrace/comments/hagu4k/wimlibimagex_split_stuck_at_0

v1.13.3

win32_replacements.c: fix handle closing in win32_wglob()

The handle returned by FindFirstFileW() needs to be closed by
FindClose(), not by CloseHandle().

This is a very old bug, which presumably wasn't noticed before because
ordinarily it just leaked the handle.  However, this bug caused a SEH
exception when wimlib was run under a debugger.

COPYING: clarify the license

Some of the language in COPYING is potentially unclear.  For example,
there is some ambiguity in when each license option of GPL and LGPL is
allowed.  Clarify the language.

Note, this commit isn't intended to actually change the license at all.
It just clarifies what I intended.

Consistently use forums as bug report location

win32_apply: relax bootloader compression blacklist

At some point the Windows bootloader started supporting all system
compression formats, not just XPRESS4K.

Reported at https://wimlib.net/forums/viewtopic.php?f=1&t=444

README.WINDOWS: fix the Cygwin package list

The "mingw64-i686-pkg-config" and "mingw64-x86_64-pkg-config" packages
have been replaced by just "pkg-config".

Reported at https://wimlib.net/forums/viewtopic.php?f=1&t=533#p1225

v1.13.3-BETA1

win32_capture: avoid unnecessary fallback to recursive scan

When doing the fast MFT scan (via FSCTL_QUERY_FILE_LAYOUT) and we find a
directory that needs to fall back to the standard scan, we actually only
need to fall back for the directory itself -- not also its children.
Optimize things accordingly.

Reported at https://wimlib.net/forums/viewtopic.php?f=1&t=533

v1.13.2

wimboot.c: avoid -Waddress-of-packed-member warning

Update libxml to 2.9.10 for Windows binaries

Remove obsolete Linux packaging files

There are now official Debian and Fedora packages for wimlib.  So the
in-tree packaging files are redundant.  Also I haven't tested them in a
long time, so there's a good chance they don't work properly anymore.

Use memcpy() for unaligned accesses

For unaligned memory accesses, with modern compilers memcpy() is
compiled just as efficiently as __attribute__((packed)).  This also
avoids using a nonstandard extension and potentially running into the
gcc 10 bug https://gcc.gnu.org/bugzilla/show_bug.cgi?id=94994.

Fix some typos

update_image.c: check malloc return value

Avoid gcc warnings with -Waddress-of-packed-member

- Remove unnecessary packed attributes.
- Access a packed structure directly rather than via a separate pointer.

mkwinpeimg: syslinux modules may be in /usr/share/syslinux

On openSUSE...

Signed-off-by: Jiri Slaby <jirislaby@gmail.com>

v1.13.1

v1.13.1-BETA1

lcpit_matchfinder: fix limiting nice_match_len

The "normal" mode of the lcp-interval tree matchfinder supports finding
matches up to LCP_MAX bytes.  The "huge" mode, which is needed on
buffers larger than 64 MiB, supports up to HUGE_LCP_MAX bytes.
nice_match_len must be limited to the appropriate one of these values.

But nice_match_len is limited by lcpit_matchfinder_init().  That's
wrong, because it only knows whether huge mode *might* be used later,
based on max_bufsize.  Which mode to use is actually decided on a
buffer-by-buffer basis by lcpit_matchfinder_load_buffer().

Thus, limit nice_match_len in lcpit_matchfinder_load_buffer() instead.

This fixes a crash or incorrect output during LZMS compression with a
compression level > 50 and a chunk size > 64 MiB.

wlfuzz: improve compression parameter generation

- Sometimes choose LZMS chunk sizes > 64 MiB
- Choose LZMS more often
- Other cleanups

v1.13.0

Update libxml to 2.9.8 for Windows binaries

wlfuzz: compare xattrs on Windows

imagex: warn that --update-of is unreliable on Windows

wimappend: with --create, ignore --update-of nonexistent target file

Remove Arch Linux PKGBUILD

There's now an official Arch Linux package for wimlib.
So the PKGBUILD file in-tree is redundant.

wimappend: add --create option to create WIM file if needed

wimextract: allow specifying listfile on stdin

Make absolute ExclusionException patterns include ancestor directories

imagex: make sure we still use wgetopt_long_only() on Windows

Fix building on NetBSD

split.c: fix finding extension of first split WIM part

Silly old bug: wimlib_split() considered the first dot in the SWM path
to begin the filename extension.  But of course, there can be other dots
in the path; we need to look for the last dot in the last component.

Update NEWS

win32_capture: recognize STATUS_NOT_SUPPORTED (fixes for WinXP)

Update winpthreads to 5.0.3 for Windows binaries

Update libxml to 2.9.7 for Windows binaries

wimlib-imagex: add --include-integrity option

The --check option currently does two things: verify the integrity table
of the input WIM(s), and include an integrity table in the output
WIM(s).  Some users would like to do the latter only, especially if
there are large input WIM(s).

Add an option --include-integrity which does this.

wimlib-imagex: try harder to optimize out opening template WIM

As an optimization, 'wimcapture' and 'wimappend' don't separately open
the template WIM for --update-of if no filename is specified in that
option, which makes it default to either the single base WIM
(--delta-from), or the WIM being appended to.

Extend that optimization to cases where the filename is specified in
--update-of and it exactly matches the filename of the WIM being
appended to or any of the base WIMs.

Improve explanation for pipable WIM pre-write checksumming