compiler.h: remove _unused_attribute

This abstraction layer serves no purpose.  Just use
__attribute__((unused)) directly.

compiler.h: remove _may_alias_attribute

This abstraction layer serves no purpose.  Just use
__attribute__((may_alias)) directly.

compiler.h: remove _packed_attribute

This abstraction layer serves no purpose.  Just use
__attribute__((packed)) directly.

compiler.h: remove _aligned_attribute

This abstraction layer serves no purpose.  Just use
__attribute__((aligned(n))) directly.

compiler.h: remove typeof

wimlib is compiled with -std=gnu99, so this is unnecessary.

endianness.h: use builtins directly

The compiler_bswap* macros serve no real purpose.  In endianness.h, just
use the builtins directly.

bitops: use builtins directly

The compiler_bs{r,f}{32,64} macros serve no real purpose.  In bitops.h,
just use the builtins directly.

compiler.h: define UNALIGNED_ACCESS_IS_FAST on powerpc64

error.h: cleanup debris from removal of --disable-error-messages

'extern' in function declarations is redundant

xml: miscellaneous cleanups

ci.yml: install the ntfs-3g package

Install ntfs-3g so that test-imagex-ntfs can run.  While we're here,
also install pkgconf (new name) instead of pkg-config (old name).

ci.yml: use -fno-sanitize-recover when using -fsanitize

Unlike ASAN, by default UBSAN doesn't abort the program on error but
instead just prints an error message.  Use -fno-sanitize-recover to
explicitly request the abort-on-error behavior for testing purposes.

test-imagex-ntfs: find mkntfs on Debian

Add /sbin to the PATH so that mkntfs is found on Debian.

encoding.c: avoid UBSAN warning in convert_string()

When 'in == NULL && in_nbytes == 0', the statement 'in_end = in +
in_nbytes' executes 'NULL + 0'.  clang's UndefinedBehaviorSanitizer
complains that this is undefined:

    src/encoding.c:223:31: runtime error: applying zero offset to null pointer

This is questionable, but let's avoid it...

sha1.c: fix arm64 build with clang 12 and earlier

clang 12 and earlier only defined the SHA-1 intrinsics when
__ARM_FEATURE_CRYPTO is defined.

make-windows-release: support MSYS2 clang environments

Update tools/make-windows-release to support the CLANG32 and CLANG64
MSYS2 environments, and update ci.yml to test them in GitHub Actions.

Also try to support CLANGARM64, though I have no way to test that yet.

Finally, make a couple more tweaks to make-windows-release:

- Run the configure script unless it's explicitly requested to be
  skipped, as the previous logic was too fragile.

- Default to no docs and no zip.

Fix clang warnings about inconsistent use of dllexport

In MSYS2, clang emits many warnings like the following:

    warning: redeclaration of 'wimlib_add_empty_image' should not add 'dllexport' attribute

The problem is that dllexport is used when defining the wimlib API
functions but not when declaring them.  Fix this by using dllexport in
both places.

Add tools/get-version-number to the distribution tarballs

Without this, 'autoreconf' only works in the git repo, not in tarballs.

make-windows-release: fix generation of the cmd files

Improve fuzz testing

- Convert fuzzing scripts from afl-fuzz to libFuzzer
- Add xml and wim fuzzers, including malloc failure injection
- Fuzz for 2 minutes as part of the GitHub Actions CI

Prevent huge memory allocations from fuzzed header fields

security.c: avoid NULL + 0 UBSAN error

UBSAN complains about adding 0 to NULL.  Avoid this.

README.WINDOWS: simplify the build procedure

Rework the build directions to use MSYS2 instead of Cygwin and to take
advantage of the improved make-windows-release script.

README: remove an unnecessary notice

The "copyright years may be listed using range notation" notice is
recommended by the GNU project, but most other people don't consider it
to be necessary or meaningful.

ci.yml: use make-windows-release script on Windows

Improve the make-windows-release script

- Automatically bootstrap the repository if needed
- Add --no-zip and --no-docs options
- Add --install-msys2-packages to install the needed MSYS2 packages
- Autodetect the architecture when using MSYS2
- Use 'strip' instead of ${ARCH}-w64-mingw32-strip, for compatibility
  with MSYS2
- Make it pass 'shellcheck'
- Other cleanups

Eliminate the dependency on libxml2

libxml2 is the only remaining third-party library that Windows builds of
wimlib need.  It's a bit of a pain to have to download it, build it, and
trick libtool into linking it into the resulting DLL.  It then
constitutes a significant part of the size of the resulting DLL, even
with the minimal libxml2 configuration options being used.

In reality, WIM files only use a small subset of XML containing the most
commonly used XML features.  Using a full-featured XML library (that
supports "features" like External Entities that we have to remember to
disable) is a bit dangerous and not actually necessary.  7-Zip's WIM
support, for example, just uses a very minimal home-brew XML processor.

Another issue is that the libxml2 API always uses UTF-8, which causes
the conversion UTF-16LE => UTF-8 => UTF-16LE to be needed on Windows.
This isn't really an "issue", per se, but it shouldn't be necessary.

Finally, wimlib was integrating with libxml2 at a low level via the tree
API, and it overlooked some things.  For example, libxml2 trees have
separate CDATA and TEXT nodes, but wimlib was only looking at TEXT, so
CDATA was ignored.  It was also possible for wimlib to create a document
containing control characters, which is not valid XML so it could not be
read.  These weren't very important issues, but the point is, just using
an XML library doesn't solve quite as many problems as one would hope...

Therefore, just add a simple XML 1.0 processor directly in the source
code.  It handles all XML features that are used in WIM files, plus a
bit more for futureproofing.  It's also faster than libxml2.

test_support.c: add some missing endianness conversions

Add configure~ to gitignore

Remove some outdated scripts

Simplify check for __NR_getrandom

There is no need for the configure script to check whether
__NR_getrandom is defined, as the source code can just use #ifdef.

sha1.c: fix arm64 build with clang 16

Reported at https://wimlib.net/forums/viewtopic.php?p=1480#p1480

Don't touch config.rpath in bootstrap script

This has no purpose.

Update some copyright years

Consistently use _WIN32 instead of __WIN32__

_WIN32 works with all compilers, while __WIN32__ is MinGW-specific.
This project used __WIN32__ in files that only support MinGW, and _WIN32
in other files such as the library header and example programs.  One
place even used WIN32.  Avoid this unnecessary complication by just
always using _WIN32.

Use native Windows threads on Windows

This makes building wimlib for Windows easier, as it no longer depends
on winpthreads.

Explicitly define _WIN32_WINNT

Explicitly define _WIN32_WINNT to correspond to the minimum Windows
version we are supporting (currently Windows Vista).

Remove support for Windows XP

Update NEWS

Add a configuration file for GitHub Actions

Fix build with very latest MinGW

MinGW's winioctl.h has added the FSCTL_*_OVERLAY constants but not the
structs they use, so make sure to define the structs ourselves.

Skip a test case on macOS

Make the 'tree-cmp' program build on macOS

Fix 'MAX' redefined warning on macOS

Update winpthreads in Windows binaries to 10.0.0

Update libxml in Windows binaries to 2.10.3

Add a basic test for wimverify and the SHA-1 code

SHA-1 rework

First, add new SHA-1 implementations that use the x86 and ARM SHA-1
intrinsics, so that these can be taken advantage of in Windows builds.

Second, replace sha1-ssse3.asm with an easier-to-maintain implementation
using intrinsics, and build a copy of it with AVX+BMI2 enabled.

Finally, now that better SHA-1 implementations are included, support for
OpenSSL's SHA-1 is no longer very useful, so remove it.

I considered going in the other direction: removing all SHA-1 code and
relying completely on external libraries.  Some issues with that are:

- Statically linking OpenSSL into libwim.dll on Windows increases the
  binary size by over 4x, even when using "no-autoalginit".

- OpenSSL has deprecated its easy-to-use SHA-1 API in favor of the EVP
  API, which is harder to use (everything can fail) and slower.

- Windows CryptoAPI is Windows-only (duh) and also has a complex, slow
  API where every function can fail, so that's not great either.

- SHA-1 is considered insecure these days, so it may be unwise to count
  on its continued support in crypto libraries into the future.

So, let's just do it ourselves...

Add and use SHA1_HASH_STRING_LEN constant

Add unaligned access helpers for be32

Rename sha1_buffer() to simply sha1()

Improve runtime CPU feature detection

- Make wimlib_global_init() do the CPU feature detection, so that it
  doesn't have to be done on-demand later.

- Add support for detecting the x86 SHA extensions.

- Add support for detecting ARMv8 SHA1 instructions on Linux, Windows,
  and macOS.  (64-bit only for now.)

- Allow disabling features via an environment variable for testing.

- Remove some unused functionality.

Call wimlib_global_init() when creating compressors and decompressors

All nontrivial API functions are supposed to call wimlib_global_init().
wimlib_create_compressor() and wimlib_create_decompressor() did not.
Make them do so, so that CPU feature detection can be moved to
wimlib_global_init().

wimsplit: use uint64_t for part_size

Reported at https://wimlib.net/forums/viewtopic.php?t=640

Suppress deprecation warnings for OpenSSL's SHA1_* functions

v1.13.6

tools/make-releases: use libdeflate-gzip instead of 7z

tools/afl-fuzz: add gitignore file

tools/afl-fuzz: fix ctype calculation

Makefile.am: don't explicitly link to msvcrt

The latest MinGW versions don't want this, and it causes an error about
the lib not being found.

tools: add afl-fuzz files

wof.h: guard by __WIN32__

This is needed for the wlfuzz program to compile on non-Windows.

wimlib.h: remove duplicate 'the'

Remove some unnecessary configure options

Remove support for the following options which aren't really useful and
probably aren't being used by anyone:

* --disable-assertions
* --disable-error-messages
* --disable-multithreaded-compression

Don't bother with malloc function attribute

matchfinder_common: sync with libdeflate

compress_common: sync with libdeflate

bt_matchfinder: sync with libdeflate

hc_matchfinder: sync with libdeflate

Use MIT license instead of CC0

CC0 has continued to fall out of favor due to the patents clause
(https://lwn.net/ml/fedora-legal/CAC1cPGw1xScGAXo-0NRs92zFB7ptRxTt=oCYi0BxfZDfAgUtYQ@mail.gmail.com).
Years ago I released some source files in this project (not the whole
project) under CC0.  Use the MIT license for these files instead.

Note that this requires claiming copyright on the latest version of
these files.  Of course, previous versions of these files remain public
domain where legally recognized; this is *not* in any way an attempt to
"revoke" the public domain status of previous versions.

Reduce MAX_OPEN_FILES to 128 on macOS where the default limit is 256

wimlib_iterate_dir_tree(): don't checksum unhashed blobs

wimlib_iterate_dir_tree() on a modified-but-not-committed image is very
slow because it checksums all unhashed blobs.  This was originally
implemented by commit 681faad85f73 ("wimlib_iterate_dir_tree(): checksum
unhashed blobs"), presumably to make the sha1_hash field always valid.
However, I can't remember a real use case for this.  The current
behavior is causing problems, so let's just revert it and update the
documentation accordingly.

Reported at https://wimlib.net/forums/viewtopic.php?f=1&t=572

wimsplit: don't print success message on failure

v1.13.5

Update libxml to 2.9.12 for Windows binaries

export_image.c: allow duplicate image names in source WIM

Reported at https://wimlib.net/forums/viewtopic.php?f=1&t=568.  DISM can
create WIM files containing images with duplicate names, whereas wimlib
enforces unique image names in certain cases such as adding images,
exporting images, and changing image names.  This behavior generally
seems fine, but the "export" check is too strict: an export of "all"
images will fail if the source WIM contains duplicate names.

Fix this by making wimlib_export_image() allow duplicate image names in
the source WIM, provided that they don't collide with image names that
already exist in the destination WIM.

configure.ac: fix trailing newline issue

Reported at https://wimlib.net/forums/viewtopic.php?f=1&t=562.
m4_esyscmd() needs to be m4_esyscmd_s(), so that the version string
doesn't get a trailing newline.  It works for me either way, but that's
probably because in autoconf 2.70, AC_INIT started trimming extra
whitespace from its arguments (as per the release notes at
https://lists.gnu.org/archive/html/autotools-announce/2020-12/msg00001.html).
So presumably this fix is needed for older versions of autoconf.

configure.ac: generate version number from git commit and tags

This should hopefully make it less confusing when building from the git
repository.  Previously, when doing so the version number would always
be that of the last official release.

nasm.m4: use AS_MESSAGE_LOG_FD

Address the following warning when running autoreconf:

    configure.ac:191: warning: The macro `AC_FD_CC' is obsolete.
    configure.ac:191: You should run autoupdate.
    ./lib/autoconf/general.m4:399: AC_FD_CC is expanded from...
    m4/nasm.m4:4: AC_PROG_NASM is expanded from...
    configure.ac:191: the top level

v1.13.5-BETA1

README.WINDOWS: clarify how to build master branch

Warn rather than abort if SHA-1 is same but size is different

Assertions should only be used for bugs in wimlib, but this scenario can
also happen if there is a SHA-1 collision, or if the SHA-1 hash provided
by the filesystem for a WIM-backed file on Windows is wrong.

tools/make-windows-release: ensure the headers in tools/windeps/ are used

Avoid a build error due to the libxml2 headers not being found.

Previously it worked by chance due to the system headers being used.
This stopped working in Cygwin builds for some reason, though.

tools/make-windows-release: check existence of config.log before grepping it

Avoid a misleading log message.

win32: update WOF ioctl definitions

Use the "official" Microsoft struct and field names, and only define
things when they aren't already defined (since some of them were
recently added to MinGW's winioctl.h, causing build errors).

win32: only define FSCTL_SET_PERSISTENT_VOLUME_STATE if not yet defined

The MinGW headers define this (and the related struct and constant) now,
which is causing a build error.

Also use CTL_CODE() rather than a raw number.

README.WINDOWS: fix category of p7zip

v1.13.4

v1.13.4-BETA2

Add support for a data recovery mode

Add support for extracting file data even if it is corrupted (i.e. if
its hash doesn't match or some of its chunks can't be decompressed).

This isn't recommended for general use, but it could be useful for
recovering data from a corrupted WIM archive.

v1.13.4-BETA1

Fix slow progress updating for wimsplit

wimsplit only prints a progress message when starting each WIM part.
That could be very infrequently since each part could be gigabytes.

Fix it to update the progress regularly as data is written, like the
other wimlib-imagex commands do.

This required changing the library to report
WIMLIB_PROGRESS_MSG_WRITE_STREAMS messages from wimlib_split() and
include the completed compressed size in them.

Reported at https://www.reddit.com/r/pcmasterrace/comments/hagu4k/wimlibimagex_split_stuck_at_0

v1.13.3

win32_replacements.c: fix handle closing in win32_wglob()

The handle returned by FindFirstFileW() needs to be closed by
FindClose(), not by CloseHandle().

This is a very old bug, which presumably wasn't noticed before because
ordinarily it just leaked the handle.  However, this bug caused a SEH
exception when wimlib was run under a debugger.

COPYING: clarify the license

Some of the language in COPYING is potentially unclear.  For example,
there is some ambiguity in when each license option of GPL and LGPL is
allowed.  Clarify the language.

Note, this commit isn't intended to actually change the license at all.
It just clarifies what I intended.

Consistently use forums as bug report location

win32_apply: relax bootloader compression blacklist

At some point the Windows bootloader started supporting all system
compression formats, not just XPRESS4K.

Reported at https://wimlib.net/forums/viewtopic.php?f=1&t=444

README.WINDOWS: fix the Cygwin package list

The "mingw64-i686-pkg-config" and "mingw64-x86_64-pkg-config" packages
have been replaced by just "pkg-config".

Reported at https://wimlib.net/forums/viewtopic.php?f=1&t=533#p1225

v1.13.3-BETA1