LZX, XPRESS decompression:  Return 0 bits on overrun

If the compressed data is invalid such that the compressed data buffer is
overrun, it's simpler to just return 0 bits instead of explicitly
checking the return value at every call site of bitstream_read_bits() and
read_huffsym().

This doesn't necessarily mean that invalid data will go undetected.  Just
for LZX decompression, chances are there will be another problem if all
0's start being returned (e.g. invalid match or invalid Huffman tree).
For WIM operations like extraction, the uncompressed data is checked with
SHA-1 message digests anyway, so it's virtually impossible for corruption
to go undetected.

Also, the LZMS decompressor already does this.

lzx-decompress.c:  Add SSE2 version of undo_call_insn_preprocessing()

resource.c: Fix two comments

resource.c:  Don't call lseek() if not necessary

To be reading a pipable resource from a pipe, is_pipable must be set in
the 'struct wim_resource_spec', so check that first before calling
filedes_is_seekable().

extract.c: Remove unused internal flag

Update NEWS

xml.c: Export <ARCH> and <WIMBOOT> nodes correctly

The XML data still needs to be handled better in general, but this fixes
the bug that this information was missing from clone_image_info().

Check for case where too many identical files are being extracted

Hoping to add a real fix for this, but for now at least avoid the buffer
overflow in UNIX and NTFS-3g extraction modes.

mount_image.c:  Don't use tchar when not necessary

mount_image.c: Add error.h outside WITH_FUSE conditional

Fix file locking

- Lock in_fd only
- Unlock WIM immediately after commiting mounted image (before
  fuse_main() returns)
- Don't lock WIM for read-only mount

test-imagex-mount: Always use tmp.mnt for mounts

mount_image.c:  Use setxattr wimfs.unmount_info, getxattr wimfs.unmount

This lets us return the unmount status directly, instead of sending it
over the message queue (which is subject to problems, like it being
full).

Also, if commit fails, leave the image mounted, unless doing a forced
unmount.

mount_image.c: Fix comment

inode.h: Fix comment

Remove references to libwim9

Revert "lzx-compress.c:  Disable verification by default"

This reverts commit 5448b9cd60e9b1ebf4efcd2d1b2aac346b2e829c.

Switched from libdivsufsort to libdivsufsort-lite; should be the same,
but just in case I'm leaving verification on for the "slow" algorithm.

tagged_items.c: Include header size when searching items

Track divsufsort.h

Use libdivsufsort-lite, not the full libdivsufsort

Remove xattr configuration option

lzx-compress.c:  Disable verification by default

The algorithm seems to be sufficiently well tested now.  And the data is
checked with SHA-1 message digests anyway.  This slightly improves LZX
compression performance.

dentry.h: Remove unneeded forwards declarations

Move wim_pathname_to_stream() to mount_image.c

Remove unused function lte_filename_valid()

struct wim_dentry:  Union subdir_offset and tmp_list

struct wim_dentry: Remove 'length' field

struct wim_dentry: Rename 'parent' to 'd_parent'

mount_image.c: Update directory timestamps

Remove unused error codes

Explicitly declare error code numbers

Update mount implementation

- Improve comments and documentation
- Speed up fd allocation by tracking lower bound on next available slot
- Open staging files by directory-relative names
- Simplify, and hopefully improve, how unmounting images works.

win32_apply.c: Fix extraction of non-WIMBoot files in WIMBoot mode

Report progress for capture symlink fixups

wimcapture: On non-Windows, warn when the target of an absolute symbolic
link is adjusted.

extract.c: Warn when UNIX metadata is not being extracted

Add support for special files on UNIX

Update version: v1.7.0-BETA

There are too many changes to call the next release 1.6.3.

Recognize tagged metadata items and use for UNIX data

This is undocumented, but the Microsoft implementation seems to allow
variable-length, tagged metadata items to be appended to WIM dentries.
Currently it uses them for Object IDs, which DISM (Windows 8.1) will
backup and restore by default.

This commit adds support for these items, so they can be read and written
unmodified.

In addition, for our UNIX data extension, instead of storing the UNIX
data in the reserved fields of the dentry or in alternate data streams,
store it in a custom tagged item with a randomly chosen tag.  This is
perhaps the best choice compatibility-wise.

split.c: Allow customizing part names

win32_capture.c: Remove unused 'struct winnt_scan_stats' member

update_image.c:  Fix call to progress function in handle_conflict()

journaled_link() needs to be last because it commits the branch.

Also, it's supposed to check WIMLIB_ADD_FLAG_VERBOSE.

win32_apply.c:  Allocate space just before writing each stream

This seems to give better performance compared to allocating space when
each file is created.

win32_apply.c: Fallback to RtlDosPathNameToNtPathName_U()

RtlDosPathNameToNtPathName_U_WithStatus() is not available on Windows XP.

win32_apply.c: Fix error message

win32_apply.c: Use sizeof(wchar_t)

Update progress functions

- Register progress function with WIM instead of explicitly specifying it
  with each function call
- Add support for user-supplied context
- Add support for aborting the current operation by returning a status
  from the progress function

wimlib-imagex: Return --unix-data to help output

New format for UNIX data

This moves the UNIX data into reserved fields of the WIM dentry.

This is theoretically less extensible than the previous format, which was
to add a specially-named alternate data stream entry to each file with
UNIX data.  However, having the UNIX data present in the metadata
resource is simpler and avoids problems when doing sequential extraction.

For now, this also seems to maintain compatibility with the MS
implementation, since it seems simply ignore the reserve fields.

Also, use 32-bit uids, gids, and modes.

Fix path passed to wimboot_set_pointer()

wimexport: Add --wimboot flag

Fix extract progress when hard links not supported

Merge branch 'new_extract'

This rewrites much of the extraction code to give more freedom to
extraction backends about how they extract the files.  This has
advantages for all three backends:

UNIX:  Now does a lot fewer path lookups and should exhibit better data
locality.  Final "set timestamps" pass only processes directories, since
nondirectory timestamps are set before that point.

NTFS-3g:  Now completely based on inode numbers; no paths are ever
created, unless a printable path is needed for an error message.  Got rid
of final "set attributes" and "set timestamps" passes, since all
attributes and timestamps are set before that point.

Windows:  Now uses NT paths relative to the target directory, performs
fewer path lookups, extracts encrypted files without individually reading
ranges from the WIM (expensive for ESD files), and a few other changes.
A lot of code previously in the generic file extract.c actually could be
moved here.

Also, there are no longer any temporary files needed.  All three backends
simply write all the instances of each stream at the same time, which is
more efficient.

Still TODO:
- New format for UNIX data
- Add fallbacks for when number of open files gets too high
- Add fallback for huge encrypted files
- If possible add hardlink and symlink modes back, however these
  are pretty useless.

streamifier_cb(): Adjust cur_stream_offset even if ->consume_chunk() fails

This ensures that ->end_stream() gets called.

dentry.h: Remove unnused declaration of put_dentry()

metadata.h: Parenthesize 'imd' argument to macros

Don't set FILE_ATTRIBUTE_SPARSE on Windows

winnt_openat(): Use FILE_SHARE_VALID_FLAGS

No change in meaning, but this is simpler.

wimextract:  For --to-stdout, set stdout to binary mode on Windows

win32_common.c: Remove duplicate declaration of func_NtOpenFile

inode_fixup.c:  Further simplify MS bug workaround

Based on what WIMGAPI does, and assuming it sufficiently works around its
own [presumably fixed] bug, the workaround can be simplified to just
"don't hard link dentries that have different unnamed data streams".

inode_fixup.c:  Simplify logic

Most of the logic in this file is working around a Microsoft bug, but
there must be an easier way to do it.  This commits strips the code down
to something more logical that still seems to "do the right thing" on a
Windows 7 WIM affected by the Microsoft bug.

dentry.h:  Remove declaration of dentry_tree_fix_inodes()

This is already declared in inode.h.

win32_replacements.c: Remove unnecessary 'extern'

Rewrite code for capture rpfix

The previous code had many potential problems on the Windows side.
Targets of Windows native symbolic links (except those with
SYMBOLIC_LINK_RELATIVE set) and junction points are stored in the reparse
points as NT namespace paths.  Therefore they can validly include
prefixes like '\??\', '\DosDevices\', or '\Device\HardDiskVolume1'.  They
potentially do not use drive letters at all, and they may be over
MAX_PATH characters.  Such paths should be accessed using the native API
(NtOpenFile), not Win32 (CreateFile).  This commit changes the code to do
so.

reparse.c: Fix volume_junction_prefix

This uses an NT namespace path, so it's \??\ prefix not \\?\.

Update NEWS

Remove unused win32_truncate_replacement()

Move code from win32_common.c to win32_apply.c

update_image.c: Fix memory leak in error path

win32_replacements.c: Remove unused headers

file_io.h: Remove unused declaration of filedes_copy()

file_io.h: Remove unused declaration of struct iovec

win32_common.c: Remove unused headers

file_io.c: Remove unused header sys/uio.h

win32.h: Remove unused stuff

win32_capture.c: Fix format string

win32_apply.c: Call match_pattern_list() from in_prepopulate_list()

win32_capture.c: Remove unused variable

Remove duplicate words & fix grammatical errors

write_wim_part(): Distinguish between explicit GUID and retained GUID

Update wimlib-imagex man pages, especially the main one

wimlib.h: Update docs for write flags

write.c: Don't default to solid mode quite as easily

Add WIMLIB_WRITE_FLAG_RETAIN_GUID

... and use it in wimlib_join() and wimlib_overwrite().

Remove the guid_set_explicitly hack.

wimlib_write(): Update flags debugging statements

imagex-update.1.in:  Update

Add WIMLIB_EXPORT_FLAG_GIFT

reference.c:  Don't duplicate stream entries unnecessarily

With wimlib_reference_resource_files(), the resource WIMs are never made
accessible to library users, so there is no need to retain copies of all
stream entries in their lookup tables.

unix_capture.c: Optionally use dirfd-relative functions (openat(), etc)

win32_capture.c:  More improvements

NTFS-3g capture: Fix setting DOS name

win32_get_security_descriptor(): Check for STATUS_BUFFER_TOO_SMALL

win32_capture_streams(): Decrease buffer size for stream info

win32_capture.c:  Use NtQueryInformationFile() instead of GetFileInformationByHandle()

win32_capture.c: Load volume information on first chance

win32_capture.c: Fix getting file size

win32_capture.c:  Use NtOpenFile() and directory-relative paths

Load NtOpenFile() and NtClose()

win32_common.c: Refactor dll loading

win32_capture.c: Remove unused code