New format for UNIX data

This moves the UNIX data into reserved fields of the WIM dentry.

This is theoretically less extensible than the previous format, which was
to add a specially-named alternate data stream entry to each file with
UNIX data.  However, having the UNIX data present in the metadata
resource is simpler and avoids problems when doing sequential extraction.

For now, this also seems to maintain compatibility with the MS
implementation, since it seems simply ignore the reserve fields.

Also, use 32-bit uids, gids, and modes.

Fix path passed to wimboot_set_pointer()

wimexport: Add --wimboot flag

Fix extract progress when hard links not supported

Merge branch 'new_extract'

This rewrites much of the extraction code to give more freedom to
extraction backends about how they extract the files.  This has
advantages for all three backends:

UNIX:  Now does a lot fewer path lookups and should exhibit better data
locality.  Final "set timestamps" pass only processes directories, since
nondirectory timestamps are set before that point.

NTFS-3g:  Now completely based on inode numbers; no paths are ever
created, unless a printable path is needed for an error message.  Got rid
of final "set attributes" and "set timestamps" passes, since all
attributes and timestamps are set before that point.

Windows:  Now uses NT paths relative to the target directory, performs
fewer path lookups, extracts encrypted files without individually reading
ranges from the WIM (expensive for ESD files), and a few other changes.
A lot of code previously in the generic file extract.c actually could be
moved here.

Also, there are no longer any temporary files needed.  All three backends
simply write all the instances of each stream at the same time, which is
more efficient.

Still TODO:
- New format for UNIX data
- Add fallbacks for when number of open files gets too high
- Add fallback for huge encrypted files
- If possible add hardlink and symlink modes back, however these
  are pretty useless.

streamifier_cb(): Adjust cur_stream_offset even if ->consume_chunk() fails

This ensures that ->end_stream() gets called.

dentry.h: Remove unnused declaration of put_dentry()

metadata.h: Parenthesize 'imd' argument to macros

Don't set FILE_ATTRIBUTE_SPARSE on Windows

winnt_openat(): Use FILE_SHARE_VALID_FLAGS

No change in meaning, but this is simpler.

wimextract:  For --to-stdout, set stdout to binary mode on Windows

win32_common.c: Remove duplicate declaration of func_NtOpenFile

inode_fixup.c:  Further simplify MS bug workaround

Based on what WIMGAPI does, and assuming it sufficiently works around its
own [presumably fixed] bug, the workaround can be simplified to just
"don't hard link dentries that have different unnamed data streams".

inode_fixup.c:  Simplify logic

Most of the logic in this file is working around a Microsoft bug, but
there must be an easier way to do it.  This commits strips the code down
to something more logical that still seems to "do the right thing" on a
Windows 7 WIM affected by the Microsoft bug.

dentry.h:  Remove declaration of dentry_tree_fix_inodes()

This is already declared in inode.h.

win32_replacements.c: Remove unnecessary 'extern'

Rewrite code for capture rpfix

The previous code had many potential problems on the Windows side.
Targets of Windows native symbolic links (except those with
SYMBOLIC_LINK_RELATIVE set) and junction points are stored in the reparse
points as NT namespace paths.  Therefore they can validly include
prefixes like '\??\', '\DosDevices\', or '\Device\HardDiskVolume1'.  They
potentially do not use drive letters at all, and they may be over
MAX_PATH characters.  Such paths should be accessed using the native API
(NtOpenFile), not Win32 (CreateFile).  This commit changes the code to do
so.

reparse.c: Fix volume_junction_prefix

This uses an NT namespace path, so it's \??\ prefix not \\?\.

Update NEWS

Remove unused win32_truncate_replacement()

Move code from win32_common.c to win32_apply.c

update_image.c: Fix memory leak in error path

win32_replacements.c: Remove unused headers

file_io.h: Remove unused declaration of filedes_copy()

file_io.h: Remove unused declaration of struct iovec

win32_common.c: Remove unused headers

file_io.c: Remove unused header sys/uio.h

win32.h: Remove unused stuff

win32_capture.c: Fix format string

win32_apply.c: Call match_pattern_list() from in_prepopulate_list()

win32_capture.c: Remove unused variable

Remove duplicate words & fix grammatical errors

write_wim_part(): Distinguish between explicit GUID and retained GUID

Update wimlib-imagex man pages, especially the main one

wimlib.h: Update docs for write flags

write.c: Don't default to solid mode quite as easily

Add WIMLIB_WRITE_FLAG_RETAIN_GUID

... and use it in wimlib_join() and wimlib_overwrite().

Remove the guid_set_explicitly hack.

wimlib_write(): Update flags debugging statements

imagex-update.1.in:  Update

Add WIMLIB_EXPORT_FLAG_GIFT

reference.c:  Don't duplicate stream entries unnecessarily

With wimlib_reference_resource_files(), the resource WIMs are never made
accessible to library users, so there is no need to retain copies of all
stream entries in their lookup tables.

unix_capture.c: Optionally use dirfd-relative functions (openat(), etc)

win32_capture.c:  More improvements

NTFS-3g capture: Fix setting DOS name

win32_get_security_descriptor(): Check for STATUS_BUFFER_TOO_SMALL

win32_capture_streams(): Decrease buffer size for stream info

win32_capture.c:  Use NtQueryInformationFile() instead of GetFileInformationByHandle()

win32_capture.c: Load volume information on first chance

win32_capture.c: Fix getting file size

win32_capture.c:  Use NtOpenFile() and directory-relative paths

Load NtOpenFile() and NtClose()

win32_common.c: Refactor dll loading

win32_capture.c: Remove unused code

Windows: Use ntdll unconditionally

The non-ntdll code isn't being tested, and there are known problems with
it.  For now, just rely on ntdll unconditionally.

Add wrappers around wimlib_update_image()

* wimlib_add_tree()
* wimlib_rename_path()
* wimlib_delete_path()

wim.c: Make two functions static

Remove WIMLIB_OPEN_MASK_PUBLIC

wildcard.c: Remove redundant calculation of string length

wim_root_dentry() => wim_get_current_root_dentry()

Likewise for wim_security_data().

wimlib_iterate_lookup_table(): Check wim_has_metadata() instead of part 1

free_lookup_table(): Simplify

unix_capture_symlink(): De-indent

Remove printf extension

Only one place used %WS to print an UTF-16LE string.  Get rid of it.

wimlib_malloc(): Only malloc(1) if NULL is returned

read_wim_security_data(): Fix comment, make prototype consistent

prepare_metadata_resource(): Check for size overflow

dentry_tree_fix_inodes(): Fix comment

ref_inodes_consistent(): Remove useless use of restrict

fix_inodes(): Use size_t for iterator

inode_set_unnamed_stream(): inode must be resolved

Fix checks for huge numbers of images

Replace WIM_GID_LEN => WIM_GUID_LEN

read_wim_header(): Fix comment

Improve tstr <=> UTF-16LE conversions

Consolidated conditional code into encoding.h.
A few related cleanups.

inode_get_ads_entry(): de-indent

write_dentry(): Remove unhelpful comment

Remove dentry_get_file_type_string()

read_dentry():  Remove warning about dentry being unaligned

The code should still work anyway, and the message isn't particularly
helpful.

free_dentry_tree(): Check lookup_table only once per call

Factor out inode_unref_streams()

new_filler_directory(): Remove 'name' argument

dentry.c: Remove dentry_common_init()

wim_pathname_to_stream(): Remove unnecessary goto and label

dentry.c:  Remove calculate_dentry_tree_full_paths()

file_io.c:  Remove unused full_writev()

chunk compressor: Use u32, not unsigned, for chunk sizes

capture_common.c:  Cleanup (mostly comments)

add_image.c:  Cleanup

Including:

- Use wimlib/security.h instead of wimlib/capture.h
- Replace add_new_dentry_tree() with add_empty_image_metadata()
  (the root dentry is always NULL)
- Improve comments

wincfg:  Add swapfile.sys

wimlib.h: Update add flag documentation

update_image.c:  Check for unsupported NTFS mode earlier

Don't create unnecessary temporary files

A temporary file is unnecessary (without too much extra trouble) if the
whole stream data is already in memory as a result of reading a packed
resource.

create_temporary_file(): use _O_SHORT_LIVED on Windows

win32_extract_stream():  Pre-allocate stream length

wimcapture, wimexport:  With --pack-streams, default to LZMS compression

This is not too important as the compression format of packed resources
is independent of the WIM's main compression format, but it makes sense
to also default to LZMS for non-packed resources (e.g. metadata).

update_image.c: Avoid unnecessary string duplications

Remove canonicalize_fs_path()

imagex-extract.1.in:  Note that ASCII pathlist is fine

wimlib-imagex: Accept "max" as alias for "maximum"

Update NEWS