]> wimlib.net Git - wimlib/blobdiff - src/wimlib_internal.h
filedes_t => int
[wimlib] / src / wimlib_internal.h
index 8a99f30daa1eb5edf6a9b218371d0186d9fbd660..f668dfd69a3cfa5184eb4e320f6aed09281390d6 100644 (file)
@@ -5,7 +5,7 @@
  */
 
 /*
- * Copyright (C) 2012 Eric Biggers
+ * Copyright (C) 2012, 2013 Eric Biggers
  *
  * This file is part of wimlib, a library for working with WIM files.
  *
@@ -31,7 +31,7 @@
 #include "list.h"
 #include "wimlib.h"
 
-#ifdef WITH_FUSE
+#if defined(WITH_FUSE) || defined(ENABLE_MULTITHREADED_COMPRESSION)
 #include <pthread.h>
 #endif
 
@@ -55,6 +55,7 @@
 struct stat;
 struct wim_dentry;
 struct wim_inode;
+struct sd_set;
 
 #define WIM_MAGIC_LEN  8
 #define WIM_GID_LEN    16
@@ -71,6 +72,8 @@ struct wim_inode;
  * yet.  The differences between the versions are undocumented. */
 #define WIM_VERSION 0x10d00
 
+#define REPARSE_POINT_MAX_SIZE (16 * 1024)
+
 /* Metadata for a resource in a WIM file. */
 struct resource_entry {
        /* Size, in bytes, of the resource in the WIM file. */
@@ -194,9 +197,11 @@ struct wim_header {
  * file (if supported by the underlying filesystem). */
 #define WIM_HDR_FLAG_WRITE_IN_PROGRESS  0x00000040
 
-/* Reparse point fixup ???
- * This has something to do with absolute targets of reparse points / symbolic
- * links but I don't know what.  wimlib ignores this flag.  */
+/* Reparse point fixup flag.  See docs for --rpfix and --norpfix in imagex, or
+ * WIMLIB_ADD_IMAGE_FLAG_{RPFIX,NORPFIX} in wimlib.h.  Note that
+ * WIM_HDR_FLAG_RP_FIX is a header flag and just sets the default behavior for
+ * the WIM; it can still be overridder on a per-image basis.  But there is no
+ * flag to set the default behavior for a specific image. */
 #define WIM_HDR_FLAG_RP_FIX             0x00000080
 
 /* Unused, reserved flag for another compression type */
@@ -233,17 +238,17 @@ struct wim_security_data {
 
        /* Array of descriptors. */
        u8 **descriptors;
-
-       /* Keep track of how many WIMs reference this security data (used when
-        * exporting images between WIMs) */
-       u32 refcnt;
 };
 
 /* Metadata for a WIM image */
 struct wim_image_metadata {
 
+       /* Number of WIMStruct's that are sharing this image metadata (from
+        * calls to wimlib_export_image().) */
+       unsigned long refcnt;
+
        /* Pointer to the root dentry of the image. */
-       struct wim_dentry    *root_dentry;
+       struct wim_dentry *root_dentry;
 
        /* Pointer to the security data of the image. */
        struct wim_security_data *security_data;
@@ -252,61 +257,56 @@ struct wim_image_metadata {
         */
        struct wim_lookup_table_entry *metadata_lte;
 
-       /* Linked list of inodes of this image */
-       struct hlist_head inode_list;
+       /* Linked list of 'struct wim_inode's for this image. */
+       struct list_head inode_list;
+
+       /* Linked list of 'struct wim_lookup_table_entry's for this image that
+        * are referred to in the dentry tree, but have not had a SHA1 message
+        * digest calculated yet and therefore have not been inserted into the
+        * WIM's lookup table.  This list is added to during wimlib_add_image()
+        * and wimlib_mount_image() (read-write only). */
+       struct list_head unhashed_streams;
 
        /* 1 iff the dentry tree has been modified.  If this is the case, the
         * memory for the dentry tree should not be freed when switching to a
         * different WIM image. */
        u8 modified : 1;
 
-       /* 1 iff this image has been mounted read-write */
-       u8 has_been_mounted_rw : 1;
+#ifdef WITH_NTFS_3G
+       struct _ntfs_volume *ntfs_vol;
+#endif
 };
 
 /* The opaque structure exposed to the wimlib API. */
 struct WIMStruct {
 
-       /* A pointer to the file indicated by @filename, opened for reading. */
-       FILE *fp;
+       /* File descriptor for the WIM file, opened for reading, or -1 if it has
+        * not been opened or there is no associated file backing it yet. */
+       int in_fd;
 
-#ifdef WITH_FUSE
-       /* Extra file pointers to be used by concurrent readers */
-       FILE **fp_tab;
-       size_t num_allocated_fps;
-       pthread_mutex_t fp_tab_mutex;
-#endif
-
-       /* FILE pointer for the WIM file (if any) currently being written. */
-       FILE *out_fp;
+       /* File descriptor, opened either for writing only or for
+        * reading+writing, for the WIM file (if any) currently being written.
+        * */
+       int out_fd;
 
        /* The name of the WIM file (if any) that has been opened. */
-       char *filename;
+       tchar *filename;
 
        /* The lookup table for the WIM file. */
        struct wim_lookup_table *lookup_table;
 
-       /* Pointer to the XML data read from the WIM file. */
-       u8 *xml_data;
-
        /* Information retrieved from the XML data, arranged in an orderly
         * manner. */
        struct wim_info *wim_info;
 
        /* Array of the image metadata, one for each image in the WIM. */
-       struct wim_image_metadata *image_metadata;
+       struct wim_image_metadata **image_metadata;
 
        /* The header of the WIM file. */
        struct wim_header hdr;
 
-       /* Temporary fields */
-       union {
-               bool write_metadata;
-               void *private;
-       };
-#ifdef WITH_NTFS_3G
-       struct _ntfs_volume *ntfs_vol;
-#endif
+       /* Temporary field */
+       void *private;
 
        /* The currently selected image, indexed starting at 1.  If not 0,
         * subtract 1 from this to get the index of the current image in the
@@ -315,66 +315,146 @@ struct WIMStruct {
 
        u8 deletion_occurred : 1;
        u8 all_images_verified : 1;
-       u8 full_verification_in_progress : 1;
        u8 wim_locked : 1;
 };
 
 /* Inline utility functions for WIMStructs. */
 
-static inline struct wim_dentry *wim_root_dentry(WIMStruct *w)
+static inline struct wim_image_metadata *
+wim_get_current_image_metadata(WIMStruct *w)
+{
+       return w->image_metadata[w->current_image - 1];
+}
+
+static inline const struct wim_image_metadata *
+wim_get_const_current_image_metadata(const WIMStruct *w)
+{
+       return w->image_metadata[w->current_image - 1];
+}
+
+static inline struct wim_dentry *
+wim_root_dentry(WIMStruct *w)
 {
-       return w->image_metadata[w->current_image - 1].root_dentry;
+       return wim_get_current_image_metadata(w)->root_dentry;
 }
 
 static inline struct wim_security_data *
 wim_security_data(WIMStruct *w)
 {
-       return w->image_metadata[w->current_image - 1].security_data;
+       return wim_get_current_image_metadata(w)->security_data;
 }
+
 static inline const struct wim_security_data *
 wim_const_security_data(const WIMStruct *w)
 {
-       return w->image_metadata[w->current_image - 1].security_data;
+       return wim_get_const_current_image_metadata(w)->security_data;
 }
 
-static inline struct wim_image_metadata *
-wim_get_current_image_metadata(WIMStruct *w)
+/* Nonzero if a struct resource_entry indicates a compressed resource. */
+static inline int
+resource_is_compressed(const struct resource_entry *entry)
 {
-       return &w->image_metadata[w->current_image - 1];
+       return (entry->flags & WIM_RESHDR_FLAG_COMPRESSED);
 }
 
-/* Nonzero if a struct resource_entry indicates a compressed resource. */
-static inline int resource_is_compressed(const struct resource_entry *entry)
+/* Iterate over each inode in a WIM image that has not yet been hashed */
+#define image_for_each_inode(inode, imd) \
+       list_for_each_entry(inode, &imd->inode_list, i_list)
+
+/* Iterate over each stream in a WIM image that has not yet been hashed */
+#define image_for_each_unhashed_stream(lte, imd) \
+       list_for_each_entry(lte, &imd->unhashed_streams, unhashed_list)
+
+/* Iterate over each stream in a WIM image that has not yet been hashed (safe
+ * against stream removal) */
+#define image_for_each_unhashed_stream_safe(lte, tmp, imd) \
+       list_for_each_entry_safe(lte, tmp, &imd->unhashed_streams, unhashed_list)
+
+#if 1
+#  define copy_resource_entry(dst, src) memcpy(dst, src, sizeof(struct resource_entry))
+#  define zero_resource_entry(entry) memset(entry, 0, sizeof(struct resource_entry))
+#else
+static inline void
+copy_resource_entry(struct resource_entry *dst,
+                   const struct resource_entry *src)
 {
-       return (entry->flags & WIM_RESHDR_FLAG_COMPRESSED);
+       BUILD_BUG_ON(sizeof(struct resource_entry) != 24);
+       ((u64*)dst)[0] = ((u64*)src)[0];
+       ((u64*)dst)[1] = ((u64*)src)[1];
+       ((u64*)dst)[2] = ((u64*)src)[2];
 }
 
+static inline void
+zero_resource_entry(struct resource_entry *entry)
+{
+       BUILD_BUG_ON(sizeof(struct resource_entry) != 24);
+       ((u64*)entry)[0] = 0;
+       ((u64*)entry)[1] = 0;
+       ((u64*)entry)[2] = 0;
+}
+#endif
+
 /* add_image.c */
 
-struct pattern_list {
-       const char **pats;
-       size_t num_pats;
-       size_t num_allocated_pats;
+/* Hash table to find inodes, given an inode number (in the case of reading
+ * a WIM images), or both an inode number and a device number (in the case of
+ * capturing a WIM image). */
+struct wim_inode_table {
+       /* Fields for the hash table */
+       struct hlist_head *array;
+       u64 num_entries;
+       u64 capacity;
+
+       /*
+        * Linked list of "extra" inodes.  These may be:
+        *
+        * - inodes with link count 1, which are all allowed to have 0 for their
+        *   inode number, meaning we cannot insert them into the hash table.
+         *
+        * - Groups we create ourselves by splitting a nominal inode due to
+        *   inconsistencies in the dentries.  These inodes will share an inode
+        *   number with some other inode until assign_inode_numbers() is
+        *   called.
+        */
+       struct list_head extra_inodes;
 };
 
-struct capture_config {
-       struct pattern_list exclusion_list;
-       struct pattern_list exclusion_exception;
-       struct pattern_list compression_exclusion_list;
-       struct pattern_list alignment_list;
-       char *config_str;
-       char *prefix;
-       size_t prefix_len;
+/* Common parameters to implementations of building an in-memory dentry tree
+ * from an on-disk directory structure. */
+struct add_image_params {
+       /* Pointer to the lookup table of the WIM. */
+       struct wim_lookup_table *lookup_table;
+
+       /* Pointer to a hash table of inodes that have been captured for this
+        * WIM image so far. */
+       struct wim_inode_table *inode_table;
+
+       /* Pointer to the set of security descriptors that have been captured
+        * for this image so far. */
+       struct sd_set *sd_set;
+
+       /* Pointer to the capture configuration, which indicates whether any
+        * files should be excluded from capture or not. */
+       const struct wimlib_capture_config *config;
+
+       /* Flags that affect the capture operation (WIMLIB_ADD_IMAGE_FLAG_*) */
+       int add_image_flags;
+
+       /* If non-NULL, the user-supplied progress function. */
+       wimlib_progress_func_t progress_func;
+
+       /* Extra argument; set to point to a pointer to the ntfs_volume for
+        * libntfs-3g capture.  */
+       void *extra_arg;
+
+       u64 capture_root_ino;
+       u64 capture_root_dev;
 };
-extern bool exclude_path(const char *path,
-                        const struct capture_config *config,
-                        bool exclude_prefix);
-extern int add_new_dentry_tree(WIMStruct *dest_wim, struct wim_dentry *root,
-                              struct wim_security_data *sd);
-
-#if defined(__CYGWIN__) || defined(__WIN32__)
-extern FILE *win32_open_fp(const char *path_utf16);
-#endif
+
+extern bool
+exclude_path(const tchar *path, size_t path_len,
+            const struct wimlib_capture_config *config,
+            bool exclude_prefix);
 
 /* extract_image.c */
 
@@ -385,15 +465,41 @@ extern FILE *win32_open_fp(const char *path_utf16);
 
 /* hardlink.c */
 
-extern u64 assign_inode_numbers(struct hlist_head *inode_list);
+extern int
+init_inode_table(struct wim_inode_table *table, size_t capacity);
+
+extern int
+inode_table_new_dentry(struct wim_inode_table *table, const tchar *name,
+                      u64 ino, u64 devno, bool noshare,
+                      struct wim_dentry **dentry_ret);
 
-extern int dentry_tree_fix_inodes(struct wim_dentry *root,
-                                 struct hlist_head *inode_list);
+extern void
+inode_ref_streams(struct wim_inode *inode);
+
+extern void
+inode_table_prepare_inode_list(struct wim_inode_table *table,
+                              struct list_head *head);
+
+static inline void
+destroy_inode_table(struct wim_inode_table *table)
+{
+       FREE(table->array);
+}
+
+
+extern int
+dentry_tree_fix_inodes(struct wim_dentry *root, struct list_head *inode_list);
 
 /* header.c */
-extern int read_header(FILE *fp, struct wim_header *hdr, int split_ok);
-extern int write_header(const struct wim_header *hdr, FILE *out);
-extern int init_header(struct wim_header *hdr, int ctype);
+
+extern int
+read_header(int in_fd, struct wim_header *hdr, int split_ok);
+
+extern int
+write_header(const struct wim_header *hdr, int out_fd);
+
+extern int
+init_header(struct wim_header *hdr, int ctype);
 
 /* integrity.c */
 
@@ -401,145 +507,267 @@ extern int init_header(struct wim_header *hdr, int ctype);
 #define WIM_INTEGRITY_NOT_OK -1
 #define WIM_INTEGRITY_NONEXISTENT -2
 
-extern int write_integrity_table(FILE *out,
-                                struct resource_entry *integrity_res_entry,
-                                off_t new_lookup_table_end,
-                                off_t old_lookup_table_end,
-                                wimlib_progress_func_t progress_func);
+extern int
+write_integrity_table(int fd,
+                     struct resource_entry *integrity_res_entry,
+                     off_t new_lookup_table_end,
+                     off_t old_lookup_table_end,
+                     wimlib_progress_func_t progress_func);
 
-extern int check_wim_integrity(WIMStruct *w,
-                              wimlib_progress_func_t progress_func);
+extern int
+check_wim_integrity(WIMStruct *w, wimlib_progress_func_t progress_func);
 
 /* join.c */
 
-extern int new_joined_lookup_table(WIMStruct *w,
-                                  WIMStruct **additional_swms,
-                                  unsigned num_additional_swms,
-                                  struct wim_lookup_table **table_ret);
+extern int
+new_joined_lookup_table(WIMStruct *w, WIMStruct **additional_swms,
+                       unsigned num_additional_swms,
+                       struct wim_lookup_table **table_ret);
 
 /* metadata_resource.c */
 
-extern int read_metadata_resource(WIMStruct *w,
+extern int
+read_metadata_resource(WIMStruct *w,
                                  struct wim_image_metadata *image_metadata);
-extern int write_metadata_resource(WIMStruct *w);
+
+extern int
+write_metadata_resource(WIMStruct *w);
 
 /* ntfs-apply.c */
 
 struct apply_args {
        WIMStruct *w;
-       const char *target;
+       const tchar *target;
+       tchar *target_realpath;
+       unsigned target_realpath_len;
        int extract_flags;
-       unsigned num_lutimes_warnings;
-       struct list_head *stream_list;
        union wimlib_progress_info progress;
-#ifdef WITH_NTFS_3G
-       struct _ntfs_volume *vol;
-#endif
-       struct list_head empty_files;
        wimlib_progress_func_t progress_func;
        int (*apply_dentry)(struct wim_dentry *, void *);
+       union {
+       #ifdef WITH_NTFS_3G
+               struct {
+                       /* NTFS apply only */
+                       struct _ntfs_volume *vol;
+               };
+       #endif
+       #ifdef __WIN32__
+               struct {
+                       /* Normal apply only (Win32) */
+                       unsigned long num_set_sacl_priv_notheld;
+                       unsigned long num_set_sd_access_denied;
+                       unsigned vol_flags;
+                       unsigned long num_hard_links_failed;
+                       bool have_vol_flags;
+               };
+       #else
+               struct {
+                       /* Normal apply only (UNIX) */
+                       unsigned long num_utime_warnings;
+               };
+       #endif
+       };
 };
 
-extern int apply_dentry_ntfs(struct wim_dentry *dentry, void *arg);
-extern int apply_dentry_timestamps_ntfs(struct wim_dentry *dentry, void *arg);
+extern int
+apply_dentry_ntfs(struct wim_dentry *dentry, void *arg);
+
+extern int
+apply_dentry_timestamps_ntfs(struct wim_dentry *dentry, void *arg);
+
+extern void
+libntfs3g_global_init();
 
 /* ntfs-capture.c */
-extern int build_dentry_tree_ntfs(struct wim_dentry **root_p,
-                                 const char *device,
-                                 struct wim_lookup_table *lookup_table,
-                                 struct wim_security_data *sd,
-                                 const struct capture_config *config,
-                                 int add_image_flags,
-                                 wimlib_progress_func_t progress_func,
-                                 void *extra_arg);
 
-/* resource.c */
+typedef int (*consume_data_callback_t)(const void *buf, size_t len, void *ctx);
 
-#define WIMLIB_RESOURCE_FLAG_RAW               0x1
-#define WIMLIB_RESOURCE_FLAG_MULTITHREADED     0x2
-#define WIMLIB_RESOURCE_FLAG_RECOMPRESS                0x4
+extern int
+read_ntfs_file_prefix(const struct wim_lookup_table_entry *lte,
+                     u64 size,
+                     consume_data_callback_t cb,
+                     void *ctx_or_buf,
+                     int _ignored_flags);
+extern int
+build_dentry_tree_ntfs(struct wim_dentry **root_p,
+                      const tchar *device,
+                      struct add_image_params *ctx);
+
+#ifdef WITH_NTFS_3G
+extern int
+do_ntfs_umount(struct _ntfs_volume *vol);
+#endif
 
-extern const u8 *get_resource_entry(const u8 *p, struct resource_entry *entry);
-extern u8 *put_resource_entry(u8 *p, const struct resource_entry *entry);
+/* reparse.c */
 
-extern int read_uncompressed_resource(FILE *fp, u64 offset, u64 size, u8 buf[]);
+/* Structured format for symbolic link, junction point, or mount point reparse
+ * data. */
+struct reparse_data {
+       /* Reparse point tag (see WIM_IO_REPARSE_TAG_* values) */
+       u32 rptag;
 
-extern int read_wim_resource(const struct wim_lookup_table_entry *lte, u8 buf[],
-                            size_t size, u64 offset, int flags);
+       /* Length of reparse data, not including the 8-byte header (ReparseTag,
+        * ReparseDataLength, ReparseReserved) */
+       u16 rpdatalen;
 
-extern int read_full_wim_resource(const struct wim_lookup_table_entry *lte,
-                                 u8 buf[], int flags);
+       /* ReparseReserved */
+       u16 rpreserved;
 
-extern int write_wim_resource(struct wim_lookup_table_entry *lte,
-                             FILE *out_fp, int out_ctype,
-                             struct resource_entry *out_res_entry,
-                             int flags);
+       /* Flags (only for WIM_IO_REPARSE_TAG_SYMLINK reparse points).
+        * SYMBOLIC_LINK_RELATIVE means this is a relative symbolic link;
+        * otherwise should be set to 0. */
+#define SYMBOLIC_LINK_RELATIVE 0x00000001
+       u32 rpflags;
 
+       /* Pointer to the substitute name of the link (UTF-16LE). */
+       utf16lechar *substitute_name;
 
-typedef int (*extract_chunk_func_t)(const u8 *, size_t, u64, void *);
+       /* Pointer to the print name of the link (UTF-16LE). */
+       utf16lechar *print_name;
 
-extern int extract_wim_chunk_to_fd(const u8 *buf, size_t len,
-                                  u64 offset, void *arg);
+       /* Number of bytes of the substitute name, not including null terminator
+        * if present */
+       u16 substitute_name_nbytes;
 
-extern int extract_wim_resource(const struct wim_lookup_table_entry *lte,
-                               u64 size, extract_chunk_func_t extract_chunk,
-                               void *extract_chunk_arg);
+       /* Number of bytes of the print name, not including null terminator if
+        * present */
+       u16 print_name_nbytes;
+};
+
+enum {
+       SUBST_NAME_IS_RELATIVE_LINK = -1,
+       SUBST_NAME_IS_VOLUME_JUNCTION = -2,
+       SUBST_NAME_IS_UNKNOWN = -3,
+};
+extern int
+parse_substitute_name(const utf16lechar *substitute_name,
+                     u16 substitute_name_nbytes,
+                     u32 rptag);
+
+extern int
+parse_reparse_data(const u8 *rpbuf, u16 rpbuflen, struct reparse_data *rpdata);
 
-#if defined(__CYGWIN__) || defined(__WIN32__)
-extern int win32_read_file(const char *filename, void *handle, u64 offset,
-                          size_t size, u8 *buf);
-extern void *win32_open_handle(const char *path_utf16);
-extern void win32_close_handle(void *handle);
+extern int
+make_reparse_buffer(const struct reparse_data *rpdata, u8 *buf);
+
+extern int
+wim_inode_get_reparse_data(const struct wim_inode *inode, u8 *rpbuf);
+
+#ifndef __WIN32__
+ssize_t
+wim_inode_readlink(const struct wim_inode *inode, char *buf, size_t buf_len);
+
+extern int
+wim_inode_set_symlink(struct wim_inode *inode, const char *target,
+                     struct wim_lookup_table *lookup_table);
 #endif
+extern tchar *
+capture_fixup_absolute_symlink(tchar *dest,
+                              u64 capture_root_ino, u64 capture_root_dev);
 
-/*
- * Extracts the first @size bytes of the WIM resource specified by @lte to the
- * open file descriptor @fd.
- *
- * Returns 0 on success; nonzero on failure.
- */
-static inline int
-extract_wim_resource_to_fd(const struct wim_lookup_table_entry *lte,
-                          int fd, u64 size)
-{
-       return extract_wim_resource(lte, size,
-                                   extract_wim_chunk_to_fd, &fd);
-}
 
+/* resource.c */
 
-extern int write_dentry_resources(struct wim_dentry *dentry, void *wim_p);
-extern int copy_resource(struct wim_lookup_table_entry *lte, void *w);
+#define WIMLIB_RESOURCE_FLAG_RAW               0x1
+#define WIMLIB_RESOURCE_FLAG_RECOMPRESS                0x4
+
+extern int
+read_resource_prefix(const struct wim_lookup_table_entry *lte,
+                    u64 size, consume_data_callback_t cb, void *ctx_or_buf,
+                    int flags);
+
+extern const void *
+get_resource_entry(const void *p, struct resource_entry *entry);
 
+extern void *
+put_resource_entry(void *p, const struct resource_entry *entry);
+
+extern int
+read_partial_wim_resource_into_buf(const struct wim_lookup_table_entry *lte,
+                                  size_t size, u64 offset, void *buf);
+extern int
+read_full_resource_into_buf(const struct wim_lookup_table_entry *lte, void *buf);
+
+extern int
+write_wim_resource(struct wim_lookup_table_entry *lte, int out_fd,
+                  int out_ctype, struct resource_entry *out_res_entry,
+                  int flags);
+
+extern int
+extract_wim_resource(const struct wim_lookup_table_entry *lte,
+                    u64 size,
+                    consume_data_callback_t extract_chunk,
+                    void *extract_chunk_arg);
+
+extern int
+extract_wim_resource_to_fd(const struct wim_lookup_table_entry *lte,
+                          int fd, u64 size);
+
+extern int
+sha1_resource(struct wim_lookup_table_entry *lte);
+
+extern int
+copy_resource(struct wim_lookup_table_entry *lte, void *w);
 
 /* security.c */
-extern int read_security_data(const u8 metadata_resource[],
-                             u64 metadata_resource_len,
-                             struct wim_security_data **sd_p);
-extern void print_security_data(const struct wim_security_data *sd);
-extern u8 *write_security_data(const struct wim_security_data *sd, u8 *p);
-extern void free_security_data(struct wim_security_data *sd);
-
-/* symlink.c */
-ssize_t inode_readlink(const struct wim_inode *inode, char *buf, size_t buf_len,
-                       const WIMStruct *w, int read_resource_flags);
-extern int inode_set_symlink(struct wim_inode *inode,
-                            const char *target,
-                            struct wim_lookup_table *lookup_table,
-                            struct wim_lookup_table_entry **lte_ret);
+extern int
+read_security_data(const u8 metadata_resource[],
+                  u64 metadata_resource_len, struct wim_security_data **sd_p);
+extern void
+print_security_data(const struct wim_security_data *sd);
+
+extern u8 *
+write_security_data(const struct wim_security_data *sd, u8 *p);
+
+extern void
+free_security_data(struct wim_security_data *sd);
 
 /* verify.c */
-extern int verify_dentry(struct wim_dentry *dentry, void *wim);
-extern int wim_run_full_verifications(WIMStruct *w);
-extern int verify_swm_set(WIMStruct *w,
-                         WIMStruct **additional_swms,
-                         unsigned num_additional_swms);
+
+extern int
+verify_dentry(struct wim_dentry *dentry, void *wim);
+
+extern int
+wim_run_full_verifications(WIMStruct *w);
+
+extern int
+verify_swm_set(WIMStruct *w,
+              WIMStruct **additional_swms, unsigned num_additional_swms);
 
 /* wim.c */
-extern int select_wim_image(WIMStruct *w, int image);
-extern int for_image(WIMStruct *w, int image, int (*visitor)(WIMStruct *));
-extern void destroy_image_metadata(struct wim_image_metadata *imd,
-                                  struct wim_lookup_table *lt);
 
+extern int
+select_wim_image(WIMStruct *w, int image);
+
+extern int
+for_image(WIMStruct *w, int image, int (*visitor)(WIMStruct *));
+
+extern void
+destroy_image_metadata(struct wim_image_metadata *imd,
+                      struct wim_lookup_table *table,
+                      bool free_metadata_lte);
+
+extern void
+put_image_metadata(struct wim_image_metadata *imd,
+                  struct wim_lookup_table *table);
+
+extern int
+append_image_metadata(WIMStruct *w, struct wim_image_metadata *imd);
+
+extern struct wim_image_metadata *
+new_image_metadata();
+
+extern struct wim_image_metadata **
+new_image_metadata_array(unsigned num_images);
+
+extern int
+wim_checksum_unhashed_streams(WIMStruct *w);
+
+extern int
+reopen_wim(WIMStruct *w);
+
+extern int
+close_wim(WIMStruct *w);
 
 /* write.c */
 
@@ -549,16 +777,29 @@ extern void destroy_image_metadata(struct wim_image_metadata *imd,
 #define WIMLIB_WRITE_FLAG_CHECKPOINT_AFTER_XML  0x20000000
 #define WIMLIB_WRITE_MASK_PUBLIC               0x1fffffff
 
-extern int begin_write(WIMStruct *w, const char *path, int write_flags);
-extern void close_wim_writable(WIMStruct *w);
+/* We are capturing a tree to be placed in the root of the WIM image */
+#define WIMLIB_ADD_IMAGE_FLAG_ROOT     0x80000000
+
+/* We are capturing a dentry that will become the root of a tree to be added to
+ * the WIM image */
+#define WIMLIB_ADD_IMAGE_FLAG_SOURCE    0x40000000
 
-extern int finish_write(WIMStruct *w, int image, int write_flags,
-                       wimlib_progress_func_t progress_func);
+extern int
+begin_write(WIMStruct *w, const tchar *path, int write_flags);
+
+extern void
+close_wim_writable(WIMStruct *w);
+
+extern int
+finish_write(WIMStruct *w, int image, int write_flags,
+            wimlib_progress_func_t progress_func);
 
 #if defined(HAVE_SYS_FILE_H) && defined(HAVE_FLOCK)
-extern int lock_wim(WIMStruct *w, FILE *fp);
+extern int
+lock_wim(WIMStruct *w, int fd);
 #else
-static inline int lock_wim(WIMStruct *w, FILE *fp)
+static inline int
+lock_wim(WIMStruct *w, int fd)
 {
        return 0;
 }