]> wimlib.net Git - wimlib/blobdiff - src/wimlib_internal.h
Fixes, comments
[wimlib] / src / wimlib_internal.h
index be06dafda8a4acbe0e5439a724626f30dfb7b5ac..91f99ebfa947af9ea1c263d41cc5705a8fcc4dd1 100644 (file)
@@ -5,7 +5,7 @@
  */
 
 /*
- * Copyright (C) 2012 Eric Biggers
+ * Copyright (C) 2012, 2013 Eric Biggers
  *
  * This file is part of wimlib, a library for working with WIM files.
  *
@@ -55,6 +55,7 @@
 struct stat;
 struct wim_dentry;
 struct wim_inode;
+struct sd_set;
 
 #define WIM_MAGIC_LEN  8
 #define WIM_GID_LEN    16
@@ -233,17 +234,17 @@ struct wim_security_data {
 
        /* Array of descriptors. */
        u8 **descriptors;
-
-       /* Keep track of how many WIMs reference this security data (used when
-        * exporting images between WIMs) */
-       u32 refcnt;
 };
 
 /* Metadata for a WIM image */
 struct wim_image_metadata {
 
+       /* Number of WIMStruct's that are sharing this image metadata (from
+        * calls to wimlib_export_image().) */
+       unsigned long refcnt;
+
        /* Pointer to the root dentry of the image. */
-       struct wim_dentry    *root_dentry;
+       struct wim_dentry *root_dentry;
 
        /* Pointer to the security data of the image. */
        struct wim_security_data *security_data;
@@ -252,8 +253,15 @@ struct wim_image_metadata {
         */
        struct wim_lookup_table_entry *metadata_lte;
 
-       /* Linked list of inodes of this image */
-       struct hlist_head inode_list;
+       /* Linked list of 'struct wim_inode's for this image. */
+       struct list_head inode_list;
+
+       /* Linked list of 'struct wim_lookup_table_entry's for this image that
+        * are referred to in the dentry tree, but have not had a SHA1 message
+        * digest calculated yet and therefore have not been inserted into the
+        * WIM's lookup table.  This list is added to during wimlib_add_image()
+        * and wimlib_mount_image() (read-write only). */
+       struct list_head unhashed_streams;
 
        /* 1 iff the dentry tree has been modified.  If this is the case, the
         * memory for the dentry tree should not be freed when switching to a
@@ -281,7 +289,7 @@ struct WIMStruct {
        FILE *out_fp;
 
        /* The name of the WIM file (if any) that has been opened. */
-       mbchar *filename;
+       tchar *filename;
 
        /* The lookup table for the WIM file. */
        struct wim_lookup_table *lookup_table;
@@ -294,16 +302,14 @@ struct WIMStruct {
        struct wim_info *wim_info;
 
        /* Array of the image metadata, one for each image in the WIM. */
-       struct wim_image_metadata *image_metadata;
+       struct wim_image_metadata **image_metadata;
 
        /* The header of the WIM file. */
        struct wim_header hdr;
 
-       /* Temporary fields */
-       union {
-               bool write_metadata;
-               void *private;
-       };
+       /* Temporary field */
+       void *private;
+
 #ifdef WITH_NTFS_3G
        struct _ntfs_volume *ntfs_vol;
 #endif
@@ -315,33 +321,39 @@ struct WIMStruct {
 
        u8 deletion_occurred : 1;
        u8 all_images_verified : 1;
-       u8 full_verification_in_progress : 1;
        u8 wim_locked : 1;
 };
 
 /* Inline utility functions for WIMStructs. */
 
+static inline struct wim_image_metadata *
+wim_get_current_image_metadata(WIMStruct *w)
+{
+       return w->image_metadata[w->current_image - 1];
+}
+
+static inline const struct wim_image_metadata *
+wim_get_const_current_image_metadata(const WIMStruct *w)
+{
+       return w->image_metadata[w->current_image - 1];
+}
+
 static inline struct wim_dentry *
 wim_root_dentry(WIMStruct *w)
 {
-       return w->image_metadata[w->current_image - 1].root_dentry;
+       return wim_get_current_image_metadata(w)->root_dentry;
 }
 
 static inline struct wim_security_data *
 wim_security_data(WIMStruct *w)
 {
-       return w->image_metadata[w->current_image - 1].security_data;
+       return wim_get_current_image_metadata(w)->security_data;
 }
+
 static inline const struct wim_security_data *
 wim_const_security_data(const WIMStruct *w)
 {
-       return w->image_metadata[w->current_image - 1].security_data;
-}
-
-static inline struct wim_image_metadata *
-wim_get_current_image_metadata(WIMStruct *w)
-{
-       return &w->image_metadata[w->current_image - 1];
+       return wim_get_const_current_image_metadata(w)->security_data;
 }
 
 /* Nonzero if a struct resource_entry indicates a compressed resource. */
@@ -351,32 +363,19 @@ resource_is_compressed(const struct resource_entry *entry)
        return (entry->flags & WIM_RESHDR_FLAG_COMPRESSED);
 }
 
-/* add_image.c */
+#define image_for_each_inode(inode, imd) \
+       list_for_each_entry(inode, &imd->inode_list, i_list)
 
-struct pattern_list {
-       const mbchar **pats;
-       size_t num_pats;
-       size_t num_allocated_pats;
-};
+#define image_for_each_unhashed_stream(lte, imd) \
+       list_for_each_entry(lte, &imd->unhashed_streams, unhashed_list)
+
+/* add_image.c */
 
-struct capture_config {
-       struct pattern_list exclusion_list;
-       struct pattern_list exclusion_exception;
-       struct pattern_list compression_exclusion_list;
-       struct pattern_list alignment_list;
-       mbchar *config_str;
-       mbchar *prefix;
-       size_t prefix_len;
-};
 extern bool
-exclude_path(const mbchar *path, const struct capture_config *config,
+exclude_path(const tchar *path, size_t path_len,
+            const struct wimlib_capture_config *config,
             bool exclude_prefix);
 
-extern int
-add_new_dentry_tree(WIMStruct *dest_wim, struct wim_dentry *root,
-                   struct wim_security_data *sd);
-
-
 /* extract_image.c */
 
 /* Internal use only */
@@ -386,11 +385,52 @@ add_new_dentry_tree(WIMStruct *dest_wim, struct wim_dentry *root,
 
 /* hardlink.c */
 
-extern u64
-assign_inode_numbers(struct hlist_head *inode_list);
+/* Hash table to find inodes, given an inode number (in the case of reading
+ * a WIM images), or both an inode number and a device number (in the case of
+ * capturing a WIM image). */
+struct wim_inode_table {
+       /* Fields for the hash table */
+       struct hlist_head *array;
+       u64 num_entries;
+       u64 capacity;
+
+       /*
+        * Linked list of "extra" inodes.  These may be:
+        *
+        * - inodes with link count 1, which are all allowed to have 0 for their
+        *   inode number, meaning we cannot insert them into the hash table.
+         *
+        * - Groups we create ourselves by splitting a nominal inode due to
+        *   inconsistencies in the dentries.  These inodes will share an inode
+        *   number with some other inode until assign_inode_numbers() is
+        *   called.
+        */
+       struct list_head extra_inodes;
+};
 
 extern int
-dentry_tree_fix_inodes(struct wim_dentry *root, struct hlist_head *inode_list);
+init_inode_table(struct wim_inode_table *table, size_t capacity);
+
+extern int
+inode_table_new_dentry(struct wim_inode_table *table, const tchar *name,
+                      u64 ino, u64 devno, struct wim_dentry **dentry_ret);
+
+extern void
+inode_ref_streams(struct wim_inode *inode);
+
+extern void
+inode_table_prepare_inode_list(struct wim_inode_table *table,
+                              struct list_head *head);
+
+static inline void
+destroy_inode_table(struct wim_inode_table *table)
+{
+       FREE(table->array);
+}
+
+
+extern int
+dentry_tree_fix_inodes(struct wim_dentry *root, struct list_head *inode_list);
 
 /* header.c */
 
@@ -438,16 +478,29 @@ write_metadata_resource(WIMStruct *w);
 
 struct apply_args {
        WIMStruct *w;
-       const mbchar *target;
+       const tchar *target;
        int extract_flags;
-       unsigned num_utime_warnings;
-       struct list_head *stream_list;
        union wimlib_progress_info progress;
-#ifdef WITH_NTFS_3G
-       struct _ntfs_volume *vol;
-#endif
        wimlib_progress_func_t progress_func;
        int (*apply_dentry)(struct wim_dentry *, void *);
+       union {
+       #ifdef WITH_NTFS_3G
+               struct {
+                       /* NTFS apply only */
+                       struct _ntfs_volume *vol;
+               };
+       #endif
+               struct {
+                       /* Normal apply only (UNIX) */
+                       unsigned long num_utime_warnings;
+               };
+
+               struct {
+                       /* Normal apply only (Win32) */
+                       unsigned long num_set_sacl_priv_notheld;
+                       unsigned long num_set_sd_access_denied;
+               };
+       };
 };
 
 extern int
@@ -460,12 +513,23 @@ extern void
 libntfs3g_global_init();
 
 /* ntfs-capture.c */
+
+/* The types of these two callbacks are intentionally the same. */
+typedef int (*consume_data_callback_t)(const void *buf, size_t len, void *ctx);
+
+extern int
+read_ntfs_file_prefix(const struct wim_lookup_table_entry *lte,
+                     u64 size,
+                     consume_data_callback_t cb,
+                     void *ctx_or_buf,
+                     int _ignored_flags);
 extern int
 build_dentry_tree_ntfs(struct wim_dentry **root_p,
-                      const mbchar *device,
+                      const tchar *device,
                       struct wim_lookup_table *lookup_table,
-                      struct wim_security_data *sd,
-                      const struct capture_config *config,
+                      struct wim_inode_table *inode_table,
+                      struct sd_set *sd_set,
+                      const struct wimlib_capture_config *config,
                       int add_image_flags,
                       wimlib_progress_func_t progress_func,
                       void *extra_arg);
@@ -476,61 +540,46 @@ build_dentry_tree_ntfs(struct wim_dentry **root_p,
 #define WIMLIB_RESOURCE_FLAG_MULTITHREADED     0x2
 #define WIMLIB_RESOURCE_FLAG_RECOMPRESS                0x4
 
-extern const u8 *
-get_resource_entry(const u8 *p, struct resource_entry *entry);
+extern int
+read_resource_prefix(const struct wim_lookup_table_entry *lte,
+                    u64 size, consume_data_callback_t cb, void *ctx_or_buf,
+                    int flags);
 
-extern u8 *
-put_resource_entry(u8 *p, const struct resource_entry *entry);
+extern const void *
+get_resource_entry(const void *p, struct resource_entry *entry);
+
+extern void *
+put_resource_entry(void *p, const struct resource_entry *entry);
 
 extern int
 read_uncompressed_resource(FILE *fp, u64 offset, u64 size, void *buf);
 
 extern int
-read_wim_resource(const struct wim_lookup_table_entry *lte, void *buf,
-                 size_t size, u64 offset, int flags);
-
+read_partial_wim_resource_into_buf(const struct wim_lookup_table_entry *lte,
+                                  size_t size, u64 offset, void *buf,
+                                  bool threadsafe);
 extern int
-read_full_wim_resource(const struct wim_lookup_table_entry *lte,
-                      void *buf, int flags);
+read_full_resource_into_buf(const struct wim_lookup_table_entry *lte,
+                           void *buf, bool thread_safe);
 
 extern int
 write_wim_resource(struct wim_lookup_table_entry *lte, FILE *out_fp,
                   int out_ctype, struct resource_entry *out_res_entry,
                   int flags);
 
-
-typedef int (*extract_chunk_func_t)(const void *, size_t, u64, void *);
-
-extern int
-extract_wim_chunk_to_fd(const void *buf, size_t len, u64 offset, void *arg);
-
 extern int
 extract_wim_resource(const struct wim_lookup_table_entry *lte,
-                    u64 size, extract_chunk_func_t extract_chunk,
+                    u64 size,
+                    consume_data_callback_t extract_chunk,
                     void *extract_chunk_arg);
 
-/*
- * Extracts the first @size bytes of the WIM resource specified by @lte to the
- * open file descriptor @fd.
- *
- * Returns 0 on success; nonzero on failure.
- */
-static inline int
-extract_wim_resource_to_fd(const struct wim_lookup_table_entry *lte,
-                          int fd, u64 size)
-{
-       return extract_wim_resource(lte, size,
-                                   extract_wim_chunk_to_fd, &fd);
-}
-
-
 extern int
-write_dentry_resources(struct wim_dentry *dentry, void *wim_p);
+extract_wim_resource_to_fd(const struct wim_lookup_table_entry *lte,
+                          int fd, u64 size);
 
 extern int
 copy_resource(struct wim_lookup_table_entry *lte, void *w);
 
-
 /* security.c */
 extern int
 read_security_data(const u8 metadata_resource[],
@@ -545,14 +594,17 @@ extern void
 free_security_data(struct wim_security_data *sd);
 
 /* symlink.c */
+
+#ifndef __WIN32__
 ssize_t
 inode_readlink(const struct wim_inode *inode, char *buf, size_t buf_len,
-              const WIMStruct *w, int read_resource_flags);
+              const WIMStruct *w, bool threadsafe);
 
 extern int
-inode_set_symlink(struct wim_inode *inode, const mbchar *target,
+inode_set_symlink(struct wim_inode *inode, const char *target,
                  struct wim_lookup_table *lookup_table,
                  struct wim_lookup_table_entry **lte_ret);
+#endif
 
 /* verify.c */
 
@@ -576,7 +628,21 @@ for_image(WIMStruct *w, int image, int (*visitor)(WIMStruct *));
 
 extern void
 destroy_image_metadata(struct wim_image_metadata *imd,
-                      struct wim_lookup_table *lt);
+                      struct wim_lookup_table *table,
+                      bool free_metadata_lte);
+
+extern void
+put_image_metadata(struct wim_image_metadata *imd,
+                  struct wim_lookup_table *table);
+
+extern int
+append_image_metadata(WIMStruct *w, struct wim_image_metadata *imd);
+
+extern struct wim_image_metadata *
+new_image_metadata();
+
+extern struct wim_image_metadata **
+new_image_metadata_array(unsigned num_images);
 
 /* write.c */
 
@@ -586,12 +652,16 @@ destroy_image_metadata(struct wim_image_metadata *imd,
 #define WIMLIB_WRITE_FLAG_CHECKPOINT_AFTER_XML  0x20000000
 #define WIMLIB_WRITE_MASK_PUBLIC               0x1fffffff
 
+/* We are capturing a tree to be placed in the root of the WIM image */
 #define WIMLIB_ADD_IMAGE_FLAG_ROOT     0x80000000
+
+/* We are capturing a dentry that will become the root of a tree to be added to
+ * the WIM image */
 #define WIMLIB_ADD_IMAGE_FLAG_SOURCE    0x40000000
 
 
 extern int
-begin_write(WIMStruct *w, const mbchar *path, int write_flags);
+begin_write(WIMStruct *w, const tchar *path, int write_flags);
 
 extern void
 close_wim_writable(WIMStruct *w);