]> wimlib.net Git - wimlib/blobdiff - src/wimlib_internal.h
Implement multi-threaded compression
[wimlib] / src / wimlib_internal.h
index b7b2da269ed9fbccedfa4835a9b2ad479b206883..9af0f3360255571a07aaf8de40712d0207733a5d 100644 (file)
 #define _WIMLIB_INTERNAL_H
 
 #include "util.h"
+#include "list.h"
+
+#include <pthread.h>
 
 struct stat;
+struct dentry;
+struct inode;
 
 #define WIM_MAGIC_LEN  8
 #define WIM_GID_LEN    16
@@ -92,10 +97,10 @@ struct resource_entry {
 
 
 /* Header at the very beginning of the WIM file. */
-struct wim_header { 
+struct wim_header {
        /* Identifies the file as WIM file. Must be exactly
         * {'M', 'S', 'W', 'I', 'M', 0, 0, 0}  */
-       //u8  magic[WIM_MAGIC_LEN];     
+       //u8  magic[WIM_MAGIC_LEN];
 
        /* size of WIM header in bytes. */
        //u32 hdr_size;
@@ -113,7 +118,7 @@ struct wim_header {
         * WIM_CHUNK_SIZE.  M$ incorrectly documents this as "the size of the
         * compressed .wim file in bytes".*/
        //u32 chunk_size;
-       
+
        /* A unique identifier for the WIM file. */
        u8  guid[WIM_GID_LEN];
 
@@ -139,7 +144,7 @@ struct wim_header {
 
        /* The index of the bootable image in the WIM file. If 0, there are no
         * bootable images available. */
-       u32 boot_idx; 
+       u32 boot_idx;
 
        /* The location of the optional integrity table used to verify the
         * integrity WIM.  Zeroed out if there is no integrity table.*/
@@ -174,7 +179,7 @@ struct wim_header {
 
 /* Lock field to prevent multiple writers from writing the WIM concurrently.  We
  * ignore this flag. */
-#define WIM_HDR_FLAG_WRITE_IN_PROGRESS  0x00000040 
+#define WIM_HDR_FLAG_WRITE_IN_PROGRESS  0x00000040
 
 /* Reparse point fixup ???
  * This has something to do with absolute targets of reparse points / symbolic
@@ -193,7 +198,7 @@ struct wim_header {
 #define WIM_HDR_FLAG_COMPRESS_LZX       0x00040000
 
 #ifdef WITH_NTFS_3G
-typedef struct _ntfs_volume ntfs_volume;
+struct _ntfs_volume;
 #endif
 
 /* Structure for security data.  Each image in the WIM file has its own security
@@ -204,7 +209,7 @@ struct wim_security_data {
         * that wimlib writes, currently), it will be 8 bytes. */
        u32 total_length;
 
-       /* The number of security descriptors in the array @descriptors, below.  
+       /* The number of security descriptors in the array @descriptors, below.
         * It is really an unsigned int, but it must fit into an int because the
         * security ID's are signed.  (Not like you would ever have more than a
         * few hundred security descriptors anyway). */
@@ -221,7 +226,7 @@ struct wim_security_data {
        u32 refcnt;
 };
 
-struct link_group_table;
+struct inode_table;
 
 
 /* Metadata resource for an image. */
@@ -232,13 +237,12 @@ struct image_metadata {
        /* Pointer to the security data for the image. */
        struct wim_security_data *security_data;
 
-       /* Hard link group table */
-       struct link_group_table *lgt;
-
        /* A pointer to the lookup table entry for this image's metadata
         * resource. */
        struct lookup_table_entry *metadata_lte;
 
+       struct hlist_head inode_list;
+
        /* True if the filesystem of the image has been modified.  If this is
         * the case, the memory for the filesystem is not freed when switching
         * to a different WIM image. */
@@ -246,19 +250,26 @@ struct image_metadata {
 
 };
 
+#define WIMLIB_RESOURCE_FLAG_RAW               0x1
+#define WIMLIB_RESOURCE_FLAG_MULTITHREADED     0x2
+
 /* The opaque structure exposed to the wimlib API. */
 typedef struct WIMStruct {
 
        /* A pointer to the file indicated by @filename, opened for reading. */
        FILE  *fp;
 
+       FILE **fp_tab;
+       size_t num_allocated_fps;
+       pthread_mutex_t fp_tab_mutex;
+
        /* FILE pointer for the WIM file that is being written. */
        FILE  *out_fp;
 
        /* The name of the WIM file that has been opened. */
        char  *filename;
 
-       /* The lookup table for the WIM file. */ 
+       /* The lookup table for the WIM file. */
        struct lookup_table *lookup_table;
 
        /* Pointer to the XML data read from the WIM file. */
@@ -282,9 +293,10 @@ typedef struct WIMStruct {
                int add_flags;
                int write_flags;
                bool write_metadata;
+               void *private;
        };
 #ifdef WITH_NTFS_3G
-       ntfs_volume *ntfs_vol;
+       struct _ntfs_volume *ntfs_vol;
 #endif
 
        /* The currently selected image, indexed starting at 1.  If not 0,
@@ -348,12 +360,36 @@ struct capture_config {
 
 /* hardlink.c */
 
-struct link_group_table *new_link_group_table(size_t capacity);
-int link_group_table_insert(struct dentry *dentry,
-                           void *__table);
-void free_link_group_table(struct link_group_table *table);
-u64 assign_link_group_ids(struct link_group_table *table);
-int fix_link_groups(struct link_group_table *table);
+/* Hash table to find inodes, identified by their inode ID.
+ * */
+struct inode_table {
+       /* Fields for the hash table */
+       struct hlist_head *array;
+       u64 num_entries;
+       u64 capacity;
+
+       /*
+        * Linked list of "extra" inodes.  These may be:
+        *
+        * - inodes with link count 1, which are all allowed to have 0 for their
+        *   inode number, meaning we cannot insert them into the hash table
+        *   before calling assign_inode_numbers().
+         *
+        * - Groups we create ourselves by splitting a nominal inode due to
+        *   inconsistencies in the dentries.  These inodes will share a inode
+        *   ID with some other inode until assign_inode_numbers() is called.
+        */
+       struct hlist_head extra_inodes;
+};
+
+int init_inode_table(struct inode_table *table, size_t capacity);
+static inline void destroy_inode_table(struct inode_table *table)
+{
+       FREE(table->array);
+}
+int inode_table_insert(struct dentry *dentry, void *__table);
+u64 assign_inode_numbers(struct hlist_head *inode_list);
+int fix_inodes(struct inode_table *table, struct hlist_head *inode_list);
 
 
 /* header.c */
@@ -362,7 +398,7 @@ extern int write_header(const struct wim_header *hdr, FILE *out);
 extern int init_header(struct wim_header *hdr, int ctype);
 
 /* integrity.c */
-extern int write_integrity_table(FILE *out, u64 end_header_offset, 
+extern int write_integrity_table(FILE *out, u64 end_header_offset,
                                 u64 end_lookup_table_offset,
                                 int show_progress);
 extern int check_wim_integrity(WIMStruct *w, int show_progress, int *status);
@@ -387,8 +423,8 @@ extern int do_add_image(WIMStruct *w, const char *dir, const char *name,
                        const char *config_str, size_t config_len,
                        int flags,
                        int (*capture_tree)(struct dentry **, const char *,
-                                    struct lookup_table *, 
-                                    struct wim_security_data *, 
+                                    struct lookup_table *,
+                                    struct wim_security_data *,
                                     const struct capture_config *,
                                     int, void *),
                        void *extra_arg);
@@ -400,9 +436,15 @@ extern u8 *put_resource_entry(u8 *p, const struct resource_entry *entry);
 extern int read_uncompressed_resource(FILE *fp, u64 offset, u64 size, u8 buf[]);
 
 extern int read_wim_resource(const struct lookup_table_entry *lte, u8 buf[],
-                            size_t size, u64 offset, bool raw);
+                            size_t size, u64 offset, int flags);
 
-extern int read_full_wim_resource(const struct lookup_table_entry *lte, u8 buf[]);
+extern int read_full_wim_resource(const struct lookup_table_entry *lte,
+                                 u8 buf[], int flags);
+
+extern int write_wim_resource(struct lookup_table_entry *lte,
+                             FILE *out_fp, int out_ctype,
+                             struct resource_entry *out_res_entry,
+                             int flags);
 
 extern int extract_wim_resource_to_fd(const struct lookup_table_entry *lte,
                                      int fd, u64 size);
@@ -421,7 +463,7 @@ extern int write_metadata_resource(WIMStruct *w);
 
 
 /* security.c */
-int read_security_data(const u8 metadata_resource[], 
+int read_security_data(const u8 metadata_resource[],
                u64 metadata_resource_len, struct wim_security_data **sd_p);
 
 void print_security_data(const struct wim_security_data *sd);
@@ -429,26 +471,27 @@ u8 *write_security_data(const struct wim_security_data *sd, u8 *p);
 void free_security_data(struct wim_security_data *sd);
 
 /* symlink.c */
-ssize_t dentry_readlink(const struct dentry *dentry, char *buf, size_t buf_len,
-                       const WIMStruct *w);
+ssize_t inode_readlink(const struct inode *inode, char *buf, size_t buf_len,
+                       const WIMStruct *w, int read_resource_flags);
 extern void *make_symlink_reparse_data_buf(const char *symlink_target,
                                           size_t *len_ret);
-extern int dentry_set_symlink(struct dentry *dentry,
-                             const char *target,
-                             struct lookup_table *lookup_table,
-                             struct lookup_table_entry **lte_ret);
+extern int inode_set_symlink(struct inode *inode,
+                            const char *target,
+                            struct lookup_table *lookup_table,
+                            struct lookup_table_entry **lte_ret);
 
 /* wim.c */
 extern WIMStruct *new_wim_struct();
-extern int wimlib_select_image(WIMStruct *w, int image);
+extern int select_wim_image(WIMStruct *w, int image);
 extern int wim_hdr_flags_compression_type(int wim_hdr_flags);
 extern int for_image(WIMStruct *w, int image, int (*visitor)(WIMStruct *));
 
-/* write.c */
-extern int finish_write(WIMStruct *w, int image, int flags, 
-                       int write_lookup_table);
+/* Internal use only */
+#define WIMLIB_WRITE_FLAG_NO_LOOKUP_TABLE 0x80000000
 
-extern int begin_write(WIMStruct *w, const char *path, int flags);
+/* write.c */
+extern int begin_write(WIMStruct *w, const char *path, int write_flags);
+extern int finish_write(WIMStruct *w, int image, int write_flags);
 
 
 #include "wimlib.h"