]> wimlib.net Git - wimlib/blobdiff - src/lookup_table.h
Implement multi-threaded compression
[wimlib] / src / lookup_table.h
index 193cef03cefbd101d2aa1d504e594fba268e66a4..dbcf55543254fc18ca48e78d7b18ff11a493b87e 100644 (file)
@@ -36,21 +36,24 @@ struct ntfs_location {
 };
 #endif
 
-/* 
- * An entry in the lookup table in the WIM file. 
+/*
+ * An entry in the lookup table in the WIM file.
  *
- * It is used to find data streams for files in the WIM. 
+ * It is used to find data streams for files in the WIM.
  *
  * Metadata resources and reparse point data buffers will also have lookup table
  * entries associated with the data.
  *
  * The lookup_table_entry for a given dentry or alternate stream entry in the
- * WIM is found using the SHA1 message digest field. 
+ * WIM is found using the SHA1 message digest field.
  */
 struct lookup_table_entry {
 
        /* List of lookup table entries in this hash bucket */
-       struct hlist_node hash_list;
+       union {
+               struct hlist_node hash_list;
+               struct list_head list;
+       };
 
        /* Location and size of the stream in the WIM, whether it is compressed
         * or not, and whether it's a metadata resource or not.  This is an
@@ -142,16 +145,20 @@ struct lookup_table_entry {
        #endif
        };
        union {
-               /* Temporary field for creating a singly linked list.  Shouldn't
-                * really be here */
-               struct lookup_table_entry *next_lte_in_swm;
-
                /* @file_on_disk_fp and @attr are both used to cache file/stream
                 * handles so we don't have re-open them on every read */
+
+               /* Valid iff resource_location == RESOURCE_IN_FILE_ON_DISK */
                FILE *file_on_disk_fp;
        #ifdef WITH_NTFS_3G
+               /* Valid iff resource_location == RESOURCE_IN_NTFS_VOLUME */
                struct _ntfs_attr *attr;
        #endif
+
+               /* Pointer to inode that contains the opened file descriptors to
+                * this stream (valid iff resource_location ==
+                * RESOURCE_IN_STAGING_FILE) */
+               struct inode *lte_inode;
        };
 #ifdef WITH_FUSE
        u16 num_opened_fds;
@@ -173,19 +180,26 @@ struct lookup_table_entry {
         *      - The stream may have a different compressed size in the
         *      new WIM if the compression type changed
         */
-       struct resource_entry output_resource_entry;
+       union {
+               struct resource_entry output_resource_entry;
+               struct list_head msg_list;
+       };
 
        /* This field is used for the special hardlink or symlink image
-        * application mode.   In these mode, all identical files are
-        * linked together, and @extracted_file will be set to the
-        * filename of the first extracted file containing this stream.
-        * */
+        * extraction mode.   In these mode, all identical files are linked
+        * together, and @extracted_file will be set to the filename of the
+        * first extracted file containing this stream.  */
        char *extracted_file;
 
-       /* List of lookup table entries that correspond to streams that have
-        * been extracted to the staging directory when modifying a read-write
-        * mounted WIM. */
-       struct list_head staging_list;
+       union {
+               /* List of lookup table entries that correspond to streams that have
+                * been extracted to the staging directory when modifying a read-write
+                * mounted WIM. */
+               struct list_head staging_list;
+
+               /* Temporary field for creating a singly linked list. */
+               struct lookup_table_entry *next_lte_in_swm;
+       };
 };
 
 static inline u64 wim_resource_size(const struct lookup_table_entry *lte)
@@ -193,6 +207,11 @@ static inline u64 wim_resource_size(const struct lookup_table_entry *lte)
        return lte->resource_entry.original_size;
 }
 
+static inline u64 wim_resource_chunks(const struct lookup_table_entry *lte)
+{
+       return (wim_resource_size(lte) + WIM_CHUNK_SIZE - 1) / WIM_CHUNK_SIZE;
+}
+
 static inline u64
 wim_resource_compressed_size(const struct lookup_table_entry *lte)
 {
@@ -215,36 +234,24 @@ wim_resource_compression_type(const struct lookup_table_entry *lte)
 
 extern struct lookup_table *new_lookup_table(size_t capacity);
 
-extern void lookup_table_insert(struct lookup_table *table, 
+extern void lookup_table_insert(struct lookup_table *table,
                                struct lookup_table_entry *lte);
 
 /* Unlinks a lookup table entry from the table; does not free it. */
-static inline void lookup_table_unlink(struct lookup_table *table, 
+static inline void lookup_table_unlink(struct lookup_table *table,
                                       struct lookup_table_entry *lte)
 {
        hlist_del(&lte->hash_list);
        table->num_entries--;
 }
 
+extern struct lookup_table_entry *new_lookup_table_entry();
 
 extern struct lookup_table_entry *
-lookup_table_decrement_refcnt(struct lookup_table* table, const u8 hash[]);
-
-#ifdef WITH_FUSE
-extern struct lookup_table_entry *
-lte_decrement_num_opened_fds(struct lookup_table_entry *lte,
-                            struct lookup_table *table);
-#endif
-
-extern struct lookup_table_entry *
-lte_decrement_refcnt(struct lookup_table_entry *lte,
-                    struct lookup_table *table);
-
+clone_lookup_table_entry(const struct lookup_table_entry *lte);
 
-extern struct lookup_table_entry *new_lookup_table_entry();
-
-extern int for_lookup_table_entry(struct lookup_table *table, 
-                                 int (*visitor)(struct lookup_table_entry *, void *), 
+extern int for_lookup_table_entry(struct lookup_table *table,
+                                 int (*visitor)(struct lookup_table_entry *, void *),
                                  void *arg);
 
 extern struct lookup_table_entry *
@@ -255,6 +262,12 @@ extern int lookup_resource(WIMStruct *w, const char *path,
                           struct lookup_table_entry **lte_ret,
                           u16 *stream_idx_ret);
 
+extern void lte_decrement_refcnt(struct lookup_table_entry *lte,
+                                struct lookup_table *table);
+#ifdef WITH_FUSE
+extern void lte_decrement_num_opened_fds(struct lookup_table_entry *lte);
+#endif
+
 extern int lte_zero_out_refcnt(struct lookup_table_entry *entry, void *ignore);
 extern int lte_zero_real_refcnt(struct lookup_table_entry *entry, void *ignore);
 extern int lte_free_extracted_file(struct lookup_table_entry *lte, void *ignone);
@@ -270,6 +283,7 @@ extern int write_lookup_table_entry(struct lookup_table_entry *lte, void *__out)
 extern void free_lookup_table_entry(struct lookup_table_entry *lte);
 
 extern int dentry_resolve_ltes(struct dentry *dentry, void *__table);
+extern int dentry_unresolve_ltes(struct dentry *dentry, void *ignore);
 
 /* Writes the lookup table to the output file. */
 static inline int write_lookup_table(struct lookup_table *table, FILE *out)
@@ -278,7 +292,7 @@ static inline int write_lookup_table(struct lookup_table *table, FILE *out)
 }
 
 /* Unlinks and frees an entry from a lookup table. */
-static inline void lookup_table_remove(struct lookup_table *table, 
+static inline void lookup_table_remove(struct lookup_table *table,
                                       struct lookup_table_entry *lte)
 {
        lookup_table_unlink(table, lte);
@@ -299,12 +313,12 @@ inode_stream_lte_resolved(const struct inode *inode, unsigned stream_idx)
        if (stream_idx == 0)
                return inode->lte;
        else
-               return inode->ads_entries[stream_idx - 1]->lte;
+               return inode->ads_entries[stream_idx - 1].lte;
 }
 
 static inline struct lookup_table_entry *
 inode_stream_lte_unresolved(const struct inode *inode, unsigned stream_idx,
-                            const struct lookup_table *table)
+                           const struct lookup_table *table)
 {
        wimlib_assert(!inode->resolved);
        wimlib_assert(stream_idx <= inode->num_ads);
@@ -315,9 +329,9 @@ inode_stream_lte_unresolved(const struct inode *inode, unsigned stream_idx,
        else
                return __lookup_resource(table,
                                         inode->ads_entries[
-                                               stream_idx - 1]->hash);
+                                               stream_idx - 1].hash);
 }
-/* 
+/*
  * Returns the lookup table entry for stream @stream_idx of the inode, where
  * stream_idx = 0 means the default un-named file stream, and stream_idx >= 1
  * corresponds to an alternate data stream.
@@ -343,7 +357,7 @@ static inline const u8 *inode_stream_hash_unresolved(const struct inode *inode,
        if (stream_idx == 0)
                return inode->hash;
        else
-               return inode->ads_entries[stream_idx - 1]->hash;
+               return inode->ads_entries[stream_idx - 1].hash;
 }
 
 
@@ -358,7 +372,7 @@ static inline const u8 *inode_stream_hash_resolved(const struct inode *inode,
                return zero_hash;
 }
 
-/* 
+/*
  * Returns the hash for stream @stream_idx of the inode, where stream_idx = 0
  * means the default un-named file stream, and stream_idx >= 1 corresponds to an
  * alternate data stream.
@@ -381,7 +395,7 @@ static inline u16 inode_stream_name_len(const struct inode *inode,
        if (stream_idx == 0)
                return 0;
        else
-               return inode->ads_entries[stream_idx - 1]->stream_name_len;
+               return inode->ads_entries[stream_idx - 1].stream_name_len;
 }
 
 static inline struct lookup_table_entry *