]> wimlib.net Git - wimlib/blobdiff - src/lookup_table.h
Implement multi-threaded compression
[wimlib] / src / lookup_table.h
index ede2bfe6fa5d7ba9be1444764f3877ad6fc95091..dbcf55543254fc18ca48e78d7b18ff11a493b87e 100644 (file)
@@ -36,21 +36,24 @@ struct ntfs_location {
 };
 #endif
 
-/* 
- * An entry in the lookup table in the WIM file. 
+/*
+ * An entry in the lookup table in the WIM file.
  *
- * It is used to find data streams for files in the WIM. 
+ * It is used to find data streams for files in the WIM.
  *
  * Metadata resources and reparse point data buffers will also have lookup table
  * entries associated with the data.
  *
  * The lookup_table_entry for a given dentry or alternate stream entry in the
- * WIM is found using the SHA1 message digest field. 
+ * WIM is found using the SHA1 message digest field.
  */
 struct lookup_table_entry {
 
        /* List of lookup table entries in this hash bucket */
-       struct hlist_node hash_list;
+       union {
+               struct hlist_node hash_list;
+               struct list_head list;
+       };
 
        /* Location and size of the stream in the WIM, whether it is compressed
         * or not, and whether it's a metadata resource or not.  This is an
@@ -142,28 +145,23 @@ struct lookup_table_entry {
        #endif
        };
        union {
-               /* Temporary field for creating a singly linked list.  Shouldn't
-                * really be here */
-               struct lookup_table_entry *next_lte_in_swm;
-
                /* @file_on_disk_fp and @attr are both used to cache file/stream
                 * handles so we don't have re-open them on every read */
+
+               /* Valid iff resource_location == RESOURCE_IN_FILE_ON_DISK */
                FILE *file_on_disk_fp;
        #ifdef WITH_NTFS_3G
+               /* Valid iff resource_location == RESOURCE_IN_NTFS_VOLUME */
                struct _ntfs_attr *attr;
        #endif
+
+               /* Pointer to inode that contains the opened file descriptors to
+                * this stream (valid iff resource_location ==
+                * RESOURCE_IN_STAGING_FILE) */
+               struct inode *lte_inode;
        };
 #ifdef WITH_FUSE
-       /* File descriptors table for this data stream.  This is used if the WIM
-        * is mounted.  Basically, each time a file is open()ed, a new file
-        * descriptor is added here, and each time a file is close()ed, the file
-        * descriptor is gotten rid of.  If the stream is opened for writing, it
-        * will be extracted to the staging directory and there will be an
-        * actual native file descriptor associated with each "wimlib file
-        * descriptor". */
        u16 num_opened_fds;
-       u16 num_allocated_fds;
-       struct wimlib_fd **fds;
 #endif
 
        /* When a WIM file is written, out_refcnt starts at 0 and is incremented
@@ -173,35 +171,35 @@ struct lookup_table_entry {
         * dentries. */
        u32 out_refcnt;
 
+       u32 real_refcnt;
+
+       /* When a WIM file is written, @output_resource_entry is filled
+        * in with the resource entry for the output WIM.  This will not
+        * necessarily be the same as the @resource_entry since:
+        *      - The stream may have a different offset in the new WIM
+        *      - The stream may have a different compressed size in the
+        *      new WIM if the compression type changed
+        */
        union {
-               /* When a WIM file is written, @output_resource_entry is filled
-                * in with the resource entry for the output WIM.  This will not
-                * necessarily be the same as the @resource_entry since:
-                *      - The stream may have a different offset in the new WIM
-                *      - The stream may have a different compressed size in the
-                *      new WIM if the compression type changed
-                */
                struct resource_entry output_resource_entry;
-
-               /* This field is used for the special hardlink or symlink image
-                * application mode.   In these mode, all identical files are
-                * linked together, and @extracted_file will be set to the
-                * filename of the first extracted file containing this stream.
-                * */
-               char *extracted_file;
+               struct list_head msg_list;
        };
 
-       /* Circular linked list of streams that share the same lookup table
-        * entry.
-        * 
-        * This list of streams may include streams from different hard link
-        * sets that happen to be the same.  */
-       struct list_head lte_group_list;
-
-       /* List of lookup table entries that correspond to streams that have
-        * been extracted to the staging directory when modifying a read-write
-        * mounted WIM. */
-       struct list_head staging_list;
+       /* This field is used for the special hardlink or symlink image
+        * extraction mode.   In these mode, all identical files are linked
+        * together, and @extracted_file will be set to the filename of the
+        * first extracted file containing this stream.  */
+       char *extracted_file;
+
+       union {
+               /* List of lookup table entries that correspond to streams that have
+                * been extracted to the staging directory when modifying a read-write
+                * mounted WIM. */
+               struct list_head staging_list;
+
+               /* Temporary field for creating a singly linked list. */
+               struct lookup_table_entry *next_lte_in_swm;
+       };
 };
 
 static inline u64 wim_resource_size(const struct lookup_table_entry *lte)
@@ -209,6 +207,11 @@ static inline u64 wim_resource_size(const struct lookup_table_entry *lte)
        return lte->resource_entry.original_size;
 }
 
+static inline u64 wim_resource_chunks(const struct lookup_table_entry *lte)
+{
+       return (wim_resource_size(lte) + WIM_CHUNK_SIZE - 1) / WIM_CHUNK_SIZE;
+}
+
 static inline u64
 wim_resource_compressed_size(const struct lookup_table_entry *lte)
 {
@@ -231,30 +234,24 @@ wim_resource_compression_type(const struct lookup_table_entry *lte)
 
 extern struct lookup_table *new_lookup_table(size_t capacity);
 
-extern void lookup_table_insert(struct lookup_table *table, 
+extern void lookup_table_insert(struct lookup_table *table,
                                struct lookup_table_entry *lte);
 
 /* Unlinks a lookup table entry from the table; does not free it. */
-static inline void lookup_table_unlink(struct lookup_table *table, 
+static inline void lookup_table_unlink(struct lookup_table *table,
                                       struct lookup_table_entry *lte)
 {
        hlist_del(&lte->hash_list);
        table->num_entries--;
 }
 
+extern struct lookup_table_entry *new_lookup_table_entry();
 
 extern struct lookup_table_entry *
-lookup_table_decrement_refcnt(struct lookup_table* table, const u8 hash[]);
-
-extern struct lookup_table_entry *
-lte_decrement_refcnt(struct lookup_table_entry *lte,
-                    struct lookup_table *table);
+clone_lookup_table_entry(const struct lookup_table_entry *lte);
 
-
-extern struct lookup_table_entry *new_lookup_table_entry();
-
-extern int for_lookup_table_entry(struct lookup_table *table, 
-                                 int (*visitor)(struct lookup_table_entry *, void *), 
+extern int for_lookup_table_entry(struct lookup_table *table,
+                                 int (*visitor)(struct lookup_table_entry *, void *),
                                  void *arg);
 
 extern struct lookup_table_entry *
@@ -263,9 +260,17 @@ __lookup_resource(const struct lookup_table *table, const u8 hash[]);
 extern int lookup_resource(WIMStruct *w, const char *path,
                           int lookup_flags, struct dentry **dentry_ret,
                           struct lookup_table_entry **lte_ret,
-                          unsigned *stream_idx_ret);
+                          u16 *stream_idx_ret);
+
+extern void lte_decrement_refcnt(struct lookup_table_entry *lte,
+                                struct lookup_table *table);
+#ifdef WITH_FUSE
+extern void lte_decrement_num_opened_fds(struct lookup_table_entry *lte);
+#endif
 
-extern int zero_out_refcnts(struct lookup_table_entry *entry, void *ignore);
+extern int lte_zero_out_refcnt(struct lookup_table_entry *entry, void *ignore);
+extern int lte_zero_real_refcnt(struct lookup_table_entry *entry, void *ignore);
+extern int lte_free_extracted_file(struct lookup_table_entry *lte, void *ignone);
 
 extern void print_lookup_table_entry(const struct lookup_table_entry *entry);
 
@@ -278,6 +283,7 @@ extern int write_lookup_table_entry(struct lookup_table_entry *lte, void *__out)
 extern void free_lookup_table_entry(struct lookup_table_entry *lte);
 
 extern int dentry_resolve_ltes(struct dentry *dentry, void *__table);
+extern int dentry_unresolve_ltes(struct dentry *dentry, void *ignore);
 
 /* Writes the lookup table to the output file. */
 static inline int write_lookup_table(struct lookup_table *table, FILE *out)
@@ -286,7 +292,7 @@ static inline int write_lookup_table(struct lookup_table *table, FILE *out)
 }
 
 /* Unlinks and frees an entry from a lookup table. */
-static inline void lookup_table_remove(struct lookup_table *table, 
+static inline void lookup_table_remove(struct lookup_table *table,
                                       struct lookup_table_entry *lte)
 {
        lookup_table_unlink(table, lte);
@@ -307,12 +313,12 @@ inode_stream_lte_resolved(const struct inode *inode, unsigned stream_idx)
        if (stream_idx == 0)
                return inode->lte;
        else
-               return inode->ads_entries[stream_idx - 1]->lte;
+               return inode->ads_entries[stream_idx - 1].lte;
 }
 
 static inline struct lookup_table_entry *
 inode_stream_lte_unresolved(const struct inode *inode, unsigned stream_idx,
-                            const struct lookup_table *table)
+                           const struct lookup_table *table)
 {
        wimlib_assert(!inode->resolved);
        wimlib_assert(stream_idx <= inode->num_ads);
@@ -323,9 +329,9 @@ inode_stream_lte_unresolved(const struct inode *inode, unsigned stream_idx,
        else
                return __lookup_resource(table,
                                         inode->ads_entries[
-                                               stream_idx - 1]->hash);
+                                               stream_idx - 1].hash);
 }
-/* 
+/*
  * Returns the lookup table entry for stream @stream_idx of the inode, where
  * stream_idx = 0 means the default un-named file stream, and stream_idx >= 1
  * corresponds to an alternate data stream.
@@ -351,7 +357,7 @@ static inline const u8 *inode_stream_hash_unresolved(const struct inode *inode,
        if (stream_idx == 0)
                return inode->hash;
        else
-               return inode->ads_entries[stream_idx - 1]->hash;
+               return inode->ads_entries[stream_idx - 1].hash;
 }
 
 
@@ -366,7 +372,7 @@ static inline const u8 *inode_stream_hash_resolved(const struct inode *inode,
                return zero_hash;
 }
 
-/* 
+/*
  * Returns the hash for stream @stream_idx of the inode, where stream_idx = 0
  * means the default un-named file stream, and stream_idx >= 1 corresponds to an
  * alternate data stream.
@@ -389,7 +395,7 @@ static inline u16 inode_stream_name_len(const struct inode *inode,
        if (stream_idx == 0)
                return 0;
        else
-               return inode->ads_entries[stream_idx - 1]->stream_name_len;
+               return inode->ads_entries[stream_idx - 1].stream_name_len;
 }
 
 static inline struct lookup_table_entry *