Add support for unsafe in-place compaction of WIM files
[wimlib] / include / wimlib / wim.h
1 /*
2  * wim.h - WIMStruct definition and helper functions
3  */
4
5 #ifndef _WIMLIB_WIM_H
6 #define _WIMLIB_WIM_H
7
8 #include "wimlib.h"
9 #include "wimlib/file_io.h"
10 #include "wimlib/header.h"
11 #include "wimlib/list.h"
12
13 struct wim_image_metadata;
14 struct wim_xml_info;
15 struct blob_table;
16
17 /*
18  * WIMStruct - represents a WIM, or a part of a non-standalone WIM
19  *
20  * Note 1: there are three ways in which a WIMStruct can be created:
21  *
22  *      1. open an on-disk WIM file
23  *      2. start to extract a pipable WIM from a file descriptor
24  *      3. create a new WIMStruct directly
25  *
26  * For (1) and (2), the WIMStruct has a backing file; for (3) it does not.  For
27  * (1), the backing file is a real "on-disk" file from the filesystem, whereas
28  * for (2) the backing file is a file descriptor which may be a pipe.
29  *
30  * Note 2: although this is the top-level data structure in wimlib, there do
31  * exist cases in which a WIMStruct is not standalone:
32  *      - blobs have been referenced from another WIMStruct
33  *      - an image has been imported into this WIMStruct from another
34  *        (as this references the metadata rather than copies it)
35  *
36  * Note 3: It is unsafe for multiple threads to operate on the same WIMStruct at
37  * the same time.  This extends to references to other WIMStructs as noted
38  * above.  But besides this, it is safe to operate on *different* WIMStructs in
39  * different threads concurrently.
40  */
41 struct WIMStruct {
42
43         /* Information from the header of the WIM file.
44          *
45          * This is also maintained for a WIMStruct not backed by a file, but in
46          * that case the 'reshdr' fields are left zeroed.  */
47         struct wim_header hdr;
48
49         /* If the library is currently writing this WIMStruct out to a file,
50          * then this is the header being created for that file.  */
51         struct wim_header out_hdr;
52
53         /* Array of image metadata, one for each image in the WIM (array length
54          * hdr.image_count).  Or, this will be NULL if this WIM does not contain
55          * metadata, which implies that this WIMStruct either represents part of
56          * a non-standalone WIM, or represents a standalone WIM that, oddly
57          * enough, actually contains 0 images.  */
58         struct wim_image_metadata **image_metadata;
59
60         /* Information from the XML data of the WIM file.  This information is
61          * also maintained for a WIMStruct not backed by a file.  */
62         struct wim_xml_info *xml_info;
63
64         /* The blob table for this WIMStruct.  If this WIMStruct has a backing
65          * file, then this table will index the blobs contained in that file.
66          * In addition, this table may index blobs that were added by updates or
67          * referenced from other WIMStructs.  */
68         struct blob_table *blob_table;
69
70         /*
71          * The 1-based index of the currently selected image in this WIMStruct,
72          * or WIMLIB_NO_IMAGE if no image is currently selected.
73          *
74          * The metadata for the current image is image_metadata[current_image -
75          * 1].  Since we load image metadata lazily, only the metadata for the
76          * current image is guaranteed to actually be present in memory.
77          */
78         int current_image;
79
80         /* The absolute path to the on-disk file backing this WIMStruct, or NULL
81          * if this WIMStruct is not backed by an on-disk file.  */
82         tchar *filename;
83
84         /* If this WIMStruct has a backing file, then this is a file descriptor
85          * open to that file with read access.  Otherwise, this field is invalid
86          * (!filedes_valid(&in_fd)).  */
87         struct filedes in_fd;
88
89         /* If the library is currently writing this WIMStruct out to a file,
90          * then this is a file descriptor open to that file with write access.
91          * Otherwise, this field is invalid (!filedes_valid(&out_fd)).  */
92         struct filedes out_fd;
93
94         /*
95          * This is the cached decompressor for this WIM file, or NULL if no
96          * decompressor is cached yet.  Normally, all the compressed data in a
97          * WIM file has the same compression type and chunk size, so the same
98          * decompressor can be used for all data --- and that decompressor will
99          * be cached here.  However, if we do encounter any data with a
100          * different compression type or chunk size (this is possible in solid
101          * resources), then this cached decompressor will be replaced with a new
102          * one.
103          */
104         struct wimlib_decompressor *decompressor;
105         u8 decompressor_ctype;
106         u32 decompressor_max_block_size;
107
108         /*
109          * 'subwims' is the list of dependent WIMStructs (linked by
110          * 'subwim_node') that have been opened by calls to
111          * wimlib_reference_resource_files().  These WIMStructs must be retained
112          * so that resources from them can be used.  They are internal to the
113          * library and are not visible to API users.
114          */
115         struct list_head subwims;
116         struct list_head subwim_node;
117
118         /* Temporary field; use sparingly  */
119         void *private;
120
121         /* 1 if any images have been deleted from this WIMStruct, otherwise 0 */
122         u8 image_deletion_occurred : 1;
123
124         /* 1 if the WIM file has been locked for appending, otherwise 0  */
125         u8 locked_for_append : 1;
126
127         /* 1 if the WIM file is currently being compacted by wimlib_overwrite()
128          * with WIMLIB_WRITE_FLAG_UNSAFE_COMPACT  */
129         u8 being_compacted : 1;
130
131         /* If this WIM is backed by a file, then this is the compression type
132          * for non-solid resources in that file.  */
133         u8 compression_type;
134
135         /* Overridden compression type for wimlib_overwrite() or wimlib_write().
136          * Can be changed by wimlib_set_output_compression_type(); otherwise is
137          * the same as compression_type.  */
138         u8 out_compression_type;
139
140         /* Compression type for writing solid resources; can be set with
141          * wimlib_set_output_pack_compression_type().  */
142         u8 out_solid_compression_type;
143
144         /* If this WIM is backed by a file, then this is the compression chunk
145          * size for non-solid resources in that file.  */
146         u32 chunk_size;
147
148         /* Overridden chunk size for wimlib_overwrite() or wimlib_write().  Can
149          * be changed by wimlib_set_output_chunk_size(); otherwise is the same
150          * as chunk_size.  */
151         u32 out_chunk_size;
152
153         /* Chunk size for writing solid resources; can be set with
154          * wimlib_set_output_pack_chunk_size().  */
155         u32 out_solid_chunk_size;
156
157         /* Currently registered progress function for this WIMStruct, or NULL if
158          * no progress function is currently registered for this WIMStruct.  */
159         wimlib_progress_func_t progfunc;
160         void *progctx;
161 };
162
163 /*
164  * Return true if and only if the WIM contains image metadata (actual directory
165  * trees, not just a collection of blobs and their checksums).
166  *
167  * See the description of the 'image_metadata' field.  Note that we return true
168  * when the image count is 0 because it could be a WIM with 0 images.  It's only
169  * when the WIM does not contain the metadata described by its image count that
170  * we return false.
171  */
172 static inline bool wim_has_metadata(const WIMStruct *wim)
173 {
174         return (wim->image_metadata != NULL || wim->hdr.image_count == 0);
175 }
176
177 /* Return true if and only if the WIM has an integrity table.
178  *
179  * If the WIM is not backed by a file, then this always returns false.  */
180 static inline bool wim_has_integrity_table(const WIMStruct *wim)
181 {
182         return (wim->hdr.integrity_table_reshdr.offset_in_wim != 0);
183 }
184
185 /* Return true if and only if the WIM is in pipable format.
186  *
187  * If the WIM is not backed by a file, then this always returns false.  */
188 static inline bool wim_is_pipable(const WIMStruct *wim)
189 {
190         return (wim->hdr.magic == PWM_MAGIC);
191 }
192
193 extern bool
194 wim_has_solid_resources(const WIMStruct *wim);
195
196 extern int
197 read_wim_header(WIMStruct *wim, struct wim_header *hdr);
198
199 extern int
200 write_wim_header(const struct wim_header *hdr, struct filedes *out_fd,
201                  off_t offset);
202
203 extern int
204 write_wim_header_flags(u32 hdr_flags, struct filedes *out_fd);
205
206 extern int
207 select_wim_image(WIMStruct *wim, int image);
208
209 extern void
210 deselect_current_wim_image(WIMStruct *wim);
211
212 extern int
213 for_image(WIMStruct *wim, int image, int (*visitor)(WIMStruct *));
214
215 extern int
216 wim_checksum_unhashed_blobs(WIMStruct *wim);
217
218 extern int
219 delete_wim_image(WIMStruct *wim, int image);
220
221 /* Internal open flags (pass to open_wim_as_WIMStruct(), not wimlib_open_wim())
222  */
223 #define WIMLIB_OPEN_FLAG_FROM_PIPE      0x80000000
224
225 extern int
226 open_wim_as_WIMStruct(const void *wim_filename_or_fd, int open_flags,
227                       WIMStruct **wim_ret,
228                       wimlib_progress_func_t progfunc, void *progctx);
229
230 extern int
231 can_modify_wim(WIMStruct *wim);
232
233 #endif /* _WIMLIB_WIM_H */