b6203fb5b6a3c7698d32730e89f184cf94b87183
[wimlib] / include / wimlib / inode.h
1 #ifndef _WIMLIB_INODE_H
2 #define _WIMLIB_INODE_H
3
4 #include "wimlib/assert.h"
5 #include "wimlib/list.h"
6 #include "wimlib/sha1.h"
7 #include "wimlib/types.h"
8
9 struct avl_tree_node;
10 struct blob_descriptor;
11 struct blob_table;
12 struct wim_dentry;
13 struct wim_inode_extra;
14 struct wim_security_data;
15 struct wimfs_fd;
16
17 /* Valid values for the 'stream_type' field of a 'struct wim_inode_stream'  */
18 enum wim_inode_stream_type {
19
20         /* Data stream, may be unnamed (usual case) or named  */
21         STREAM_TYPE_DATA,
22
23         /* Reparse point stream.  This is the same as the data of the on-disk
24          * reparse point attribute, except that the first 8 bytes of the on-disk
25          * attribute are omitted.  The omitted bytes contain the reparse tag
26          * (which is instead stored in the on-disk WIM dentry), the reparse data
27          * size (which is redundant with the stream size), and a reserved field
28          * that is always zero.  */
29         STREAM_TYPE_REPARSE_POINT,
30
31         /* Encrypted data in the "EFSRPC raw data format" specified by [MS-EFSR]
32          * section 2.2.3.  This contains metadata for the Encrypting File System
33          * as well as the encrypted data of all the file's data streams.  */
34         STREAM_TYPE_EFSRPC_RAW_DATA,
35
36         /* Stream type could not be determined  */
37         STREAM_TYPE_UNKNOWN,
38 };
39
40 extern const utf16lechar NO_STREAM_NAME[1];
41
42 /*
43  * 'struct wim_inode_stream' describes a "stream", which associates a blob of
44  * data with an inode.  Each stream has a type and optionally a name.
45  *
46  * The most frequently seen kind of stream is the "unnamed data stream"
47  * (stream_type == STREAM_TYPE_DATA && stream_name == NO_STREAM_NAME), which is
48  * the "default file contents".  Many inodes just have an unnamed data stream
49  * and no other streams.  However, files on NTFS filesystems may have
50  * additional, "named" data streams, and this is supported by the WIM format.
51  *
52  * A "reparse point" is an inode with reparse data set.  The reparse data is
53  * stored in a stream of type STREAM_TYPE_REPARSE_POINT.  There should be only
54  * one such stream, and it should be unnamed.  However, it is possible for an
55  * inode to have both a reparse point stream and an unnamed data stream, and
56  * even named data streams as well.
57  */
58 struct wim_inode_stream {
59
60         /* The name of the stream or NO_STREAM_NAME.  */
61         utf16lechar *stream_name;
62
63         /*
64          * If 'stream_resolved' = 0, then 'stream_hash' is the SHA-1 message
65          * digest of the uncompressed data of this stream, or all zeroes if this
66          * stream is empty.
67          *
68          * If 'stream_resolved' = 1, then 'stream_blob' is a pointer directly to
69          * a descriptor for this stream's blob, or NULL if this stream is empty.
70          */
71         union {
72                 u8 _stream_hash[SHA1_HASH_SIZE];
73                 struct blob_descriptor *_stream_blob;
74         } _packed_attribute; /* union is SHA1_HASH_SIZE bytes */
75
76         /* 'stream_resolved' determines whether 'stream_hash' or 'stream_blob'
77          * is valid as described above.  */
78         u32 stream_resolved : 1;
79
80         /* A unique identifier for this stream within the context of its inode.
81          * This stays constant even if the streams array is reallocated.  */
82         u32 stream_id : 28;
83
84         /* The type of this stream as one of the STREAM_TYPE_* values  */
85         u32 stream_type : 3;
86 };
87
88 /*
89  * WIM inode - a "file" in an image which may be accessible via multiple paths
90  *
91  * Note: in WIM files there is no true on-disk analogue of an inode; there are
92  * only directory entries, and some fields are duplicated among all links to a
93  * file.  However, wimlib uses inode structures internally to simplify handling
94  * of hard links.
95  */
96 struct wim_inode {
97
98         /*
99          * The collection of streams for this inode.  'i_streams' points to
100          * either 'i_embedded_streams' or an allocated array.
101          */
102         struct wim_inode_stream *i_streams;
103         struct wim_inode_stream i_embedded_streams[1];
104         unsigned i_num_streams;
105
106         /* Windows file attribute flags (FILE_ATTRIBUTE_*).  */
107         u32 i_attributes;
108
109         /* Root of a balanced binary search tree storing the child directory
110          * entries of this inode, if any.  Keyed by wim_dentry->d_name, case
111          * sensitively.  If this inode is not a directory or if it has no
112          * children then this will be an empty tree (NULL).  */
113         struct avl_tree_node *i_children;
114
115         /* Root of a balanced binary search tree storing the child directory
116          * entries of this inode, if any.  Keyed by wim_dentry->d_name, case
117          * insensitively.  If this inode is not a directory or if it has no
118          * children then this will be an empty tree (NULL).  */
119         struct avl_tree_node *i_children_ci;
120
121         /* List of dentries that are aliases for this inode.  There will be
122          * i_nlink dentries in this list.  */
123         struct hlist_head i_alias_list;
124
125         /* Field to place this inode into a list.  While reading a WIM image or
126          * adding files to a WIM image this is owned by the inode table;
127          * otherwise this links the inodes for the WIM image.  */
128         struct hlist_node i_hlist_node;
129
130         /* Number of dentries that are aliases for this inode.  */
131         u32 i_nlink : 30;
132
133         /* Flag used by some code to mark this inode as visited.  It will be 0
134          * by default, and it always must be cleared after use.  */
135         u32 i_visited : 1;
136
137         /* Cached value  */
138         u32 i_can_externally_back : 1;
139
140         /* If not NULL, a pointer to the extra data that was read from the
141          * dentry.  This should be a series of tagged items, each of which
142          * represents a bit of extra metadata, such as the file's object ID.
143          * See tagged_items.c for more information.  */
144         struct wim_inode_extra *i_extra;
145
146         /* Creation time, last access time, and last write time for this inode,
147          * in 100-nanosecond intervals since 12:00 a.m UTC January 1, 1601.
148          * They should correspond to the times gotten by calling GetFileTime()
149          * on Windows. */
150         u64 i_creation_time;
151         u64 i_last_access_time;
152         u64 i_last_write_time;
153
154         /* Corresponds to 'security_id' in `struct wim_dentry_on_disk':  The
155          * index of this inode's security descriptor in the WIM image's table of
156          * security descriptors, or -1 if this inode does not have a security
157          * descriptor.  */
158         s32 i_security_id;
159
160         /* Unknown field that we only read into memory so we can re-write it
161          * unchanged.  Probably it's actually just padding...  */
162         u32 i_unknown_0x54;
163
164         /* The following fields correspond to 'reparse_tag', 'rp_reserved', and
165          * 'rp_flags' in `struct wim_dentry_on_disk'.  They are only meaningful
166          * for reparse point files.  */
167         u32 i_reparse_tag;
168         u16 i_rp_reserved;
169         u16 i_rp_flags;
170
171         /* Inode number; corresponds to hard_link_group_id in the `struct
172          * wim_dentry_on_disk'.  */
173         u64 i_ino;
174
175         union {
176                 /* Device number, used only during image capture, so we can
177                  * identify hard linked files by the combination of inode number
178                  * and device number (rather than just inode number, which could
179                  * be ambiguous if the captured tree spans a mountpoint).  Set
180                  * to 0 otherwise.  */
181                 u64 i_devno;
182
183                 /* Fields used only during extraction  */
184                 struct {
185                         /* A singly linked list of aliases of this inode that
186                          * are being extracted in the current extraction
187                          * operation.  This list may be shorter than the inode's
188                          * full alias list.  This list will be constructed
189                          * regardless of whether the extraction backend supports
190                          * hard links or not.  */
191                         struct wim_dentry *i_first_extraction_alias;
192
193                 #ifdef WITH_NTFS_3G
194                         /* In NTFS-3G extraction mode, this is set to the Master
195                          * File Table (MFT) number of the NTFS file that was
196                          * created for this inode.  */
197                         u64 i_mft_no;
198                 #endif
199                 };
200
201                 /* Used during WIM writing with
202                  * WIMLIB_WRITE_FLAG_SEND_DONE_WITH_FILE_MESSAGES:  the number
203                  * of streams this inode has that have not yet been fully read.
204                  * */
205                 u32 i_num_remaining_streams;
206
207 #ifdef WITH_FUSE
208                 struct {
209                         /* Used only during image mount:  Table of file
210                          * descriptors that have been opened to this inode.
211                          * This table is freed when the last file descriptor is
212                          * closed.  */
213                         struct wimfs_fd **i_fds;
214
215                         /* Lower bound on the index of the next available entry
216                          * in 'i_fds'.  */
217                         u16 i_next_fd;
218                 };
219 #endif
220         };
221
222 #ifdef WITH_FUSE
223         u16 i_num_opened_fds;
224         u16 i_num_allocated_fds;
225 #endif
226
227         /* Next stream ID to be assigned  */
228         u32 i_next_stream_id;
229 };
230
231 /* Optional extra data for a WIM inode  */
232 struct wim_inode_extra {
233         size_t size;    /* Size of the extra data in bytes  */
234         u8 data[];      /* The extra data  */
235 };
236
237 /*
238  * The available reparse tags are documented at
239  * http://msdn.microsoft.com/en-us/library/dd541667(v=prot.10).aspx.
240  * Here we only define the ones of interest to us.
241  */
242 #define WIM_IO_REPARSE_TAG_MOUNT_POINT          0xA0000003
243 #define WIM_IO_REPARSE_TAG_SYMLINK              0xA000000C
244 #define WIM_IO_REPARSE_TAG_WOF                  0x80000017
245
246 /* Flags for the rp_flags field.  Currently the only known flag is NOT_FIXED,
247  * which indicates that the target of the absolute symbolic link or junction was
248  * not changed when it was stored.  */
249 #define WIM_RP_FLAG_NOT_FIXED              0x0001
250
251 /* Windows file attribute flags  */
252 #define FILE_ATTRIBUTE_READONLY            0x00000001
253 #define FILE_ATTRIBUTE_HIDDEN              0x00000002
254 #define FILE_ATTRIBUTE_SYSTEM              0x00000004
255 #define FILE_ATTRIBUTE_DIRECTORY           0x00000010
256 #define FILE_ATTRIBUTE_ARCHIVE             0x00000020
257 #define FILE_ATTRIBUTE_DEVICE              0x00000040
258 #define FILE_ATTRIBUTE_NORMAL              0x00000080
259 #define FILE_ATTRIBUTE_TEMPORARY           0x00000100
260 #define FILE_ATTRIBUTE_SPARSE_FILE         0x00000200
261 #define FILE_ATTRIBUTE_REPARSE_POINT       0x00000400
262 #define FILE_ATTRIBUTE_COMPRESSED          0x00000800
263 #define FILE_ATTRIBUTE_OFFLINE             0x00001000
264 #define FILE_ATTRIBUTE_NOT_CONTENT_INDEXED 0x00002000
265 #define FILE_ATTRIBUTE_ENCRYPTED           0x00004000
266 #define FILE_ATTRIBUTE_VIRTUAL             0x00010000
267
268 extern struct wim_inode *
269 new_inode(struct wim_dentry *dentry, bool set_timestamps);
270
271 /* Iterate through each alias of the specified inode.  */
272 #define inode_for_each_dentry(dentry, inode) \
273         hlist_for_each_entry((dentry), &(inode)->i_alias_list, d_alias_node)
274
275 /* Return an alias of the specified inode.  */
276 #define inode_any_dentry(inode) \
277         hlist_entry(inode->i_alias_list.first, struct wim_dentry, d_alias_node)
278
279 /* Return the full path of an alias of the specified inode, or NULL if a full
280  * path could not be determined.  */
281 #define inode_any_full_path(inode) \
282         dentry_full_path(inode_any_dentry(inode))
283
284 extern void
285 d_associate(struct wim_dentry *dentry, struct wim_inode *inode);
286
287 extern void
288 d_disassociate(struct wim_dentry *dentry);
289
290 #ifdef WITH_FUSE
291 extern void
292 inode_dec_num_opened_fds(struct wim_inode *inode);
293 #endif
294
295 /* Is the inode a directory?
296  * This doesn't count directories with reparse data.
297  * wimlib only allows inodes of this type to have children.
298  */
299 static inline bool
300 inode_is_directory(const struct wim_inode *inode)
301 {
302         return (inode->i_attributes & (FILE_ATTRIBUTE_DIRECTORY |
303                                        FILE_ATTRIBUTE_REPARSE_POINT))
304                         == FILE_ATTRIBUTE_DIRECTORY;
305 }
306
307 /* Is the inode a symbolic link?
308  * This returns true iff the inode is a reparse point that is either a "real"
309  * symbolic link or a junction point.  */
310 static inline bool
311 inode_is_symlink(const struct wim_inode *inode)
312 {
313         return (inode->i_attributes & FILE_ATTRIBUTE_REPARSE_POINT)
314                 && (inode->i_reparse_tag == WIM_IO_REPARSE_TAG_SYMLINK ||
315                     inode->i_reparse_tag == WIM_IO_REPARSE_TAG_MOUNT_POINT);
316 }
317
318 /* Does the inode have children?  Currently (based on read_dentry_tree() as well
319  * as the various build-dentry-tree implementations), this can only return true
320  * for inodes for which inode_is_directory() returns true.  */
321 static inline bool
322 inode_has_children(const struct wim_inode *inode)
323 {
324         return inode->i_children != NULL;
325 }
326
327 /* Does the inode have a security descriptor?  */
328 static inline bool
329 inode_has_security_descriptor(const struct wim_inode *inode)
330 {
331         return inode->i_security_id >= 0;
332 }
333
334 extern struct wim_inode_stream *
335 inode_get_stream(const struct wim_inode *inode, int stream_type,
336                  const utf16lechar *stream_name);
337
338 extern struct wim_inode_stream *
339 inode_get_unnamed_stream(const struct wim_inode *inode, int stream_type);
340
341 static inline struct wim_inode_stream *
342 inode_get_unnamed_data_stream(const struct wim_inode *inode)
343 {
344         return inode_get_unnamed_stream(inode, STREAM_TYPE_DATA);
345 }
346
347 extern struct wim_inode_stream *
348 inode_add_stream(struct wim_inode *inode, int stream_type,
349                  const utf16lechar *stream_name, struct blob_descriptor *blob);
350
351 extern void
352 inode_replace_stream_blob(struct wim_inode *inode,
353                           struct wim_inode_stream *strm,
354                           struct blob_descriptor *new_blob,
355                           struct blob_table *blob_table);
356
357 extern bool
358 inode_replace_stream_data(struct wim_inode *inode,
359                           struct wim_inode_stream *strm,
360                           const void *data, size_t size,
361                           struct blob_table *blob_table);
362
363 extern bool
364 inode_add_stream_with_data(struct wim_inode *inode,
365                            int stream_type, const utf16lechar *stream_name,
366                            const void *data, size_t size,
367                            struct blob_table *blob_table);
368
369 extern void
370 inode_remove_stream(struct wim_inode *inode, struct wim_inode_stream *strm,
371                     struct blob_table *blob_table);
372
373 static inline struct blob_descriptor *
374 stream_blob_resolved(const struct wim_inode_stream *strm)
375 {
376         wimlib_assert(strm->stream_resolved);
377         return strm->_stream_blob;
378 }
379
380 static inline bool
381 stream_is_named(const struct wim_inode_stream *strm)
382 {
383         return strm->stream_name != NO_STREAM_NAME;
384 }
385
386 static inline bool
387 stream_is_unnamed_data_stream(const struct wim_inode_stream *strm)
388 {
389         return strm->stream_type == STREAM_TYPE_DATA && !stream_is_named(strm);
390 }
391
392 static inline bool
393 stream_is_named_data_stream(const struct wim_inode_stream *strm)
394 {
395         return strm->stream_type == STREAM_TYPE_DATA && stream_is_named(strm);
396 }
397
398 extern bool
399 inode_has_named_data_stream(const struct wim_inode *inode);
400
401 extern int
402 inode_resolve_streams(struct wim_inode *inode, struct blob_table *table,
403                       bool force);
404
405 extern int
406 blob_not_found_error(const struct wim_inode *inode, const u8 *hash);
407
408 extern struct blob_descriptor *
409 stream_blob(const struct wim_inode_stream *strm, const struct blob_table *table);
410
411 extern struct blob_descriptor *
412 inode_get_blob_for_unnamed_data_stream(const struct wim_inode *inode,
413                                        const struct blob_table *blob_table);
414
415 extern struct blob_descriptor *
416 inode_get_blob_for_unnamed_data_stream_resolved(const struct wim_inode *inode);
417
418 extern const u8 *
419 stream_hash(const struct wim_inode_stream *strm);
420
421 extern const u8 *
422 inode_get_hash_of_unnamed_data_stream(const struct wim_inode *inode);
423
424 extern void
425 inode_ref_blobs(struct wim_inode *inode);
426
427 extern void
428 inode_unref_blobs(struct wim_inode *inode, struct blob_table *blob_table);
429
430 /* inode_fixup.c  */
431 extern int
432 dentry_tree_fix_inodes(struct wim_dentry *root, struct hlist_head *inode_list);
433
434 #endif /* _WIMLIB_INODE_H  */