]> wimlib.net Git - wimlib/blobdiff - include/wimlib/dentry.h
dentry.{c,h}: Cleanup and fixes
[wimlib] / include / wimlib / dentry.h
index e67eb5b5ec60bdc74c427bddf47de1f6f59ca3e6..a571e0213f93c93b5885bdf401b301895a7edee0 100644 (file)
@@ -1,6 +1,7 @@
 #ifndef _WIMLIB_DENTRY_H
 #define _WIMLIB_DENTRY_H
 
+#include "wimlib/compiler.h"
 #include "wimlib/list.h"
 #include "wimlib/rbtree.h"
 #include "wimlib/sha1.h"
 #include <string.h>
 #include <sys/types.h> /* uid_t, gid_t */
 
-#ifdef WITH_FUSE
-#  include <pthread.h>
-#endif
-
 struct wim_lookup_table;
 struct wim_lookup_table_entry;
 struct wimfs_fd;
 struct wim_inode;
+struct wim_security_data;
 
 /* Size of the struct wim_dentry up to and including the file_name_len. */
 #define WIM_DENTRY_DISK_SIZE    102
 
-/* Size of on-disk WIM alternate data stream entry, in bytes, up to and
- * including the stream length field (see below). */
-#define WIM_ADS_ENTRY_DISK_SIZE 38
-
 /*
  * Reparse tags documented at
  * http://msdn.microsoft.com/en-us/library/dd541667(v=prot.10).aspx
@@ -73,19 +67,20 @@ struct wim_ads_entry {
        };
 
        /* Length of UTF16-encoded stream name, in bytes, not including the
-        * terminating null character. */
+        * terminating null character; or 0 if the stream is unnamed. */
        u16 stream_name_nbytes;
 
        /* Number to identify an alternate data stream even after it's possibly
         * been moved or renamed. */
        u32 stream_id;
 
-       /* Stream name (UTF-16LE) */
+       /* Stream name (UTF-16LE), null-terminated, or NULL if the stream is
+        * unnamed.  */
        utf16lechar *stream_name;
 
-       /* Unused field.  We read it into memory so we can write it out
+       /* Reserved field.  We read it into memory so we can write it out
         * unchanged. */
-       u64 unused;
+       u64 reserved;
 };
 
 
@@ -127,12 +122,25 @@ ads_entries_have_same_name(const struct wim_ads_entry *entry_1,
  * dentry_tree_fix_inodes() in hardlink.c).
  */
 struct wim_dentry {
-       /* The inode for this dentry */
+       /* Pointer to the inode for this dentry.  This will contain some
+        * information that was factored out of the on-disk WIM dentry as common
+        * to all dentries in a hard link group.  */
        struct wim_inode *d_inode;
 
-       /* Red-black tree of sibling dentries */
+       /* Node for the parent's red-black tree of child dentries, sorted by
+        * case sensitive long name. */
        struct rb_node rb_node;
 
+#ifdef __WIN32__
+       /* Node for the parent's red-black tree of child dentries, sorted by
+        * case insensitive long name. */
+       struct rb_node rb_node_case_insensitive;
+
+       /* List of dentries in a directory that have different case sensitive
+        * long names but share the same case insensitive long name */
+       struct list_head case_insensitive_conflict_list;
+#endif
+
        /* Length of UTF-16LE encoded short filename, in bytes, not including
         * the terminating zero wide-character. */
        u16 short_name_nbytes;
@@ -145,55 +153,80 @@ struct wim_dentry {
         * including the terminating null character. */
        u32 full_path_nbytes;
 
-       /* Does this dentry need to be extracted? */
+       /* For extraction operations, a subtree of dentries will have this flag
+        * set so we can keep track of which dentries still need to be
+        * extracted.  Otherwise this will always be 0.  */
        u8 needs_extraction : 1;
 
-       /* Only used during NTFS capture */
+       /* For extraction operations, this flag will be set when a dentry in the
+        * tree being extracted is not being extracted for some reason (file
+        * type not supported by target filesystem or contains invalid
+        * characters).  Otherwise this will always be 0. */
+       u8 not_extracted : 1;
+
+       /* When capturing from a NTFS volume using NTFS-3g, this flag is set on
+        * dentries that were created from a filename in the WIN32 or WIN32+DOS
+        * namespaces rather than the POSIX namespace.  Otherwise this will
+        * always be 0.  */
        u8 is_win32_name : 1;
 
-       /* Temporary list */
+       /* When verifying the dentry tree after reading it into memory, this
+        * flag will be set on all dentries in a hard link group that have a
+        * nonempty DOS name except one.  This is because it is supposed to be
+        * illegal (on NTFS, at least) for a single inode to have multiple DOS
+        * names.  */
+       u8 dos_name_invalid : 1;
+
+       /* Temporary list field used to make lists of dentries in a few places.
+        * */
        struct list_head tmp_list;
 
-       /* List of dentries in the inode (hard link set)  */
+       /* Linked list node that places this dentry in the list of aliases for
+        * its inode (d_inode) */
        struct list_head d_alias;
 
        /* The parent of this directory entry. */
        struct wim_dentry *parent;
 
-       /*
-        * Size of directory entry on disk, in bytes.  Typical size is around
-        * 104 to 120 bytes.
-        *
-        * It is possible for the length field to be 0.  This situation, which
-        * is undocumented, indicates the end of a list of sibling nodes in a
-        * directory.  It also means the real length is 8, because the dentry
-        * included only the length field, but that takes up 8 bytes.
-        *
-        * The length here includes the base directory entry on disk as well as
-        * the long and short filenames.  It does NOT include any alternate
-        * stream entries that may follow the directory entry, even though the
-        * size of those needs to be considered.  The length SHOULD be 8-byte
-        * aligned, although we don't require it to be.  We do require the
-        * length to be large enough to hold the file name(s) of the dentry;
-        * additionally, a warning is issued if this field is larger than the
-        * aligned size.
-        */
+       /* 'length' and 'subdir_offset' are only used while reading and writing
+        * this dentry; see the corresponding field in
+        * `struct wim_dentry_on_disk' for explanation.  */
        u64 length;
-
-       /* The offset, from the start of the uncompressed WIM metadata resource
-        * for this image, of this dentry's child dentries.  0 if the directory
-        * entry has no children, which is the case for regular files or reparse
-        * points. */
        u64 subdir_offset;
 
-       /* Pointer to the UTF-16LE short filename (malloc()ed buffer) */
+       /* These correspond to the two unused fields in the on-disk WIM dentry;
+        * we read them into memory so we can write them unchanged.  These
+        * fields are set to 0 on new dentries.  */
+       u64 d_unused_1;
+       u64 d_unused_2;
+
+       /* Pointer to the UTF-16LE short filename (malloc()ed buffer), or NULL
+        * if this dentry has no short name.  */
        utf16lechar *short_name;
 
-       /* Pointer to the UTF-16LE filename (malloc()ed buffer). */
+       /* Pointer to the UTF-16LE filename (malloc()ed buffer), or NULL if this
+        * dentry has no filename.  */
        utf16lechar *file_name;
 
-       /* Full path of this dentry */
+       /* Full path to this dentry in the WIM, in platform-dependent tchars
+        * that can be printed without conversion.  By default this field will
+        * be NULL and will only be calculated on-demand by the
+        * calculate_dentry_full_path() or dentry_full_path() functions.  */
        tchar *_full_path;
+
+       /* (Extraction only) Actual name to extract this dentry as, along with
+        * its length in tchars excluding the NULL terminator.  This usually
+        * will be the same as file_name, with the character encoding converted
+        * if needed.  But if file_name contains characters not accepted on the
+        * current platform, then this may be set slightly differently from
+        * file_name.  This will be either NULL or a malloc()ed buffer that may
+        * alias file_name.  */
+       tchar *extraction_name;
+       size_t extraction_name_nchars;
+
+       /* (Extraction only) List head for building a list of dentries that
+        * contain a certain stream. */
+       struct list_head extraction_stream_list;
 };
 
 #define rbnode_dentry(node) container_of(node, struct wim_dentry, rb_node)
@@ -201,99 +234,142 @@ struct wim_dentry {
 /*
  * WIM inode.
  *
- * As mentioned above, in the WIM file that is no on-disk analogue of a real
- * inode, as most of these fields are duplicated in the dentries.
+ * As mentioned in the comment above `struct wim_dentry', in the WIM file that
+ * is no on-disk analogue of a real inode, as most of these fields are
+ * duplicated in the dentries.  Instead, a `struct wim_inode' is something we
+ * create ourselves to simplify the handling of hard links.
  */
 struct wim_inode {
-       /* Timestamps for the inode.  The timestamps are the number of
-        * 100-nanosecond intervals that have elapsed since 12:00 A.M., January
-        * 1st, 1601, UTC.  This is the same format used in NTFS inodes. */
-       u64 i_creation_time;
-       u64 i_last_access_time;
-       u64 i_last_write_time;
+       /* If i_resolved == 0:
+        *      SHA1 message digest of the contents of the unnamed-data stream
+        *      of this inode.
+        *
+        * If i_resolved == 1:
+        *      Pointer to the lookup table entry for the unnamed data stream
+        *      of this inode, or NULL.
+        *
+        * i_hash corresponds to the 'unnamed_stream_hash' field of the `struct
+        * wim_dentry_on_disk' and the additional caveats documented about that
+        * field apply here (for example, the quirks regarding all-zero hashes).
+        */
+       union {
+               u8 i_hash[SHA1_HASH_SIZE];
+               struct wim_lookup_table_entry *i_lte;
+       };
 
-       /* The file attributes associated with this inode.  This is a bitwise OR
-        * of the FILE_ATTRIBUTE_* flags. */
+       /* Corresponds to the 'attributes' field of `struct wim_dentry_on_disk';
+        * bitwise OR of the FILE_ATTRIBUTE_* flags that give the attributes of
+        * this inode. */
        u32 i_attributes;
 
-       /* The index of the security descriptor in the WIM image's table of
-        * security descriptors that contains this file's security information.
-        * If -1, no security information exists for this file.  */
-       int32_t i_security_id;
+       /* Root of a red-black tree storing the child dentries of this inode, if
+        * any.  Keyed by wim_dentry->file_name, case sensitively. */
+       struct rb_root i_children;
 
-       /* %true iff the inode's lookup table entries has been resolved (i.e.
-        * the @lte field is valid, but the @hash field is not valid)
-        *
-        * (This is not an on-disk field.) */
-       u8 i_resolved : 1;
+#ifdef __WIN32__
+       /* Root of a red-black tree storing the children of this inode, if any.
+        * Keyed by wim_dentry->file_name, case insensitively. */
+       struct rb_root i_children_case_insensitive;
+#endif
 
-       /* %true iff verify_inode() has run on this inode. */
-       u8 i_verified : 1;
+       /* List of dentries that are aliases for this inode.  There will be
+        * i_nlink dentries in this list.  */
+       struct list_head i_dentry;
 
-       u8 i_visited : 1;
+       /* Field to place this inode into a list. */
+       union {
+               /* Hash list node- used in hardlink.c when the inodes are placed
+                * into a hash table keyed by inode number and optionally device
+                * number, in order to detect dentries that are aliases for the
+                * same inode. */
+               struct hlist_node i_hlist;
 
-       /* Used only in NTFS-mode extraction */
-       u8 i_dos_name_extracted : 1;
+               /* Normal list node- used to connect all the inodes of a WIM image
+                * into a single linked list referenced from the
+                * `struct wim_image_metadata' for that image. */
+               struct list_head i_list;
+       };
 
-       /* Set to 0 if reparse point fixups have been done.  Otherwise set to 1.
-        *
-        * Note: this actually may reflect the SYMBOLIC_LINK_RELATIVE flag.  */
-       u16 i_not_rpfixed;
+       /* Number of dentries that are aliases for this inode.  */
+       u32 i_nlink;
 
        /* Number of alternate data streams associated with this inode */
        u16 i_num_ads;
 
-       /* Unused/unknown fields that we just read into memory so we can
-        * re-write them unchanged.  */
-       u64 i_unused_1;
-       u64 i_unused_2;
-       u32 i_rp_unknown_1;
-       u16 i_rp_unknown_2;
+       /* Flag that indicates whether this inode's streams have been
+        * "resolved".  By default, the inode starts as "unresolved", meaning
+        * that the i_hash field, along with the hash field of any associated
+        * wim_ads_entry's, are valid and should be used as keys in the WIM
+        * lookup table to find the associated `struct wim_lookup_table_entry'.
+        * But if the inode has been resolved, then each of these fields is
+        * replaced with a pointer directly to the appropriate `struct
+        * wim_lookup_table_entry', or NULL if the stream is empty.  */
+       u8 i_resolved : 1;
 
-       /* A hash of the file's contents, or a pointer to the lookup table entry
-        * for this dentry if the lookup table entries have been resolved.
-        *
-        * More specifically, this is for the un-named default file stream, as
-        * opposed to the alternate (named) file streams, which may have their
-        * own lookup table entries.  */
-       union {
-               u8 i_hash[SHA1_HASH_SIZE];
-               struct wim_lookup_table_entry *i_lte;
-       };
+       /* Flag used to mark this inode as visited; this is used when visiting
+        * all the inodes in a dentry tree exactly once.  It will be 0 by
+        * default and must be cleared following the tree traversal, even in
+        * error paths.  */
+       u8 i_visited : 1;
+
+       /* For NTFS-3g extraction:  Set after the DOS name for this inode has
+        * been extracted.  */
+       u8 i_dos_name_extracted : 1;
+
+       /* Pointer to a malloc()ed array of i_num_ads alternate data stream
+        * entries for this inode.  */
+       struct wim_ads_entry *i_ads_entries;
+
+       /* Creation time, last access time, and last write time for this inode, in
+        * 100-nanosecond intervals since 12:00 a.m UTC January 1, 1601.  They
+        * should correspond to the times gotten by calling GetFileTime() on
+        * Windows. */
+       u64 i_creation_time;
+       u64 i_last_access_time;
+       u64 i_last_write_time;
+
+       /* Corresponds to 'security_id' in `struct wim_dentry_on_disk':  The
+        * index of this inode's security descriptor in the WIM image's table of
+        * security descriptors, or -1.  Note: in verify_inode(), called
+        * whenever a WIM image is loaded, out-of-bounds indices are set to -1,
+        * so the extraction code does not need to do bounds checks.  */
+       int32_t i_security_id;
 
        /* Identity of a reparse point.  See
         * http://msdn.microsoft.com/en-us/library/windows/desktop/aa365503(v=vs.85).aspx
         * for what a reparse point is. */
        u32 i_reparse_tag;
 
-       /* Number of dentries that reference this inode */
-       u32 i_nlink;
+       /* Unused/unknown fields that we just read into memory so we can
+        * re-write them unchanged.  */
+       u32 i_rp_unknown_1;
+       u16 i_rp_unknown_2;
 
-       /* Alternate data stream entries. */
-       struct wim_ads_entry *i_ads_entries;
+       /* Corresponds to not_rpfixed in `struct wim_dentry_on_disk':  Set to 0
+        * if reparse point fixups have been done.  Otherwise set to 1.  Note:
+        * this actually may reflect the SYMBOLIC_LINK_RELATIVE flag.
+        */
+       u16 i_not_rpfixed;
 
-       /* Inode number */
+       /* Inode number; corresponds to hard_link_group_id in the `struct
+        * wim_dentry_on_disk'.  */
        u64 i_ino;
 
-       /* Device number, used only during image capture */
-       u64 i_devno;
-
-       /* List of dentries that reference this inode (there should be
-        * link_count of them) */
-       struct list_head i_dentry;
-
        union {
-               struct hlist_node i_hlist;
-               struct list_head i_list;
+               /* Device number, used only during image capture, so we can
+                * identify hard linked files by the combination of inode number
+                * and device number (rather than just inode number, which could
+                * be ambigious if the captured tree spans a mountpoint).  Set
+                * to 0 otherwise.  */
+               u64 i_devno;
+
+               /* Used only during image extraction: pointer to the first path
+                * (malloc()ed buffer) at which this inode has been extracted.
+                * Freed and set to NULL after the extraction is done (either
+                * success or failure).  */
+               tchar *i_extracted_file;
        };
 
-       tchar *i_extracted_file;
-
-       /* Root of a red-black tree storing the children of this inode (if
-        * non-empty, implies the inode is a directory, although that is also
-        * noted in the @attributes field.) */
-       struct rb_root i_children;
-
        /* Next alternate data stream ID to be assigned */
        u32 i_next_stream_id;
 
@@ -302,10 +378,6 @@ struct wim_inode {
        u16 i_num_opened_fds;
        u16 i_num_allocated_fds;
        struct wimfs_fd **i_fds;
-       /* This mutex protects the inode's file descriptors table during
-        * read-only mounts.  Read-write mounts are still restricted to 1
-        * thread. */
-       pthread_mutex_t i_mutex;
 #endif
 };
 
@@ -318,6 +390,9 @@ struct wim_inode {
 #define inode_first_dentry(inode) \
                container_of(inode->i_dentry.next, struct wim_dentry, d_alias)
 
+#define inode_first_full_path(inode) \
+               dentry_full_path(inode_first_dentry(inode))
+
 static inline bool
 dentry_is_first_in_inode(const struct wim_dentry *dentry)
 {
@@ -382,6 +457,9 @@ print_dentry(struct wim_dentry *dentry, void *lookup_table);
 extern int
 print_dentry_full_path(struct wim_dentry *entry, void *ignore);
 
+extern int
+calculate_dentry_full_path(struct wim_dentry *dentry);
+
 extern int
 calculate_dentry_tree_full_paths(struct wim_dentry *root);
 
@@ -389,7 +467,7 @@ extern tchar *
 dentry_full_path(struct wim_dentry *dentry);
 
 extern struct wim_inode *
-new_timeless_inode(void);
+new_timeless_inode(void) _malloc_attribute;
 
 extern int
 new_dentry(const tchar *name, struct wim_dentry **dentry_ret);
@@ -462,7 +540,7 @@ struct wimlib_unix_data {
        u16 uid;
        u16 gid;
        u16 mode;
-} PACKED;
+} _packed_attribute;
 
 #ifndef __WIN32__
 
@@ -484,16 +562,18 @@ inode_set_unix_data(struct wim_inode *inode, uid_t uid, gid_t gid, mode_t mode,
 #endif
 
 extern int
-read_dentry(const u8 metadata_resource[], u64 metadata_resource_len,
-           u64 offset, struct wim_dentry *dentry);
-
+read_dentry(const u8 * restrict metadata_resource,
+           u64 metadata_resource_len, u64 offset,
+           struct wim_dentry * restrict dentry);
 
 extern int
-read_dentry_tree(const u8 metadata_resource[], u64 metadata_resource_len,
-                struct wim_dentry *dentry);
+read_dentry_tree(const u8 * restrict metadata_resource,
+                u64 metadata_resource_len,
+                struct wim_dentry * restrict dentry);
 
 extern u8 *
-write_dentry_tree(const struct wim_dentry *tree, u8 *p);
+write_dentry_tree(const struct wim_dentry * restrict tree,
+                 u8 * restrict p);
 
 static inline bool
 dentry_is_root(const struct wim_dentry *dentry)
@@ -504,8 +584,9 @@ dentry_is_root(const struct wim_dentry *dentry)
 static inline bool
 inode_is_directory(const struct wim_inode *inode)
 {
-       return (inode->i_attributes & FILE_ATTRIBUTE_DIRECTORY)
-               && !(inode->i_attributes & FILE_ATTRIBUTE_REPARSE_POINT);
+       return (inode->i_attributes & (FILE_ATTRIBUTE_DIRECTORY |
+                                      FILE_ATTRIBUTE_REPARSE_POINT))
+                       == FILE_ATTRIBUTE_DIRECTORY;
 }
 
 static inline bool
@@ -524,18 +605,6 @@ inode_is_symlink(const struct wim_inode *inode)
                    inode->i_reparse_tag == WIM_IO_REPARSE_TAG_MOUNT_POINT);
 }
 
-static inline bool
-inode_is_regular_file(const struct wim_inode *inode)
-{
-       return !inode_is_directory(inode) && !inode_is_symlink(inode);
-}
-
-static inline bool
-dentry_is_regular_file(const struct wim_dentry *dentry)
-{
-       return inode_is_regular_file(dentry->d_inode);
-}
-
 static inline bool
 inode_has_children(const struct wim_inode *inode)
 {
@@ -567,6 +636,6 @@ extern int
 dentry_tree_fix_inodes(struct wim_dentry *root, struct list_head *inode_list);
 
 extern int
-verify_dentry(struct wim_dentry *dentry, void *wim);
+verify_inode(struct wim_inode *inode, const struct wim_security_data *sd);
 
-#endif
+#endif /* _WIMLIB_DENTRY_H */