]> wimlib.net Git - wimlib/blobdiff - include/wimlib/dentry.h
extract.c: Store dentries to extract in list
[wimlib] / include / wimlib / dentry.h
index daf92a7897977618819d16bf4049176e78e0f646..90127d43d71e75054682dfdc4e0f7c1667ec4ab6 100644 (file)
 #ifndef _WIMLIB_DENTRY_H
 #define _WIMLIB_DENTRY_H
 
+#include "wimlib/case.h"
 #include "wimlib/compiler.h"
+#include "wimlib/inode.h"
 #include "wimlib/list.h"
 #include "wimlib/rbtree.h"
-#include "wimlib/sha1.h"
 #include "wimlib/types.h"
 
-#include <string.h>
-#include <sys/types.h> /* uid_t, gid_t */
-
-#ifdef WITH_FUSE
-#  include <pthread.h>
-#endif
-
+struct wim_inode;
 struct wim_lookup_table;
 struct wim_lookup_table_entry;
-struct wimfs_fd;
-struct wim_inode;
 struct wim_security_data;
 
-/* Size of the struct wim_dentry up to and including the file_name_len. */
-#define WIM_DENTRY_DISK_SIZE    102
-
-/*
- * Reparse tags documented at
- * http://msdn.microsoft.com/en-us/library/dd541667(v=prot.10).aspx
- */
-#define WIM_IO_REPARSE_TAG_RESERVED_ZERO       0x00000000
-#define WIM_IO_REPARSE_TAG_RESERVED_ONE                0x00000001
-#define WIM_IO_REPARSE_TAG_MOUNT_POINT         0xA0000003
-#define WIM_IO_REPARSE_TAG_HSM                 0xC0000004
-#define WIM_IO_REPARSE_TAG_HSM2                        0x80000006
-#define WIM_IO_REPARSE_TAG_DRIVER_EXTENDER     0x80000005
-#define WIM_IO_REPARSE_TAG_SIS                 0x80000007
-#define WIM_IO_REPARSE_TAG_DFS                 0x8000000A
-#define WIM_IO_REPARSE_TAG_DFSR                        0x80000012
-#define WIM_IO_REPARSE_TAG_FILTER_MANAGER      0x8000000B
-#define WIM_IO_REPARSE_TAG_SYMLINK             0xA000000C
-
-#define FILE_ATTRIBUTE_READONLY            0x00000001
-#define FILE_ATTRIBUTE_HIDDEN              0x00000002
-#define FILE_ATTRIBUTE_SYSTEM              0x00000004
-#define FILE_ATTRIBUTE_DIRECTORY           0x00000010
-#define FILE_ATTRIBUTE_ARCHIVE             0x00000020
-#define FILE_ATTRIBUTE_DEVICE              0x00000040
-#define FILE_ATTRIBUTE_NORMAL              0x00000080
-#define FILE_ATTRIBUTE_TEMPORARY           0x00000100
-#define FILE_ATTRIBUTE_SPARSE_FILE         0x00000200
-#define FILE_ATTRIBUTE_REPARSE_POINT       0x00000400
-#define FILE_ATTRIBUTE_COMPRESSED          0x00000800
-#define FILE_ATTRIBUTE_OFFLINE             0x00001000
-#define FILE_ATTRIBUTE_NOT_CONTENT_INDEXED 0x00002000
-#define FILE_ATTRIBUTE_ENCRYPTED           0x00004000
-#define FILE_ATTRIBUTE_VIRTUAL             0x00010000
-
-
-/* Alternate data stream entry.
- *
- * We read this from disk in the read_ads_entries() function; see that function
- * for more explanation. */
-struct wim_ads_entry {
-       union {
-               /* SHA-1 message digest of stream contents */
-               u8 hash[SHA1_HASH_SIZE];
-
-               /* The corresponding lookup table entry (only for resolved
-                * streams) */
-               struct wim_lookup_table_entry *lte;
-       };
-
-       /* Length of UTF16-encoded stream name, in bytes, not including the
-        * terminating null character; or 0 if the stream is unnamed. */
-       u16 stream_name_nbytes;
-
-       /* Number to identify an alternate data stream even after it's possibly
-        * been moved or renamed. */
-       u32 stream_id;
-
-       /* Stream name (UTF-16LE), null-terminated, or NULL if the stream is
-        * unnamed.  */
-       utf16lechar *stream_name;
-
-       /* Reserved field.  We read it into memory so we can write it out
-        * unchanged. */
-       u64 reserved;
-};
-
-
-static inline bool
-ads_entries_have_same_name(const struct wim_ads_entry *entry_1,
-                          const struct wim_ads_entry *entry_2)
-{
-       return entry_1->stream_name_nbytes == entry_2->stream_name_nbytes &&
-              memcmp(entry_1->stream_name, entry_2->stream_name,
-                     entry_1->stream_name_nbytes) == 0;
-}
+/* Base size of a WIM dentry in the on-disk format, up to and including the file
+ * name length.  This does not include the variable-length file name, short
+ * name, alternate data stream entries, and padding to 8-byte boundaries.  */
+#define WIM_DENTRY_DISK_SIZE 102
 
 /*
  * In-memory structure for a WIM directory entry (dentry).  There is a directory
@@ -123,7 +44,7 @@ ads_entries_have_same_name(const struct wim_ads_entry *entry_1,
  * that Microsoft may have fixed this problem, since I've only noticed it in the
  * 'install.wim' for Windows 7).  For those dentries, we have to use the
  * conflicting fields to split up the hard link groups.  (See
- * dentry_tree_fix_inodes() in hardlink.c).
+ * dentry_tree_fix_inodes() in inode_fixup.c.)
  */
 struct wim_dentry {
        /* Pointer to the inode for this dentry.  This will contain some
@@ -135,7 +56,6 @@ struct wim_dentry {
         * case sensitive long name. */
        struct rb_node rb_node;
 
-#ifdef __WIN32__
        /* Node for the parent's red-black tree of child dentries, sorted by
         * case insensitive long name. */
        struct rb_node rb_node_case_insensitive;
@@ -143,7 +63,6 @@ struct wim_dentry {
        /* List of dentries in a directory that have different case sensitive
         * long names but share the same case insensitive long name */
        struct list_head case_insensitive_conflict_list;
-#endif
 
        /* Length of UTF-16LE encoded short filename, in bytes, not including
         * the terminating zero wide-character. */
@@ -157,16 +76,9 @@ struct wim_dentry {
         * including the terminating null character. */
        u32 full_path_nbytes;
 
-       /* For extraction operations, a subtree of dentries will have this flag
-        * set so we can keep track of which dentries still need to be
-        * extracted.  Otherwise this will always be 0.  */
-       u8 needs_extraction : 1;
-
-       /* For extraction operations, this flag will be set when a dentry in the
-        * tree being extracted is not being extracted for some reason (file
-        * type not supported by target filesystem or contains invalid
-        * characters).  Otherwise this will always be 0. */
-       u8 not_extracted : 1;
+       /* During extraction extractions, this flag will be set after the
+        * "skeleton" of the dentry has been extracted.  */
+       u8 skeleton_extracted : 1;
 
        /* When capturing from a NTFS volume using NTFS-3g, this flag is set on
         * dentries that were created from a filename in the WIN32 or WIN32+DOS
@@ -174,17 +86,19 @@ struct wim_dentry {
         * always be 0.  */
        u8 is_win32_name : 1;
 
-       /* When verifying the dentry tree after reading it into memory, this
-        * flag will be set on all dentries in a hard link group that have a
-        * nonempty DOS name except one.  This is because it is supposed to be
-        * illegal (on NTFS, at least) for a single inode to have multiple DOS
-        * names.  */
-       u8 dos_name_invalid : 1;
+       /* Temporary flag; always reset to 0 when done using.  */
+       u8 tmp_flag : 1;
 
-       /* Temporary list field used to make lists of dentries in a few places.
-        * */
+       /* Set to 1 if this name was extracted as a link, so no streams need to
+        * be extracted to it.  */
+       u8 was_linked : 1;
+
+       /* Temporary list field  */
        struct list_head tmp_list;
 
+       /* Links list of dentries being extracted  */
+       struct list_head extraction_list;
+
        /* Linked list node that places this dentry in the list of aliases for
         * its inode (d_inode) */
        struct list_head d_alias;
@@ -227,142 +141,10 @@ struct wim_dentry {
         * alias file_name.  */
        tchar *extraction_name;
        size_t extraction_name_nchars;
-
-       /* (Extraction only) List head for building a list of dentries that
-        * contain a certain stream. */
-       struct list_head extraction_stream_list;
 };
 
 #define rbnode_dentry(node) container_of(node, struct wim_dentry, rb_node)
 
-/*
- * WIM inode.
- *
- * As mentioned above, in the WIM file that is no on-disk analogue of a real
- * inode, as most of these fields are duplicated in the dentries.
- */
-struct wim_inode {
-       /* Timestamps for the inode.  The timestamps are the number of
-        * 100-nanosecond intervals that have elapsed since 12:00 A.M., January
-        * 1st, 1601, UTC.  This is the same format used in NTFS inodes. */
-       u64 i_creation_time;
-       u64 i_last_access_time;
-       u64 i_last_write_time;
-
-       /* The file attributes associated with this inode.  This is a bitwise OR
-        * of the FILE_ATTRIBUTE_* flags. */
-       u32 i_attributes;
-
-       /* The index of the security descriptor in the WIM image's table of
-        * security descriptors that contains this file's security information.
-        * If -1, no security information exists for this file.  */
-       int32_t i_security_id;
-
-       /* %true iff the inode's lookup table entries has been resolved (i.e.
-        * the @lte field is valid, but the @hash field is not valid)
-        *
-        * (This is not an on-disk field.) */
-       u8 i_resolved : 1;
-
-       u8 i_visited : 1;
-
-       /* Used only in NTFS-mode extraction */
-       u8 i_dos_name_extracted : 1;
-
-       /* Set to 0 if reparse point fixups have been done.  Otherwise set to 1.
-        *
-        * Note: this actually may reflect the SYMBOLIC_LINK_RELATIVE flag.  */
-       u16 i_not_rpfixed;
-
-       /* Number of alternate data streams associated with this inode */
-       u16 i_num_ads;
-
-       /* Unused/unknown fields that we just read into memory so we can
-        * re-write them unchanged.  */
-       u32 i_rp_unknown_1;
-       u16 i_rp_unknown_2;
-
-       /* If i_resolved == 0:
-        *      SHA1 message digest of the contents of the unnamed-data stream
-        *      of this inode, or all zeroes if this inode has no unnamed data
-        *      stream, or optionally all zeroes if this inode has an empty
-        *      unnamed data stream.
-        *
-        * If i_resolved == 1:
-        *      Pointer to the lookup table entry for the unnamed data stream
-        *      of this inode, or NULL if this inode has no unnamed data stream,
-        *      or optionally all zeroes if this inode has an empty unnamed data
-        *      stream.
-        */
-       union {
-               u8 i_hash[SHA1_HASH_SIZE];
-               struct wim_lookup_table_entry *i_lte;
-       };
-
-       /* Identity of a reparse point.  See
-        * http://msdn.microsoft.com/en-us/library/windows/desktop/aa365503(v=vs.85).aspx
-        * for what a reparse point is. */
-       u32 i_reparse_tag;
-
-       /* Number of dentries that reference this inode */
-       u32 i_nlink;
-
-       /* Alternate data stream entries. */
-       struct wim_ads_entry *i_ads_entries;
-
-       /* Inode number */
-       u64 i_ino;
-
-       /* Device number, used only during image capture */
-       u64 i_devno;
-
-       /* List of dentries that reference this inode (there should be i_nlink
-        * of them) */
-       struct list_head i_dentry;
-
-       union {
-               struct hlist_node i_hlist;
-               struct list_head i_list;
-       };
-
-       tchar *i_extracted_file;
-
-       /* Root of a red-black tree storing the children of this inode (if
-        * non-empty, implies the inode is a directory, although that is also
-        * noted in the @attributes field.) */
-       struct rb_root i_children;
-
-#ifdef __WIN32__
-       struct rb_root i_children_case_insensitive;
-#endif
-
-       /* Next alternate data stream ID to be assigned */
-       u32 i_next_stream_id;
-
-#ifdef WITH_FUSE
-       /* wimfs file descriptors table for the inode */
-       u16 i_num_opened_fds;
-       u16 i_num_allocated_fds;
-       struct wimfs_fd **i_fds;
-       /* This mutex protects the inode's file descriptors table during
-        * read-only mounts.  Read-write mounts are still restricted to 1
-        * thread. */
-       pthread_mutex_t i_mutex;
-#endif
-};
-
-#define inode_for_each_dentry(dentry, inode) \
-               list_for_each_entry((dentry), &(inode)->i_dentry, d_alias)
-
-#define inode_add_dentry(dentry, inode) \
-               list_add_tail(&(dentry)->d_alias, &(inode)->i_dentry)
-
-#define inode_first_dentry(inode) \
-               container_of(inode->i_dentry.next, struct wim_dentry, d_alias)
-
-#define inode_first_full_path(inode) \
-               dentry_full_path(inode_first_dentry(inode))
-
 static inline bool
 dentry_is_first_in_inode(const struct wim_dentry *dentry)
 {
@@ -370,7 +152,7 @@ dentry_is_first_in_inode(const struct wim_dentry *dentry)
 }
 
 extern u64
-dentry_correct_total_length(const struct wim_dentry *dentry);
+dentry_out_total_length(const struct wim_dentry *dentry);
 
 extern int
 for_dentry_in_tree(struct wim_dentry *root,
@@ -382,15 +164,10 @@ for_dentry_in_rbtree(struct rb_node *node,
                     int (*visitor)(struct wim_dentry *, void *),
                     void *arg);
 
-static inline int
+extern int
 for_dentry_child(const struct wim_dentry *dentry,
                 int (*visitor)(struct wim_dentry *, void *),
-                void *arg)
-{
-       return for_dentry_in_rbtree(dentry->d_inode->i_children.rb_node,
-                                   visitor,
-                                   arg);
-}
+                void *arg);
 
 extern int
 for_dentry_in_tree_depth(struct wim_dentry *root,
@@ -401,31 +178,40 @@ extern void
 calculate_subdir_offsets(struct wim_dentry *dentry, u64 *subdir_offset_p);
 
 extern int
-set_dentry_name(struct wim_dentry *dentry, const tchar *new_name);
+dentry_set_name(struct wim_dentry *dentry, const tchar *new_name);
 
 extern struct wim_dentry *
-get_dentry(struct WIMStruct *w, const tchar *path);
-
-extern struct wim_inode *
-wim_pathname_to_inode(struct WIMStruct *w, const tchar *path);
+get_dentry(struct WIMStruct *wim, const tchar *path,
+          CASE_SENSITIVITY_TYPE case_type);
 
 extern struct wim_dentry *
 get_dentry_child_with_name(const struct wim_dentry *dentry,
-                          const tchar *name);
+                          const tchar *name,
+                          CASE_SENSITIVITY_TYPE case_type);
 
 extern struct wim_dentry *
 get_dentry_child_with_utf16le_name(const struct wim_dentry *dentry,
                                   const utf16lechar *name,
-                                  size_t name_nbytes);
+                                  size_t name_nbytes,
+                                  CASE_SENSITIVITY_TYPE case_type);
 
 extern struct wim_dentry *
-get_parent_dentry(struct WIMStruct *w, const tchar *path);
+get_parent_dentry(struct WIMStruct *wim, const tchar *path,
+                 CASE_SENSITIVITY_TYPE case_type);
 
-extern int
-print_dentry(struct wim_dentry *dentry, void *lookup_table);
+#ifdef WITH_FUSE
+
+#define LOOKUP_FLAG_ADS_OK             0x00000001
+#define LOOKUP_FLAG_DIRECTORY_OK       0x00000002
 
 extern int
-print_dentry_full_path(struct wim_dentry *entry, void *ignore);
+wim_pathname_to_stream(WIMStruct *wim,
+                      const tchar *path,
+                      int lookup_flags,
+                      struct wim_dentry **dentry_ret,
+                      struct wim_lookup_table_entry **lte_ret,
+                      u16 *stream_idx_ret);
+#endif
 
 extern int
 calculate_dentry_full_path(struct wim_dentry *dentry);
@@ -436,9 +222,6 @@ calculate_dentry_tree_full_paths(struct wim_dentry *root);
 extern tchar *
 dentry_full_path(struct wim_dentry *dentry);
 
-extern struct wim_inode *
-new_timeless_inode(void) _malloc_attribute;
-
 extern int
 new_dentry(const tchar *name, struct wim_dentry **dentry_ret);
 
@@ -448,12 +231,12 @@ new_dentry_with_inode(const tchar *name, struct wim_dentry **dentry_ret);
 extern int
 new_dentry_with_timeless_inode(const tchar *name, struct wim_dentry **dentry_ret);
 
+extern void
+dentry_tree_clear_inode_visited(struct wim_dentry *root);
+
 extern int
 new_filler_directory(const tchar *name, struct wim_dentry **dentry_ret);
 
-extern void
-free_inode(struct wim_inode *inode);
-
 extern void
 free_dentry(struct wim_dentry *dentry);
 
@@ -471,76 +254,18 @@ extern struct wim_dentry *
 dentry_add_child(struct wim_dentry * restrict parent,
                 struct wim_dentry * restrict child);
 
-extern struct wim_ads_entry *
-inode_get_ads_entry(struct wim_inode *inode, const tchar *stream_name,
-                   u16 *idx_ret);
-
-extern struct wim_ads_entry *
-inode_add_ads_utf16le(struct wim_inode *inode,
-                     const utf16lechar *stream_name,
-                     size_t stream_name_nbytes);
-
-extern struct wim_ads_entry *
-inode_add_ads(struct wim_inode *dentry, const tchar *stream_name);
-
-extern int
-inode_add_ads_with_data(struct wim_inode *inode, const tchar *name,
-                       const void *value, size_t size,
-                       struct wim_lookup_table *lookup_table);
-
 extern int
-inode_set_unnamed_stream(struct wim_inode *inode, const void *data, size_t len,
-                        struct wim_lookup_table *lookup_table);
-
-extern void
-inode_remove_ads(struct wim_inode *inode, u16 idx,
-                struct wim_lookup_table *lookup_table);
-
-
-#define WIMLIB_UNIX_DATA_TAG "$$__wimlib_UNIX_data"
-#define WIMLIB_UNIX_DATA_TAG_NBYTES (sizeof(WIMLIB_UNIX_DATA_TAG) - 1)
+rename_wim_path(WIMStruct *wim, const tchar *from, const tchar *to,
+               CASE_SENSITIVITY_TYPE case_type);
 
-#define WIMLIB_UNIX_DATA_TAG_UTF16LE "$\0$\0_\0_\0w\0i\0m\0l\0i\0b\0_\0U\0N\0I\0X\0_\0d\0a\0t\0a\0"
-#define WIMLIB_UNIX_DATA_TAG_UTF16LE_NBYTES (sizeof(WIMLIB_UNIX_DATA_TAG_UTF16LE) - 1)
-
-/* Format for special alternate data stream entries to store UNIX data for files
- * and directories (see: WIMLIB_ADD_FLAG_UNIX_DATA) */
-struct wimlib_unix_data {
-       u16 version; /* Must be 0 */
-       u16 uid;
-       u16 gid;
-       u16 mode;
-} _packed_attribute;
-
-#ifndef __WIN32__
-
-#define NO_UNIX_DATA (-1)
-#define BAD_UNIX_DATA (-2)
-extern int
-inode_get_unix_data(const struct wim_inode *inode,
-                   struct wimlib_unix_data *unix_data,
-                   u16 *stream_idx_ret);
-
-#define UNIX_DATA_UID    0x1
-#define UNIX_DATA_GID    0x2
-#define UNIX_DATA_MODE   0x4
-#define UNIX_DATA_ALL    (UNIX_DATA_UID | UNIX_DATA_GID | UNIX_DATA_MODE)
-#define UNIX_DATA_CREATE 0x8
-extern int
-inode_set_unix_data(struct wim_inode *inode, uid_t uid, gid_t gid, mode_t mode,
-                   struct wim_lookup_table *lookup_table, int which);
-#endif
 
 extern int
-read_dentry(const u8 *metadata_resource, u64 metadata_resource_len,
-           u64 offset, struct wim_dentry *dentry);
-
-extern int
-read_dentry_tree(const u8 metadata_resource[], u64 metadata_resource_len,
-                struct wim_dentry *dentry);
+read_dentry_tree(const u8 *buf, size_t buf_len,
+                u64 root_offset, struct wim_dentry **root_ret);
 
 extern u8 *
-write_dentry_tree(const struct wim_dentry *tree, u8 *p);
+write_dentry_tree(const struct wim_dentry * restrict tree,
+                 u8 * restrict p);
 
 static inline bool
 dentry_is_root(const struct wim_dentry *dentry)
@@ -548,47 +273,12 @@ dentry_is_root(const struct wim_dentry *dentry)
        return dentry->parent == dentry;
 }
 
-static inline bool
-inode_is_directory(const struct wim_inode *inode)
-{
-       return (inode->i_attributes & FILE_ATTRIBUTE_DIRECTORY)
-               && !(inode->i_attributes & FILE_ATTRIBUTE_REPARSE_POINT);
-}
-
 static inline bool
 dentry_is_directory(const struct wim_dentry *dentry)
 {
        return inode_is_directory(dentry->d_inode);
 }
 
-/* For our purposes, we consider "real" symlinks and "junction points" to both
- * be symlinks. */
-static inline bool
-inode_is_symlink(const struct wim_inode *inode)
-{
-       return (inode->i_attributes & FILE_ATTRIBUTE_REPARSE_POINT)
-               && (inode->i_reparse_tag == WIM_IO_REPARSE_TAG_SYMLINK ||
-                   inode->i_reparse_tag == WIM_IO_REPARSE_TAG_MOUNT_POINT);
-}
-
-static inline bool
-inode_is_regular_file(const struct wim_inode *inode)
-{
-       return !inode_is_directory(inode) && !inode_is_symlink(inode);
-}
-
-static inline bool
-dentry_is_regular_file(const struct wim_dentry *dentry)
-{
-       return inode_is_regular_file(dentry->d_inode);
-}
-
-static inline bool
-inode_has_children(const struct wim_inode *inode)
-{
-       return inode->i_children.rb_node != NULL;
-}
-
 static inline bool
 dentry_has_children(const struct wim_dentry *dentry)
 {
@@ -607,13 +297,6 @@ dentry_has_long_name(const struct wim_dentry *dentry)
        return dentry->file_name_nbytes != 0;
 }
 
-extern void
-inode_ref_streams(struct wim_inode *inode);
-
 extern int
 dentry_tree_fix_inodes(struct wim_dentry *root, struct list_head *inode_list);
-
-int
-verify_inode(struct wim_inode *inode, const struct wim_security_data *sd);
-
-#endif
+#endif /* _WIMLIB_DENTRY_H */