a4fb17c03a02a1d13339e0e3ed49d89bb037a5dd
[wimlib] / src / verify.c
1 /*
2  * verify.c
3  *
4  * Some functions to verify that stuff in the WIM is valid.  Of course, not
5  * *all* the verifications of the input data are in this file.
6  */
7
8 /*
9  * Copyright (C) 2012, 2013 Eric Biggers
10  *
11  * This file is part of wimlib, a library for working with WIM files.
12  *
13  * wimlib is free software; you can redistribute it and/or modify it under the
14  * terms of the GNU General Public License as published by the Free
15  * Software Foundation; either version 3 of the License, or (at your option)
16  * any later version.
17  *
18  * wimlib is distributed in the hope that it will be useful, but WITHOUT ANY
19  * WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
20  * A PARTICULAR PURPOSE. See the GNU General Public License for more
21  * details.
22  *
23  * You should have received a copy of the GNU General Public License
24  * along with wimlib; if not, see http://www.gnu.org/licenses/.
25  */
26
27 #ifdef HAVE_CONFIG_H
28 #  include "config.h"
29 #endif
30
31 #include "wimlib/dentry.h"
32 #include "wimlib/error.h"
33 #include "wimlib/lookup_table.h"
34 #include "wimlib/metadata.h"
35 #include "wimlib/security.h"
36
37 static int
38 verify_inode(struct wim_inode *inode, const WIMStruct *w)
39 {
40         const struct wim_lookup_table *table = w->lookup_table;
41         const struct wim_security_data *sd = wim_const_security_data(w);
42         struct wim_dentry *first_dentry = inode_first_dentry(inode);
43         struct wim_dentry *dentry;
44
45         /* Check the security ID.  -1 is valid and means "no security
46          * descriptor".  Anything else has to be a valid index into the WIM
47          * image's security descriptors table. */
48         if (inode->i_security_id < -1 ||
49             (inode->i_security_id >= 0 &&
50              inode->i_security_id >= sd->num_entries))
51         {
52                 WARNING("\"%"TS"\" has an invalid security ID (%d)",
53                         dentry_full_path(first_dentry), inode->i_security_id);
54                 inode->i_security_id = -1;
55         }
56
57         /* Check that lookup table entries for all the inode's stream exist,
58          * except if the SHA1 message digest is all 0's, which indicates an
59          * empty stream.
60          *
61          * This check is skipped on split WIMs. */
62         if (w->hdr.total_parts == 1 && !inode->i_resolved) {
63                 for (unsigned i = 0; i <= inode->i_num_ads; i++) {
64                         struct wim_lookup_table_entry *lte;
65                         const u8 *hash;
66                         hash = inode_stream_hash(inode, i);
67                         lte = __lookup_resource(table, hash);
68                         if (!lte && !is_zero_hash(hash)) {
69                                 ERROR("Could not find lookup table entry for stream "
70                                       "%u of dentry `%"TS"'",
71                                       i, dentry_full_path(first_dentry));
72                                 return WIMLIB_ERR_INVALID_DENTRY;
73                         }
74                         if (lte)
75                                 lte->real_refcnt += inode->i_nlink;
76                 }
77         }
78
79         /* Make sure there is only one unnamed data stream. */
80         unsigned num_unnamed_streams = 0;
81         for (unsigned i = 0; i <= inode->i_num_ads; i++) {
82                 const u8 *hash;
83                 hash = inode_stream_hash(inode, i);
84                 if (inode_stream_name_nbytes(inode, i) == 0 && !is_zero_hash(hash))
85                         num_unnamed_streams++;
86         }
87         if (num_unnamed_streams > 1) {
88                 WARNING("\"%"TS"\" has multiple (%u) un-named streams",
89                         dentry_full_path(first_dentry), num_unnamed_streams);
90         }
91
92         /* Files cannot have multiple DOS names, even if they have multiple
93          * names in multiple directories (i.e. hard links).
94          * Source: NTFS-3g authors. */
95         struct wim_dentry *dentry_with_dos_name = NULL;
96         inode_for_each_dentry(dentry, inode) {
97                 if (dentry_has_short_name(dentry)) {
98                         if (dentry_with_dos_name) {
99                                 /* This was previously an error, but if we
100                                  * capture a WIM from UDF on Windows, hard links
101                                  * are supported but DOS names are automatically
102                                  * generated for all names for an inode.  */
103                         #if 0
104                                 ERROR("Hard-linked file has a DOS name at "
105                                       "both `%"TS"' and `%"TS"'",
106                                       dentry_full_path(dentry_with_dos_name),
107                                       dentry_full_path(dentry));
108                                 return WIMLIB_ERR_INVALID_DENTRY;
109                         #else
110                                 dentry->dos_name_invalid = 1;
111                         #endif
112                         }
113                         dentry_with_dos_name = dentry;
114                 }
115         }
116
117         /* Directories with multiple links have not been tested. XXX */
118         if (inode->i_nlink > 1 && inode->i_attributes & FILE_ATTRIBUTE_DIRECTORY) {
119                 ERROR("Hard-linked directory `%"TS"' is unsupported",
120                       dentry_full_path(first_dentry));
121                 return WIMLIB_ERR_INVALID_DENTRY;
122         }
123
124         inode->i_verified = 1;
125         return 0;
126 }
127
128 /* Run some miscellaneous verifications on a WIM dentry */
129 int
130 verify_dentry(struct wim_dentry *dentry, void *wim)
131 {
132         int ret;
133         WIMStruct *w = wim;
134
135         /* Verify the associated inode, but only one time no matter how many
136          * dentries it has (unless we are doing a full verification of the WIM,
137          * in which case we need to force the inode to be verified again.) */
138         if (!dentry->d_inode->i_verified) {
139                 ret = verify_inode(dentry->d_inode, w);
140                 if (ret)
141                         return ret;
142         }
143
144         /* Make sure root dentry is unnamed, while every other dentry has at
145          * least a long name.
146          *
147          * I am assuming that dentries having only a DOS name is illegal; i.e.,
148          * Windows will always combine the Win32 name and DOS name for a file
149          * into a single WIM dentry, even if they are stored separately on NTFS.
150          * (This seems to be the case...) */
151         if (dentry_is_root(dentry)) {
152                 if (dentry_has_long_name(dentry) || dentry_has_short_name(dentry)) {
153                         ERROR("The root dentry has a nonempty name!");
154                         return WIMLIB_ERR_INVALID_DENTRY;
155                 }
156         } else {
157                 if (!dentry_has_long_name(dentry)) {
158                         ERROR("Dentry `%"TS"' has no long name!",
159                               dentry_full_path(dentry));
160                         return WIMLIB_ERR_INVALID_DENTRY;
161                 }
162         }
163
164 #if 0
165         /* Check timestamps */
166         if (inode->i_last_access_time < inode->i_creation_time ||
167             inode->i_last_write_time < inode->i_creation_time) {
168                 WARNING("Dentry `%"TS"' was created after it was last accessed or "
169                         "written to", dentry->full_path);
170         }
171 #endif
172
173         return 0;
174 }
175
176 static int
177 image_run_full_verifications(WIMStruct *w)
178 {
179         struct wim_image_metadata *imd;
180         struct wim_inode *inode;
181
182         imd = wim_get_current_image_metadata(w);
183         image_for_each_inode(inode, imd)
184                 inode->i_verified = 0;
185         return for_dentry_in_tree(imd->root_dentry, verify_dentry, w);
186 }
187
188 static int
189 lte_fix_refcnt(struct wim_lookup_table_entry *lte, void *ctr)
190 {
191         if (lte->refcnt != lte->real_refcnt) {
192         #ifdef ENABLE_ERROR_MESSAGES
193                 WARNING("The following lookup table entry has a reference "
194                         "count of %u, but", lte->refcnt);
195                 WARNING("We found %u references to it",
196                         lte->real_refcnt);
197                 print_lookup_table_entry(lte, stderr);
198         #endif
199                 lte->refcnt = lte->real_refcnt;
200                 ++*(unsigned long *)ctr;
201         }
202         return 0;
203 }
204
205 /* Ideally this would be unnecessary... however, the WIMs for Windows 8 are
206  * screwed up because some lookup table entries are referenced more times than
207  * their stated reference counts.  So theoretically, if we delete all the
208  * references to a stream and then remove it, it might still be referenced
209  * somewhere else, making a file be missing from the WIM... So, work around this
210  * problem by looking at ALL the images to re-calculate the reference count of
211  * EVERY lookup table entry.  This only absolutely has to be done before an image
212  * is deleted or before an image is mounted read-write. */
213 int
214 wim_run_full_verifications(WIMStruct *w)
215 {
216         int ret;
217
218         for_lookup_table_entry(w->lookup_table, lte_zero_real_refcnt, NULL);
219
220         w->all_images_verified = 1; /* Set *before* image_run_full_verifications,
221                                        because of check in read_metadata_resource() */
222         ret = for_image(w, WIMLIB_ALL_IMAGES, image_run_full_verifications);
223         if (ret == 0) {
224                 unsigned long num_ltes_with_bogus_refcnt = 0;
225                 for_lookup_table_entry(w->lookup_table, lte_fix_refcnt,
226                                        &num_ltes_with_bogus_refcnt);
227                 if (num_ltes_with_bogus_refcnt != 0) {
228                         WARNING("A total of %lu entries in the WIM's stream "
229                                 "lookup table had to have\n"
230                                 "          their reference counts fixed.",
231                                 num_ltes_with_bogus_refcnt);
232                 }
233         } else {
234                 w->all_images_verified = 0;
235         }
236         return ret;
237 }