NTFS apply updates
[wimlib] / src / ntfs-apply.c
1 /*
2  * ntfs-apply.c
3  *
4  * Apply a WIM image to a NTFS volume, restoring everything we can, including
5  * security data and alternate data streams.  There should be no loss of
6  * information.
7  */
8
9 /*
10  * Copyright (C) 2012 Eric Biggers
11  *
12  * This file is part of wimlib, a library for working with WIM files.
13  *
14  * wimlib is free software; you can redistribute it and/or modify it under the
15  * terms of the GNU Lesser General Public License as published by the Free
16  * Software Foundation; either version 2.1 of the License, or (at your option)
17  * any later version.
18  *
19  * wimlib is distributed in the hope that it will be useful, but WITHOUT ANY
20  * WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
21  * A PARTICULAR PURPOSE. See the GNU Lesser General Public License for more
22  * details.
23  *
24  * You should have received a copy of the GNU Lesser General Public License
25  * along with wimlib; if not, see http://www.gnu.org/licenses/.
26  */
27
28 #include "config.h"
29 #include "wimlib_internal.h"
30
31
32 #ifdef WITH_NTFS_3G
33 #include "dentry.h"
34 #include "lookup_table.h"
35 #include "io.h"
36 #include <ntfs-3g/layout.h>
37 #include <ntfs-3g/acls.h>
38 #include <ntfs-3g/attrib.h>
39 #include <ntfs-3g/misc.h>
40 #include <ntfs-3g/reparse.h>
41 #include <ntfs-3g/security.h>
42 #include <ntfs-3g/volume.h>
43 #include <stdlib.h>
44 #include <unistd.h>
45
46 struct ntfs_apply_args {
47         ntfs_volume *vol;
48         int extract_flags;
49         WIMStruct *w;
50 };
51
52 extern int _ntfs_set_file_security(ntfs_inode *ni, u32 selection,
53                                    const char *attr);
54 extern int _ntfs_set_file_attributes(ntfs_inode *ni, s32 attrib);
55
56 /* 
57  * Extracts a WIM resource to a NTFS attribute.
58  */
59 static int
60 extract_wim_resource_to_ntfs_attr(const struct lookup_table_entry *lte,
61                                   ntfs_attr *na)
62 {
63         u64 bytes_remaining = wim_resource_size(lte);
64         char buf[min(WIM_CHUNK_SIZE, bytes_remaining)];
65         u64 offset = 0;
66         int ret = 0;
67         u8 hash[SHA1_HASH_SIZE];
68
69         SHA_CTX ctx;
70         sha1_init(&ctx);
71
72         while (bytes_remaining) {
73                 u64 to_read = min(bytes_remaining, WIM_CHUNK_SIZE);
74                 ret = read_wim_resource(lte, buf, to_read, offset, false);
75                 if (ret != 0)
76                         break;
77                 sha1_update(&ctx, buf, to_read);
78                 if (ntfs_attr_pwrite(na, offset, to_read, buf) != to_read) {
79                         ERROR_WITH_ERRNO("Error extracting WIM resource");
80                         return WIMLIB_ERR_WRITE;
81                 }
82                 bytes_remaining -= to_read;
83                 offset += to_read;
84         }
85         sha1_final(hash, &ctx);
86         if (!hashes_equal(hash, lte->hash)) {
87                 ERROR("Invalid checksum on a WIM resource "
88                       "(detected when extracting to NTFS stream file)");
89                 ERROR("The following WIM resource is invalid:");
90                 print_lookup_table_entry(lte);
91                 return WIMLIB_ERR_INVALID_RESOURCE_HASH;
92         }
93         return 0;
94 }
95
96 /* Writes the data streams to a NTFS file
97  *
98  * @ni:      The NTFS inode for the file.
99  * @dentry:  The directory entry in the WIM file.
100  * @w:       The WIMStruct for the WIM containing the image we are applying.
101  *
102  * Returns 0 on success, nonzero on failure.
103  */
104 static int write_ntfs_data_streams(ntfs_inode *ni, const struct dentry *dentry,
105                                    WIMStruct *w)
106 {
107         int ret = 0;
108         unsigned stream_idx = 0;
109         ntfschar *stream_name = AT_UNNAMED;
110         u32 stream_name_len = 0;
111
112         DEBUG("Writing %u NTFS data stream%s for `%s'",
113               dentry->num_ads + 1,
114               (dentry->num_ads == 0 ? "" : "s"),
115               dentry->full_path_utf8);
116
117         while (1) {
118                 struct lookup_table_entry *lte;
119                 ntfs_attr *na;
120
121                 lte = dentry_stream_lte(dentry, stream_idx, w->lookup_table);
122                 na = ntfs_attr_open(ni, AT_DATA, stream_name, stream_name_len);
123                 if (!na) {
124                         ERROR_WITH_ERRNO("Failed to open a data stream of "
125                                          "extracted file `%s'",
126                                          dentry->full_path_utf8);
127                         ret = WIMLIB_ERR_NTFS_3G;
128                         break;
129                 }
130                 if (lte)
131                         ret = extract_wim_resource_to_ntfs_attr(lte, na);
132                 ntfs_attr_close(na);
133                 if (ret != 0)
134                         break;
135                 if (stream_idx == dentry->num_ads)
136                         break;
137                 stream_name = (ntfschar*)dentry->ads_entries[stream_idx].stream_name;
138                 stream_name_len = dentry->ads_entries[stream_idx].stream_name_len / 2;
139                 stream_idx++;
140         }
141         return ret;
142 }
143
144 /*
145  * Makes a NTFS hard link
146  *
147  * It is named @from_dentry->file_name and is located under the directory
148  * specified by @dir_ni, and it is made to point to the previously extracted
149  * file located at @to_dentry->extracted_file.
150  *
151  * Return 0 on success, nonzero on failure.
152  */
153 static int wim_apply_hardlink_ntfs(const struct dentry *from_dentry,
154                                    const struct dentry *to_dentry,
155                                    ntfs_inode *dir_ni,
156                                    ntfs_inode **to_ni_ret)
157 {
158         int ret;
159         ntfs_inode *to_ni;
160
161         wimlib_assert(dentry_is_regular_file(from_dentry)
162                         && dentry_is_regular_file(to_dentry));
163
164         DEBUG("Extracting NTFS hard link `%s' => `%s'",
165               from_dentry->full_path_utf8, to_dentry->extracted_file);
166
167         to_ni = ntfs_pathname_to_inode(dir_ni->vol, NULL,
168                                        to_dentry->extracted_file);
169         if (!to_ni) {
170                 ERROR_WITH_ERRNO("Could not find NTFS inode for `%s'",
171                                  to_dentry->extracted_file);
172                 return WIMLIB_ERR_NTFS_3G;
173         }
174         ret = ntfs_link(to_ni, dir_ni,
175                         (ntfschar*)from_dentry->file_name,
176                         from_dentry->file_name_len / 2);
177         if (ret != 0) {
178                 ERROR_WITH_ERRNO("Could not create hard link `%s' => `%s'",
179                                  from_dentry->full_path_utf8,
180                                  to_dentry->extracted_file);
181                 ret = WIMLIB_ERR_NTFS_3G;
182         }
183         *to_ni_ret = to_ni;
184         return ret;
185 }
186
187 static int
188 apply_file_attributes_and_security_data(ntfs_inode *ni,
189                                         const struct dentry *dentry,
190                                         const WIMStruct *w)
191 {
192         DEBUG("Setting NTFS file attributes on `%s' to %#"PRIx32,
193               dentry->full_path_utf8, dentry->attributes);
194         if (!_ntfs_set_file_attributes(ni, dentry->attributes)) {
195                 ERROR("Failed to set NTFS file attributes on `%s'",
196                        dentry->full_path_utf8);
197                 return WIMLIB_ERR_NTFS_3G;
198         }
199
200         if (dentry->security_id != -1) {
201                 const struct wim_security_data *sd;
202                 
203                 sd = wim_const_security_data(w);
204                 wimlib_assert(dentry->security_id < sd->num_entries);
205                 DEBUG("Applying security descriptor %d to `%s'",
206                       dentry->security_id, dentry->full_path_utf8);
207                 u32 selection = OWNER_SECURITY_INFORMATION |
208                                 GROUP_SECURITY_INFORMATION |
209                                 DACL_SECURITY_INFORMATION  |
210                                 SACL_SECURITY_INFORMATION;
211                                 
212                 if (!_ntfs_set_file_security(ni, selection,
213                                              sd->descriptors[dentry->security_id]))
214                 {
215                         ERROR_WITH_ERRNO("Failed to set security data on `%s'",
216                                         dentry->full_path_utf8);
217                         return WIMLIB_ERR_NTFS_3G;
218                 }
219         }
220         return 0;
221 }
222
223 static int apply_reparse_data(ntfs_inode *ni, const struct dentry *dentry,
224                               const WIMStruct *w)
225 {
226         struct lookup_table_entry *lte;
227         int ret = 0;
228
229         wimlib_assert(dentry->attributes & FILE_ATTRIBUTE_REPARSE_POINT);
230
231         lte = dentry_first_lte(dentry, w->lookup_table);
232
233         if (!lte) {
234                 ERROR("Could not find reparse data for `%s'",
235                       dentry->full_path_utf8);
236                 return WIMLIB_ERR_INVALID_DENTRY;
237         }
238
239         if (wim_resource_size(lte) >= 0xffff) {
240                 ERROR("Reparse data of `%s' is too long (%lu bytes)",
241                       dentry->full_path_utf8, wim_resource_size(lte));
242                 return WIMLIB_ERR_INVALID_DENTRY;
243         }
244
245         char reparse_data_buf[8 + wim_resource_size(lte)];
246         char *p = reparse_data_buf;
247         p = put_u32(p, dentry->reparse_tag); /* ReparseTag */
248         p = put_u16(p, wim_resource_size(lte)); /* ReparseDataLength */
249         p = put_u16(p, 0); /* Reserved */
250
251         ret = read_full_wim_resource(lte, p);
252         if (ret != 0)
253                 return ret;
254
255         ret = ntfs_set_ntfs_reparse_data(ni, reparse_data_buf,
256                                          wim_resource_size(lte) + 8, 0);
257         if (ret != 0) {
258                 ERROR_WITH_ERRNO("Failed to set NTFS reparse data on `%s'",
259                                  dentry->full_path_utf8);
260                 return WIMLIB_ERR_NTFS_3G;
261         }
262         return 0;
263 }
264
265 /* 
266  * Applies a WIM dentry to a NTFS filesystem.
267  *
268  * @dentry:  The WIM dentry to apply
269  * @dir_ni:  The NTFS inode for the parent directory
270  * @w:       The WIMStruct for the WIM containing the image we are applying.
271  *
272  * @return:  0 on success; nonzero on failure.
273  */
274 static int do_wim_apply_dentry_ntfs(struct dentry *dentry, ntfs_inode *dir_ni,
275                                     WIMStruct *w)
276 {
277         int ret = 0;
278         mode_t type;
279         ntfs_inode *ni = NULL;
280         ntfs_inode *hardlink_target_ni = NULL;
281
282         if (dentry->attributes & FILE_ATTRIBUTE_DIRECTORY) {
283                 type = S_IFDIR;
284         } else {
285                 type = S_IFREG;
286                 const struct list_head *head = &dentry->link_group_list;
287                 if (head->next != head) {
288                         /* This dentry is one of a hard link set of at least 2
289                          * dentries.  If one of the other dentries has already
290                          * been extracted, make a hard link to it.  Otherwise,
291                          * extract the file, and set the dentry->extracted_file
292                          * field so that other dentries in the hard link group
293                          * can link to it. */
294                         struct dentry *other;
295                         list_for_each_entry(other, head, link_group_list) {
296                                 if (other->extracted_file) {
297                                         ret = wim_apply_hardlink_ntfs(dentry,
298                                                                       other,
299                                                                       dir_ni,
300                                                                       &hardlink_target_ni);
301                                         if (ret != 0)
302                                                 goto out_close_dir;
303                                         else
304                                                 goto out_set_dos_name;
305                                 }
306                         }
307                 }
308                 FREE(dentry->extracted_file);
309                 dentry->extracted_file = STRDUP(dentry->full_path_utf8);
310                 if (!dentry->extracted_file) {
311                         ERROR("Failed to allocate memory for filename");
312                         return WIMLIB_ERR_NOMEM;
313                 }
314         }
315
316         /* 
317          * Create a directory or file.
318          *
319          * Note: For symbolic links that are not directory junctions, pass
320          * S_IFREG here, since we manually set the reparse data later.
321          */
322         ni = ntfs_create(dir_ni, 0, (ntfschar*)dentry->file_name,
323                          dentry->file_name_len / 2, type);
324
325         if (!ni) {
326                 ERROR_WITH_ERRNO("Could not create NTFS object for `%s'",
327                                  dentry->full_path_utf8);
328                 ret = WIMLIB_ERR_NTFS_3G;
329                 goto out_close_new;
330         }
331
332         /* Write the data streams, unless this is a directory or reparse point
333          * */
334         if (!dentry_is_directory(dentry) &&
335              !(dentry->attributes & FILE_ATTRIBUTE_REPARSE_POINT)) {
336                 ret = write_ntfs_data_streams(ni, dentry, w);
337                 if (ret != 0)
338                         goto out_close_new;
339         }
340
341
342         ret = apply_file_attributes_and_security_data(ni, dentry, w);
343         if (ret != 0)
344                 goto out_close_new;
345
346         if (dentry->attributes & FILE_ATTR_REPARSE_POINT) {
347                 ret = apply_reparse_data(ni, dentry, w);
348                 if (ret != 0)
349                         goto out_close_new;
350         }
351
352 out_set_dos_name:
353 #if 0
354         /* Set DOS (short) name if given */
355         if (dentry->short_name_len != 0) {
356                 char *short_name_utf8;
357                 size_t short_name_utf8_len;
358                 short_name_utf8 = utf16_to_utf8(dentry->short_name,
359                                                 dentry->short_name_len,
360                                                 &short_name_utf8_len);
361                 if (!short_name_utf8) {
362                         ERROR("Out of memory");
363                         ret = WIMLIB_ERR_NOMEM;
364                         goto out_close_new;
365                 }
366
367                 if (!ni) {
368                         ni = ntfs_pathname_to_inode(dir_ni->vol, NULL,
369                                                     dentry->full_path_utf8);
370                         if (!ni) {
371                                 ERROR_WITH_ERRNO("Failed to find inode for `%s'",
372                                                  dentry->full_path_utf8);
373                                 goto out_close_dir;
374                         }
375                 }
376
377                 DEBUG("Setting short (DOS) name of `%s' to %s",
378                       dentry->full_path_utf8, short_name_utf8);
379
380                 ret = ntfs_set_ntfs_dos_name(ni, dir_ni, short_name_utf8,
381                                              short_name_utf8_len, 0);
382                 FREE(short_name_utf8);
383                 if (ret != 0) {
384                         ERROR_WITH_ERRNO("Could not set DOS (short) name for `%s'",
385                                          dentry->full_path_utf8);
386                         ret = WIMLIB_ERR_NTFS_3G;
387                 }
388                 goto out_close_hardlink_target;
389         }
390 #endif
391
392 out_close_new:
393         if (ni && ntfs_inode_close_in_dir(ni, dir_ni) != 0) {
394                 ERROR_WITH_ERRNO("Failed to close new inode");
395                 ret = WIMLIB_ERR_NTFS_3G;
396         }
397 out_close_dir:
398         if (ntfs_inode_close(dir_ni) != 0) {
399                 if (ret == 0)
400                         ret = WIMLIB_ERR_NTFS_3G;
401                 ERROR_WITH_ERRNO("Failed to close directory inode");
402         }
403 out_close_hardlink_target:
404         if (hardlink_target_ni) {
405                 if (ntfs_inode_close(hardlink_target_ni) != 0) {
406                         if (ret == 0)
407                                 ret = WIMLIB_ERR_NTFS_3G;
408                         ERROR_WITH_ERRNO("Failed to close hardlink target inode");
409                 }
410         }
411         return ret;
412 }
413
414 static int wim_apply_root_dentry_ntfs(const struct dentry *dentry,
415                                       ntfs_volume *vol,
416                                       const WIMStruct *w)
417 {
418         ntfs_inode *ni;
419         int ret = 0;
420
421         wimlib_assert(dentry_is_directory(dentry));
422         ni = ntfs_pathname_to_inode(vol, NULL, "/");
423         if (!ni) {
424                 ERROR_WITH_ERRNO("Could not find root NTFS inode");
425                 return WIMLIB_ERR_NTFS_3G;
426         }
427         ret = apply_file_attributes_and_security_data(ni, dentry, w);
428         if (ntfs_inode_close(ni) != 0) {
429                 ERROR_WITH_ERRNO("Failed to close NTFS inode for root "
430                                  "directory");
431                 ret = WIMLIB_ERR_NTFS_3G;
432         }
433         return ret;
434 }
435
436 /* Applies a WIM dentry to the NTFS volume */
437 static int wim_apply_dentry_ntfs(struct dentry *dentry, void *arg)
438 {
439         struct ntfs_apply_args *args = arg;
440         ntfs_volume *vol             = args->vol;
441         int extract_flags            = args->extract_flags;
442         WIMStruct *w                 = args->w;
443         ntfs_inode *dir_ni;
444         int ret;
445         char *p;
446         char orig;
447         ntfs_inode *close_after_dir;
448         const char *dir_name;
449
450         wimlib_assert(dentry->full_path_utf8);
451
452         DEBUG("Applying dentry `%s' to NTFS", dentry->full_path_utf8);
453
454         if (extract_flags & WIMLIB_EXTRACT_FLAG_VERBOSE)
455                 puts(dentry->full_path_utf8);
456
457         if (dentry_is_root(dentry))
458                 return wim_apply_root_dentry_ntfs(dentry, vol, w);
459
460         p = dentry->full_path_utf8 + dentry->full_path_utf8_len;
461         do {
462                 p--;
463         } while (*p != '/');
464
465         orig = *p;
466         *p = '\0';
467         dir_name = dentry->full_path_utf8;
468
469         dir_ni = ntfs_pathname_to_inode(vol, NULL, dir_name);
470         *p = orig;
471         if (!dir_ni) {
472                 ERROR_WITH_ERRNO("Could not find NTFS inode for `%s'",
473                                  dir_name);
474                 return WIMLIB_ERR_NTFS_3G;
475         }
476         DEBUG("Found NTFS inode for `%s'", dir_name);
477         return do_wim_apply_dentry_ntfs(dentry, dir_ni, w);
478 }
479
480 static int wim_apply_dentry_timestamps(struct dentry *dentry, void *arg)
481 {
482         struct ntfs_apply_args *args = arg;
483         ntfs_volume *vol             = args->vol;
484         int extract_flags            = args->extract_flags;
485         WIMStruct *w                 = args->w;
486         char *p;
487         char buf[24];
488         ntfs_inode *ni;
489         int ret = 0;
490
491
492         DEBUG("Setting timestamps on `%s'", dentry->full_path_utf8);
493
494         ni = ntfs_pathname_to_inode(vol, NULL, dentry->full_path_utf8);
495         if (!ni) {
496                 ERROR_WITH_ERRNO("Could not find NTFS inode for `%s'",
497                                  dentry->full_path_utf8);
498                 return WIMLIB_ERR_NTFS_3G;
499         }
500
501         p = buf;
502         p = put_u64(p, dentry->creation_time);
503         p = put_u64(p, dentry->last_write_time);
504         p = put_u64(p, dentry->last_access_time);
505         ret = ntfs_inode_set_times(ni, buf, 3 * sizeof(u64), 0);
506         if (ret != 0) {
507                 ERROR_WITH_ERRNO("Failed to set NTFS timestamps on `%s'",
508                                  dentry->full_path_utf8);
509                 ret = WIMLIB_ERR_NTFS_3G;
510         }
511
512         if (ntfs_inode_close(ni) != 0) {
513                 if (ret == 0)
514                         ret = WIMLIB_ERR_NTFS_3G;
515                 ERROR_WITH_ERRNO("Failed to close NTFS inode for `%s'",
516                                  dentry->full_path_utf8);
517         }
518         return ret;
519 }
520
521 static int do_wim_apply_image_ntfs(WIMStruct *w, const char *device, int extract_flags)
522 {
523         ntfs_volume *vol;
524         int ret;
525         
526         vol = ntfs_mount(device, 0);
527         if (!vol) {
528                 ERROR_WITH_ERRNO("Failed to mount NTFS volume `%s'", device);
529                 return WIMLIB_ERR_NTFS_3G;
530         }
531         struct ntfs_apply_args args = {
532                 .vol           = vol,
533                 .extract_flags = extract_flags,
534                 .w             = w,
535         };
536         ret = for_dentry_in_tree(wim_root_dentry(w), wim_apply_dentry_ntfs,
537                                  &args);
538
539         if (ret != 0)
540                 goto out;
541         DEBUG("Setting NTFS timestamps");
542         ret = for_dentry_in_tree_depth(wim_root_dentry(w),
543                                        wim_apply_dentry_timestamps,
544                                        &args);
545 out:
546         if (ntfs_umount(vol, FALSE) != 0) {
547                 ERROR_WITH_ERRNO("Failed to unmount NTFS volume `%s'", device);
548                 if (ret == 0)
549                         ret = WIMLIB_ERR_NTFS_3G;
550         }
551         return ret;
552 }
553
554
555 /* 
556  * API entry point for applying a WIM image to a NTFS volume.
557  *
558  * Please note that this is a NTFS *volume* and not a directory.  The intention
559  * is that the volume contain an empty filesystem, and the WIM image contain a
560  * full filesystem to be applied to the volume.
561  */
562 WIMLIBAPI int wimlib_apply_image_to_ntfs_volume(WIMStruct *w, int image,
563                                                 const char *device, int flags)
564 {
565         int ret;
566
567         if (!device)
568                 return WIMLIB_ERR_INVALID_PARAM;
569         if (image == WIM_ALL_IMAGES) {
570                 ERROR("Can only apply a single image when applying "
571                       "directly to a NTFS volume");
572                 return WIMLIB_ERR_INVALID_PARAM;
573         }
574         if (flags & (WIMLIB_EXTRACT_FLAG_SYMLINK | WIMLIB_EXTRACT_FLAG_HARDLINK)) {
575                 ERROR("Cannot specify symlink or hardlink flags when applying ");
576                 ERROR("directly to a NTFS volume");
577                 return WIMLIB_ERR_INVALID_PARAM;
578         }
579         ret = wimlib_select_image(w, image);
580         if (ret != 0)
581                 return ret;
582
583 #if 0
584         if (getuid() != 0) {
585                 ERROR("We are not root, but NTFS-3g requires root privileges to set arbitrary");
586                 ERROR("security data on the NTFS filesystem.  Please run this program as root");
587                 ERROR("if you want to extract a WIM image while preserving NTFS-specific");
588                 ERROR("information.");
589
590                 return WIMLIB_ERR_NOT_ROOT;
591         }
592 #endif
593         return do_wim_apply_image_ntfs(w, device, flags);
594 }
595
596 #else /* WITH_NTFS_3G */
597 WIMLIBAPI int wimlib_apply_image_to_ntfs_volume(WIMStruct *w, int image,
598                                                 const char *device, int flags)
599 {
600         ERROR("wimlib was compiled without support for NTFS-3g, so");
601         ERROR("we cannot apply a WIM image directly to a NTFS volume");
602         return WIMLIB_ERR_UNSUPPORTED;
603 }
604 #endif /* WITH_NTFS_3G */