Support committing changed mounted WIM image as new image
[wimlib] / NEWS
1 Only the most important changes more recent than version 0.6 are noted here.
2
3 Version 1.6.2 (BETA):
4         Case-insensitive comparisons of strings (e.g. filenames) containing
5         UTF-16 codepoints above 32767 are now done correctly.
6
7         Fixed build failure on Mac OS X.
8
9         wimunmount now provides the '--new-image' option to cause changes to a
10         read-write mounted image to be committed as a new image rather than as
11         an update of the same image.  (The corresponding new library flag is
12         WIMLIB_UNMOUNT_FLAG_NEW_IMAGE.)
13
14         The LZMS compression chunk size, or "dictionary size", may now be up to
15         1 GiB (2^30).
16
17         The performance of LZX and LZMS compression with large chunk sizes has
18         been slightly improved.
19
20 Version 1.6.1:
21         Stored files with size exactly 4 GiB (4,294,967,296 bytes) are now
22         decompressed correctly.
23
24         Fixed a bug in the LZX compressor introduced in v1.5.3.  The bug
25         occurred in an unlikely case, and due to validity checks it did not
26         affect successfully created archives.
27
28         Fixed a minor compatibility issue with the LZMS compressor and
29         decompressor.  This is *not* the default compression type and was only
30         introduced in v1.6.0.  In the unlikely event that you created an
31         LZMS-compressed WIM with v1.6.0 and a checksum error is reported when
32         applying it with v1.6.1, decompress it with v1.6.0 then compress it with
33         v1.6.1.
34
35         Memory usage for LZMS and LZX compression has been decreased.
36
37         wimextract now allows wildcard characters in paths specified on the
38         command line.  Also, the '--strict-wildcards' option has been removed
39         and replaced with the inverse option '--nullglob'.  See the
40         documentation for wimextract for more details and changes.
41
42         The wimlib_extract_files() function is now considered deprecated in
43         favor of wimlib_extract_paths().
44
45         Fixed more permissions problems when extracting files on Windows.
46
47         A new '--no-attributes' option has been added to wimapply and
48         wimextract.  The library flag is WIMLIB_EXTRACT_FLAG_NO_ATTRIBUTES.
49
50         The default chunk size is now set correctly when changing the
51         compression type of a WIM, for example with 'wimoptimize'.
52
53         The '--metadata' option to wiminfo has been replaced with the
54         '--detailed' option to wimdir.
55
56         In relevant wimlib-imagex commands, '--solid' may now be used as an
57         alias for '--pack-streams'.
58
59 Version 1.6.0:
60         Support for extracting and updating the new version 3584 WIMs has been
61         added.  These WIMs typically pack many streams ("files") together into a
62         single compressed resource, thereby saving space.  This degrades the
63         performance of random access (such as that which occurs on a mounted
64         image), but optimizations have been implemented for extraction.  These
65         new WIM files also typically use a new compression format (LZMS), which
66         is similar to LZMA and can offer a better compression ratio than LZX.
67         These new WIM files can be created using `wimcapture' with
68         the '--compress=lzms --pack-streams' options.  Note: this new WIM format
69         is used by the Windows 8 web downloader, but important segments of the
70         raw '.esd' files are encrypted, so wimlib will not be able to extract
71         such files until they are first decrypted.
72
73         wimlib now supports extracting files and directories from a WIM image
74         based on a "listfile" that itself contains the list of paths to extract.
75         For `wimextract', the syntax is to specify @LISTFILE instead of a PATH,
76         and for the library itself, the new APIs are wimlib_extract_pathlist()
77         and wimlib_extract_paths().  Path globs containing wildcard characters
78         are supported.
79
80         For searching WIM files, wimlib now has configurable case sensitivity.
81         The default on Windows is still case-insensitive and the default on
82         UNIX-like systems is still case-sensitive, but this can be overridden
83         on either platform through flags to wimlib_global_init().  For
84         `wimlib-imagex', the environmental variable WIMLIB_IMAGEX_IGNORE_CASE
85         can be set to 1 or 0 for case-insensitive or case-sensitive behavior,
86         respectively.
87
88         Support for compression chunk sizes greater than the default of 32768
89         bytes has been added.  A larger chunk size typically results in a better
90         compression ratio.  However, the MS implementation is seemingly not
91         compatible with all chunk sizes, especially for LZX compression, so the
92         defaults remain unchanged, with the exception of the new LZMS-compressed
93         WIMs, which use a larger chunk size by default.
94
95         The compression/decompression API exported by wimlib has been changed.
96         Now one set of functions handles all supported compression formats.
97
98         `wimcapture' and `wimappend' will now display the progress of scanning
99         the directory tree to capture, in addition to the progress of writing
100         data to the WIM.  The '--verbose' option no longer does anything.  The
101         library API change for this is the addition of several members to
102         `struct wimlib_progress_info_scan' available to progress callbacks.
103
104         `mkwinpeimg' now correctly handles the '--start-script' option when the
105         start script is not in the working directory.
106
107         Sequential extraction, previously requested by using
108         WIMLIB_EXTRACT_FLAG_SEQUENTIAL, is now the default.
109         WIMLIB_EXTRACT_FLAG_FILE_ORDER can be used to get the old default
110         behavior (extract in file order).
111
112 Version 1.5.3:
113         The new LZX compressor added in v1.5.2 has been improved and is now
114         enabled by default, except when `wimcapture' or `wimappend' is run
115         *without* the '--compress' option, in which case the faster LZX
116         compressor is used (the same as before).  This behavior is reasonably
117         consistent with ImageX which actually uses "fast" (XPRESS) compression
118         by default.  In those cases, use '--compress=maximum' to explicitly
119         capture a WIM image using the new (slower but better) LZX compressor.
120
121         The '--compress-slow' option still exists to `wimlib-imagex optimize',
122         but its new behavior is to tweak the new LZX compressor even more to
123         produce an even better compression ratio at the cost of more time spent
124         compressing.
125
126         `wimlib-imagex optimize' now supports the '--compress=TYPE' option,
127         which recompresses the WIM file using the specified compression TYPE.
128         The new library API function used for this is
129         wimlib_set_output_compression_type().
130
131         Added the wimlib_get_xml_data() function to allow library clients to
132         easily retrieve the raw XML data from a WIM file if needed.
133
134         Fixed a bug that could cause an error code to be incorrectly returned
135         when writing XML data containing a <WINDOWS> element.
136
137         Mounted WIM images will now correctly show the default file stream even
138         if appears in the alternate data stream entries of the corresponding WIM
139         directory entry.
140
141 Version 1.5.2:
142         Added a new experimental LZX compressor which can be enabled by passing
143         '--compress-slow' to `wimlib-imagex capture' or `wimlib-imagex
144         optimize'.  (The latter is only applicable if the WIM is already
145         LZX-compressed and the '--recompress' option is also given.)  The
146         experimental compressor is much slower but compresses the data slightly
147         more --- currently usually to within a fraction of a percent of the
148         results from WIMGAPI/ImageX.
149
150         A workaround has been added for compatibility with versions of WinPE
151         that interpret alternate data stream entries in the boot WIM
152         incorrectly.
153
154         An alignment bug that caused a crash in the LZX decompressor on some
155         builds was fixed.
156
157         wimlib now attempts to clear the WIM_HDR_FLAG_WRITE_IN_PROGRESS flag in
158         the WIM header when restoring the previous state of a WIM it failed to
159         successfully update.
160
161         Added a workaround to avoid an access denied error on Windows when
162         replacing a WIM file that another process has opened.
163
164 Version 1.5.1:
165         wimlib can now open WinPE WIMs from WAIK v2.1, which had a quirk that
166         needed to be handled.
167
168         A bug in the interpretation of negative IMAGE indices in the
169         --update-of=[WIMFILE:]IMAGE option to `wimlib-imagex capture' and
170         `wimlib-imagex append' has been fixed.
171
172         A workaround has been added to successfully apply security descriptors
173         with empty DACLs when the NTFS-3g apply mode is being used with NTFS-3g
174         2013.1.13 or earlier.
175
176         `wimlib-imagex capture' can now accept the '--delta-from' option
177         multiple times.
178
179 Version 1.5.0:
180         Added support for "pipable" WIMs.  Pipable WIMs allow capturing images
181         to standard output and applying images from standard input, but they are
182         not compatible with Microsoft's software and are not created by default.
183         See the documentation for --pipable flag of `wimlib-imagex capture' for
184         more information.
185
186         To better support incremental backups, added support for declaring an
187         image as a modified form of another image.  See the documentation for
188         the '--update-of' option of `wimlib-imagex append' and `wimlib-imagex
189         capture'.
190
191         Added supported for "delta" WIMs.  See the documentation for the
192         '--delta-from' option of `wimlib-imagex capture'.
193
194         The library support for managing split WIMs has been changed to support
195         other arrangements, such as delta WIMs, and be easier to use.  This
196         change is visible in `wimlib-imagex', which also can now accept the
197         '--ref' option multiple times, and also now supports "delta" WIMs as
198         mentioned above.
199
200         wimlib now preserves WIM integrity tables by default, even if
201         WIMLIB_WRITE_FLAG_CHECK_INTEGRITY is not specified.  This changes the
202         behavior of `wimlib-imagex' whenever the WIM being operated on contains
203         an integrity table and the '--check' option is not specified.
204
205         `wimlib-imagex capture' now creates LZX-compressed WIMs by default
206         (when --compress is not specified).  This provides the best compression
207         ratio by default, which is usually what is desired, at a cost of some
208         speed.
209
210         `wimlib-imagex' now supports being invoked as wimCOMMAND, where COMMAND
211         is the command as in `wimlib-imagex COMMAND'; for example, it can be
212         invoked as `wimapply' as an alternative to `wimlib-imagex apply'.  The
213         appropriate hard links are created in UNIX installations of
214         `wimlib-imagex', while for the Windows distribution of `wimlib-imagex',
215         batch files that emulate this behavior are generated.
216
217         Security descriptors are now extracted correctly on Windows.
218
219         Fixed archiving DOS names in NTFS-3g capture mode.
220
221         The extraction code has been rewritten and it will now be easier to
222         support new features on all supported backends (currently Win32, UNIX,
223         and NTFS-3g).  For example, hard-linked extraction mode (--hardlink) is
224         now supported on all backends, not just UNIX.
225
226         `mkwinpeimg' now supports grabbing files from the WAIK supplement rather
227         than the WAIK itself.
228
229         wimlib_global_init() now, by default, attempts to acquire additional
230         privileges on Windows, so library clients need not do this.
231
232         This update bumps the shared library version number up to 9, since it is
233         not binary compatibible with previous releases.
234
235 Version 1.4.2:
236         Fixed bug in `wimlib-imagex export' that made it impossible to export an
237         image from a WIM that is readonly at the filesystem level.
238
239         Return error code rather than segfaulting when trying to list files from
240         a non-first part of a split WIM.
241
242         Joining a WIM will now preserve the RP_FIX and READONLY flags.
243
244 Version 1.4.1:
245         On Windows, paths given to wimlib-imagex are now treated case
246         insensitively.
247
248         Improved behavior regarding invalid filenames; in particular, on
249         Windows, wimlib-imagex will, when extracting, now omit (with an option
250         to override this default) filenames differing only in case, or filenames
251         containing characters not valid on Windows.
252
253         On Windows, wimlib now supports capturing and extracting long paths
254         (longer than the so-called MAX_PATH).
255
256         On Windows, `wimlib-imagex update' now acquires proper privileges when
257         running as an Administrator.
258
259         `wimlib-imagex update' will now complain if no image is specified when
260         trying to update a multi-image WIM.
261
262         `wimlib-imagex update' now supports specifying a single update command
263         directly on the command line using the --command option.
264
265         wimlib-imagex will now choose different units for progress messages,
266         depending on the amount of data that needs to be processed.
267
268         `wimlib-imagex append' will now generate a unique WIM image name if no
269         name is specified and the defaulted name already exists in the WIM.
270
271         wimlib now allows you to create unnamed WIM images, which can then only
272         be referred to by index.
273
274         wimlib now allows you to explicitly declare you want write access to a
275         WIM by providing the WIMLIB_OPEN_FLAG_WRITE_ACCESS flag to
276         wimlib_open_wim().
277
278         wimlib now respects the WIM_HDR_FLAG_READONLY flag when set in the WIM
279         header.
280
281         Progress callbacks have been added to wimlib's wimlib_update_image()
282         function.
283
284         Added wimlib_get_wim_info(), wimlib_set_wim_info(),
285         wimlib_iterate_dir_tree(), and wimlib_iterate_lookup_table() functions
286         to the library.
287
288         NTFS-3g capture now only warns about two conditions previously treated
289         as errors.
290
291         Fixed a couple issues with using wimlib-imagex on UDF filesystems on
292         Windows.
293
294         wimlib now correctly detects and returns an error when reading a WIM
295         image with a cyclic directory structure.  (Fun fact: such a WIM will
296         crash Microsoft's software.)
297
298 Version 1.4.0:
299         Added new "extract" and "update" subcommands to wimlib-imagex, along
300         with associated APIs in the library.  These commands are intended mainly
301         for Windows use but can be used on UNIX as well.
302
303         Many documentation improvements.
304
305         Fixed a bug in the Windows build where relative symbolic links were not
306         captured in reparse-point fixup mode.
307
308         Fixed a bug in the Windows build where file handles were left open to
309         the WIM file, causing `wimlib_imagex optimize' to fail in some cases.
310
311         Fixed a bug in the Windows build of wimlib-imagex where globbing
312         split-WIM parts could cause the program to crash.
313
314         Fixed a bug where the creation time of WIM images would be shown instead
315         of the last modification time.
316
317         With the Windows build it is now possible to restore a WIM containing
318         symbolic links as a non-Administrator; however you will receive warnings
319         about not being able to extract the symbolic links.
320
321 Version 1.3.3:
322         Capturing a WIM image should now be significantly faster in most cases
323         due to improved use of the operating system's cache and avoiding reading
324         files twice whenever possible.
325
326         The Windows build should now work on Windows XP.
327
328         The Windows build now supports capturing and restoring hidden,
329         compressed, sparse, and encrypted files.
330
331         The Windows build now supports capturing and applying WIM images from
332         filesystems other than NTFS (with some reduced functionality).
333
334         The Windows build now extracts short names correctly.
335
336         Added support for "reparse-point" fixups (i.e. fixing up of symbolic
337         links).  See docs for --rpfix and --norpfix flags of `wimlib-imagex
338         capture' and `wimlib-imagex apply'.
339
340         The performance of splitting and joining WIMs should be slightly
341         improved.
342
343         The LZX and XPRESS compression and decompression functions are now
344         exported from the library.
345
346 Version 1.3.2:
347         Improvements and bugfixes for the Windows build.
348
349         Added --strict-acls options.
350
351         Fixed the way that wimlib determines the order of images in the WIM.
352
353 Version 1.3.1:
354         Since wimlib can now be used on Windows, wimlib's implementation of
355         ImageX has been renamed to wimlib-imagex to avoid confusion with
356         Microsoft's implementation of ImageX, which would have the same file
357         name ("imagex.exe").  If you really don't like this you can pass the
358         --with-imagex-progname option to `configure' to choose a different name,
359         or even simply rename the binary yourself (but the former way will
360         configure the man pages to use the chosen name).
361
362         Various bugs fixed in the Windows build.  Mainly to do with capturing
363         and restoring alternate data streams correctly in weird cases, and
364         requesting the correct privileges when opening files.  Also added the
365         --noacls options to wimlib-imagex capture, append, and apply.
366
367         Windows build again: FindFirstStreamW() and FindNextStreamW() are now
368         dynamically loaded, so this may make the library compatible with Windows
369         XP (however, there may still be other problems).
370
371 Version 1.3.0:
372         Added experimental support for native Windows builds.  Binaries can be
373         downloaded from the SourceForge page.
374
375         --source-list option added to `imagex capture' and `imagex append'.
376
377         Better support for different character encodings.
378
379 Version 1.2.6:
380         Storing UNIX file owners, groups, and modes in WIM images is now
381         possible using `imagex capture' with the --unix-data flag.
382
383         Minor bug fixes and documentation fixes.
384
385 Version 1.2.5:
386         NTFS capture: Fixed capturing duplicate reparse points.
387
388         NTFS capture: Capture first unnamed stream if there are more than one
389         (print warning instead of error).
390
391         Allow multiple test cases to execute concurrently (e.g. make -j2 check).
392
393 Version 1.2.4:
394         Added --arch switch to mkwinpeimg script to support getting AMD64 WinPE
395         from the WAIK.
396
397         Update to work with ntfs-3g version 2013.1.13.
398
399 Version 1.2.3:
400         Fixed truncating file to shorter but non-zero length on read-write
401         mounted WIM image.
402
403         Various code cleanups and minor documentation fixes.
404
405 Version 1.2.2:
406         LZX and XPRESS decompression have received some additional optimizations
407         and should now be even faster.  (Although, they were already pretty
408         fast--- much faster than typical I/O speeds.)
409
410         Fixed a bug introduced in v1.2.1 that would cause a directory tree
411         containing hard links to be captured incorrectly in some cases.
412
413 Version 1.2.1:
414         By default, unmounting a read-write mounted WIM with 'imagex unmount
415         --commit' will now change the WIM in-place without needing to write the
416         entire WIM again.  Use 'imagex unmount --commit --rebuild' to get the
417         old behavior.
418
419         'imagex unmount' no longer has a hard-coded limit of 10 minutes to wait
420         for a response from the daemon servicing the mounted WIM.  Instead,
421         every second 'imagex unmount' will check if the daemon is still alive,
422         and keep waiting if so, otherwise terminate with an error.
423
424         'imagex unmount --commit' on a read-write mounted WIM will now print
425         progress information regarding the writing of new or modified streams
426         the WIM, just like when capturing or appending a WIM.
427
428         A small change has been made to XPRESS compression and it should improve
429         the compression ratio slightly.
430
431         A change was made that may improve performance slightly when applying a
432         WIM image to a NTFS volume.
433
434         Microsoft has managed to introduce even more bugs into their software,
435         and now the WIMs for Windows 8 have incorrect (too low) reference counts
436         for some streams.  This is unsafe because such streams can be removed
437         when they are in actuality still referenced in the WIM (perhaps by a
438         different image).  wimlib will now work around this problem by fixing
439         the stream reference counts.  This is only done when wimlib_delete_image() is
440         called ('imagex delete') or when wimlib_mount_image() is called with
441         WIMLIB_MOUNT_FLAG_READWRITE ('imagex mountrw').  Please note that this
442         requires reading the metadata for all images in the WIM, so this will
443         make these operations noticably slower on WIMs with multiple images.
444
445         Various other bugfixes.
446
447 Version 1.2.0:
448         Appending images to a WIM is now be done by default without re-building
449         the whole WIM.  Use the --rebuild flag to get the old behavior (which
450         was to re-build the entire WIM when a new image is appended).
451
452         A new command `imagex optimize' is now available to manually re-build a
453         WIM that has wasted space due to repeated appends.
454
455         Progress information has been improved, and now arbitrary callback
456         functions can be used to show the progress of a WIM operation.
457
458         A possible bug with changing the bootable image of a WIM was fixed.
459
460         Some advisory locking is now done to prevent two processes from
461         modifying a WIM at the same time (but only in some cases).  For example,
462         you cannot mount two images from a WIM read-write at the same time.
463
464         Some functions have been reorganized:
465                 * wimlib_mount() renamed to wimlib_mount_image().
466                 * wimlib_unmount() renamed to wimlib_unmount_image().
467                 * wimlib_overwrite_xml_and_header() removed as
468                 wimlib_overwrite() suffices now.
469                 * wimlib_apply_image_to_ntfs_volume() removed as
470                 wimlib_extract_image() suffices now.
471                 * wimlib_add_image_from_ntfs_volume() removed as
472                 * wimlib_add_image() suffices now.
473
474         Previously, the soname of libwim.so has been 0.0.0, despite many
475         interface changes.  The soname is now updated to 1.0.0 and will now be
476         updated each release.
477
478 Version 1.1.0:
479         Resources will now be compressed using multiple threads by default.
480         (This applies to `imagex capture', `imagex append', and `imagex
481         export').
482
483         Some performance improvements in mounted WIMs.
484
485         More progress information is shown when capturing a WIM.
486
487 Version 1.0.4:
488         Lots of minor fixes, code cleanups, and some documentation updates.
489         Nothing in particular is really noteworthy.
490
491 Version 1.0.3:
492         LZX and XPRESS compression improvements.
493
494         Fixed calculation of Directory Count, File Count, Total Bytes, and Hard
495         Link Bytes of the WIM.
496
497 Version 1.0.2:
498         Fixed bug when capturing NTFS file with multiple named data streams.
499
500         Internally, we are now using inode structures, even though these don't
501         appear literally in the WIM file.  This simplifies some of the code
502         (mainly for WIM mounting) and likely fixed a few problems, although it
503         needs more testing.
504
505 Version 1.0.1:
506         Fixed problem when exporting images from XPRESS to LZX compressed WIM or
507         vice versa
508
509 Version 1.0.0:
510         Enough changes to call it version 1.0.0!
511
512         Capturing a WIM directly from a NTFS volume, and applying a WIM directly
513         to a NTFS volume, is now supported.
514
515         Hard links and symbolic links have much improved support.  They are
516         supported for WIM capture, WIM application, and mounted WIMs (you can
517         even make them on read-write mounted WIMs).
518
519         Alternate data streams are now supported on mounted WIMs through an
520         xattr or a Windows-style stream interface.  Also they are supported when
521         capturing a WIM from NTFS or applying a WIM to NTFS.
522
523         Split WIMs are better supported.  You may now apply an image directly
524         from a split WIM, mount an image from a split WIM read-only, or export
525         an image from a split WIM.
526
527         Using a capture configuration file is now supported (but not fully yet).
528
529         SHA1 message digests are checked in more places, so we can make sure
530         applied and captured data is correct.
531
532         Man pages have been updated and consolidated.
533
534 Version 0.7.2:
535         Fixed segfault when unmounting read-only WIM.
536
537 Version 0.7.1:
538         Support for joining and splitting WIMs.
539         Also, security data is now preserved by default.
540
541 Version 0.6.3:
542         Can now build with older gcc and system headers, like on CentOS 5.
543
544 Version 0.6.2:
545         Fixed bug that made it impossible to overwrite files in read-write
546         mount.
547
548 Version 0.6.1:
549         Write byte-order mark before WIM XML data.  (imagex.exe requires this to
550         be there.)