compress_parallel.c: Determine physical memory on OS X
[wimlib] / NEWS
1 Only the most important changes more recent than version 0.6 are noted here.
2
3 Version 1.6.1:
4         Stored files with size exactly 4 GiB (4,294,967,296 bytes) are now
5         decompressed correctly.
6
7         Fixed a bug in the LZX compressor introduced in v1.5.3.  The bug
8         occurred in an unlikely case, and due to validity checks it did not
9         affect successfully created archives.
10
11         Fixed a minor compatibility issue with the LZMS compressor and
12         decompressor.  This is *not* the default compression type and was only
13         introduced in v1.6.0.  In the unlikely event that you created an
14         LZMS-compressed WIM with v1.6.0 and a checksum error is reported when
15         applying it with v1.6.1, decompress it with v1.6.0 then compress it with
16         v1.6.1.
17
18         Memory usage for LZMS and LZX compression has been decreased.
19
20         wimextract now allows wildcard characters in paths specified on the
21         command line.  Also, the '--strict-wildcards' option has been removed
22         and replaced with the inverse option '--nullglob'.  See the
23         documentation for wimextract for more details and changes.
24
25         The wimlib_extract_files() function is now considered deprecated in
26         favor of wimlib_extract_paths().
27
28         Fixed more permissions problems when extracting files on Windows.
29
30         A new '--no-attributes' option has been added to wimapply and
31         wimextract.  The library flag is WIMLIB_EXTRACT_FLAG_NO_ATTRIBUTES.
32
33         The default chunk size is now set correctly when changing the
34         compression type of a WIM, for example with 'wimoptimize'.
35
36         The '--metadata' option to wiminfo has been replaced with the
37         '--detailed' option to wimdir.
38
39         In relevant wimlib-imagex commands, '--solid' may now be used as an
40         alias for '--pack-streams'.
41
42 Version 1.6.0:
43         Support for extracting and updating the new version 3584 WIMs has been
44         added.  These WIMs typically pack many streams ("files") together into a
45         single compressed resource, thereby saving space.  This degrades the
46         performance of random access (such as that which occurs on a mounted
47         image), but optimizations have been implemented for extraction.  These
48         new WIM files also typically use a new compression format (LZMS), which
49         is similar to LZMA and can offer a better compression ratio than LZX.
50         These new WIM files can be created using `wimcapture' with
51         the '--compress=lzms --pack-streams' options.  Note: this new WIM format
52         is used by the Windows 8 web downloader, but important segments of the
53         raw '.esd' files are encrypted, so wimlib will not be able to extract
54         such files until they are first decrypted.
55
56         wimlib now supports extracting files and directories from a WIM image
57         based on a "listfile" that itself contains the list of paths to extract.
58         For `wimextract', the syntax is to specify @LISTFILE instead of a PATH,
59         and for the library itself, the new APIs are wimlib_extract_pathlist()
60         and wimlib_extract_paths().  Path globs containing wildcard characters
61         are supported.
62
63         For searching WIM files, wimlib now has configurable case sensitivity.
64         The default on Windows is still case-insensitive and the default on
65         UNIX-like systems is still case-sensitive, but this can be overridden
66         on either platform through flags to wimlib_global_init().  For
67         `wimlib-imagex', the environmental variable WIMLIB_IMAGEX_IGNORE_CASE
68         can be set to 1 or 0 for case-insensitive or case-sensitive behavior,
69         respectively.
70
71         Support for compression chunk sizes greater than the default of 32768
72         bytes has been added.  A larger chunk size typically results in a better
73         compression ratio.  However, the MS implementation is seemingly not
74         compatible with all chunk sizes, especially for LZX compression, so the
75         defaults remain unchanged, with the exception of the new LZMS-compressed
76         WIMs, which use a larger chunk size by default.
77
78         The compression/decompression API exported by wimlib has been changed.
79         Now one set of functions handles all supported compression formats.
80
81         `wimcapture' and `wimappend' will now display the progress of scanning
82         the directory tree to capture, in addition to the progress of writing
83         data to the WIM.  The '--verbose' option no longer does anything.  The
84         library API change for this is the addition of several members to
85         `struct wimlib_progress_info_scan' available to progress callbacks.
86
87         `mkwinpeimg' now correctly handles the '--start-script' option when the
88         start script is not in the working directory.
89
90         Sequential extraction, previously requested by using
91         WIMLIB_EXTRACT_FLAG_SEQUENTIAL, is now the default.
92         WIMLIB_EXTRACT_FLAG_FILE_ORDER can be used to get the old default
93         behavior (extract in file order).
94
95 Version 1.5.3:
96         The new LZX compressor added in v1.5.2 has been improved and is now
97         enabled by default, except when `wimcapture' or `wimappend' is run
98         *without* the '--compress' option, in which case the faster LZX
99         compressor is used (the same as before).  This behavior is reasonably
100         consistent with ImageX which actually uses "fast" (XPRESS) compression
101         by default.  In those cases, use '--compress=maximum' to explicitly
102         capture a WIM image using the new (slower but better) LZX compressor.
103
104         The '--compress-slow' option still exists to `wimlib-imagex optimize',
105         but its new behavior is to tweak the new LZX compressor even more to
106         produce an even better compression ratio at the cost of more time spent
107         compressing.
108
109         `wimlib-imagex optimize' now supports the '--compress=TYPE' option,
110         which recompresses the WIM file using the specified compression TYPE.
111         The new library API function used for this is
112         wimlib_set_output_compression_type().
113
114         Added the wimlib_get_xml_data() function to allow library clients to
115         easily retrieve the raw XML data from a WIM file if needed.
116
117         Fixed a bug that could cause an error code to be incorrectly returned
118         when writing XML data containing a <WINDOWS> element.
119
120         Mounted WIM images will now correctly show the default file stream even
121         if appears in the alternate data stream entries of the corresponding WIM
122         directory entry.
123
124 Version 1.5.2:
125         Added a new experimental LZX compressor which can be enabled by passing
126         '--compress-slow' to `wimlib-imagex capture' or `wimlib-imagex
127         optimize'.  (The latter is only applicable if the WIM is already
128         LZX-compressed and the '--recompress' option is also given.)  The
129         experimental compressor is much slower but compresses the data slightly
130         more --- currently usually to within a fraction of a percent of the
131         results from WIMGAPI/ImageX.
132
133         A workaround has been added for compatibility with versions of WinPE
134         that interpret alternate data stream entries in the boot WIM
135         incorrectly.
136
137         An alignment bug that caused a crash in the LZX decompressor on some
138         builds was fixed.
139
140         wimlib now attempts to clear the WIM_HDR_FLAG_WRITE_IN_PROGRESS flag in
141         the WIM header when restoring the previous state of a WIM it failed to
142         successfully update.
143
144         Added a workaround to avoid an access denied error on Windows when
145         replacing a WIM file that another process has opened.
146
147 Version 1.5.1:
148         wimlib can now open WinPE WIMs from WAIK v2.1, which had a quirk that
149         needed to be handled.
150
151         A bug in the interpretation of negative IMAGE indices in the
152         --update-of=[WIMFILE:]IMAGE option to `wimlib-imagex capture' and
153         `wimlib-imagex append' has been fixed.
154
155         A workaround has been added to successfully apply security descriptors
156         with empty DACLs when the NTFS-3g apply mode is being used with NTFS-3g
157         2013.1.13 or earlier.
158
159         `wimlib-imagex capture' can now accept the '--delta-from' option
160         multiple times.
161
162 Version 1.5.0:
163         Added support for "pipable" WIMs.  Pipable WIMs allow capturing images
164         to standard output and applying images from standard input, but they are
165         not compatible with Microsoft's software and are not created by default.
166         See the documentation for --pipable flag of `wimlib-imagex capture' for
167         more information.
168
169         To better support incremental backups, added support for declaring an
170         image as a modified form of another image.  See the documentation for
171         the '--update-of' option of `wimlib-imagex append' and `wimlib-imagex
172         capture'.
173
174         Added supported for "delta" WIMs.  See the documentation for the
175         '--delta-from' option of `wimlib-imagex capture'.
176
177         The library support for managing split WIMs has been changed to support
178         other arrangements, such as delta WIMs, and be easier to use.  This
179         change is visible in `wimlib-imagex', which also can now accept the
180         '--ref' option multiple times, and also now supports "delta" WIMs as
181         mentioned above.
182
183         wimlib now preserves WIM integrity tables by default, even if
184         WIMLIB_WRITE_FLAG_CHECK_INTEGRITY is not specified.  This changes the
185         behavior of `wimlib-imagex' whenever the WIM being operated on contains
186         an integrity table and the '--check' option is not specified.
187
188         `wimlib-imagex capture' now creates LZX-compressed WIMs by default
189         (when --compress is not specified).  This provides the best compression
190         ratio by default, which is usually what is desired, at a cost of some
191         speed.
192
193         `wimlib-imagex' now supports being invoked as wimCOMMAND, where COMMAND
194         is the command as in `wimlib-imagex COMMAND'; for example, it can be
195         invoked as `wimapply' as an alternative to `wimlib-imagex apply'.  The
196         appropriate hard links are created in UNIX installations of
197         `wimlib-imagex', while for the Windows distribution of `wimlib-imagex',
198         batch files that emulate this behavior are generated.
199
200         Security descriptors are now extracted correctly on Windows.
201
202         Fixed archiving DOS names in NTFS-3g capture mode.
203
204         The extraction code has been rewritten and it will now be easier to
205         support new features on all supported backends (currently Win32, UNIX,
206         and NTFS-3g).  For example, hard-linked extraction mode (--hardlink) is
207         now supported on all backends, not just UNIX.
208
209         `mkwinpeimg' now supports grabbing files from the WAIK supplement rather
210         than the WAIK itself.
211
212         wimlib_global_init() now, by default, attempts to acquire additional
213         privileges on Windows, so library clients need not do this.
214
215         This update bumps the shared library version number up to 9, since it is
216         not binary compatibible with previous releases.
217
218 Version 1.4.2:
219         Fixed bug in `wimlib-imagex export' that made it impossible to export an
220         image from a WIM that is readonly at the filesystem level.
221
222         Return error code rather than segfaulting when trying to list files from
223         a non-first part of a split WIM.
224
225         Joining a WIM will now preserve the RP_FIX and READONLY flags.
226
227 Version 1.4.1:
228         On Windows, paths given to wimlib-imagex are now treated case
229         insensitively.
230
231         Improved behavior regarding invalid filenames; in particular, on
232         Windows, wimlib-imagex will, when extracting, now omit (with an option
233         to override this default) filenames differing only in case, or filenames
234         containing characters not valid on Windows.
235
236         On Windows, wimlib now supports capturing and extracting long paths
237         (longer than the so-called MAX_PATH).
238
239         On Windows, `wimlib-imagex update' now acquires proper privileges when
240         running as an Administrator.
241
242         `wimlib-imagex update' will now complain if no image is specified when
243         trying to update a multi-image WIM.
244
245         `wimlib-imagex update' now supports specifying a single update command
246         directly on the command line using the --command option.
247
248         wimlib-imagex will now choose different units for progress messages,
249         depending on the amount of data that needs to be processed.
250
251         `wimlib-imagex append' will now generate a unique WIM image name if no
252         name is specified and the defaulted name already exists in the WIM.
253
254         wimlib now allows you to create unnamed WIM images, which can then only
255         be referred to by index.
256
257         wimlib now allows you to explicitly declare you want write access to a
258         WIM by providing the WIMLIB_OPEN_FLAG_WRITE_ACCESS flag to
259         wimlib_open_wim().
260
261         wimlib now respects the WIM_HDR_FLAG_READONLY flag when set in the WIM
262         header.
263
264         Progress callbacks have been added to wimlib's wimlib_update_image()
265         function.
266
267         Added wimlib_get_wim_info(), wimlib_set_wim_info(),
268         wimlib_iterate_dir_tree(), and wimlib_iterate_lookup_table() functions
269         to the library.
270
271         NTFS-3g capture now only warns about two conditions previously treated
272         as errors.
273
274         Fixed a couple issues with using wimlib-imagex on UDF filesystems on
275         Windows.
276
277         wimlib now correctly detects and returns an error when reading a WIM
278         image with a cyclic directory structure.  (Fun fact: such a WIM will
279         crash Microsoft's software.)
280
281 Version 1.4.0:
282         Added new "extract" and "update" subcommands to wimlib-imagex, along
283         with associated APIs in the library.  These commands are intended mainly
284         for Windows use but can be used on UNIX as well.
285
286         Many documentation improvements.
287
288         Fixed a bug in the Windows build where relative symbolic links were not
289         captured in reparse-point fixup mode.
290
291         Fixed a bug in the Windows build where file handles were left open to
292         the WIM file, causing `wimlib_imagex optimize' to fail in some cases.
293
294         Fixed a bug in the Windows build of wimlib-imagex where globbing
295         split-WIM parts could cause the program to crash.
296
297         Fixed a bug where the creation time of WIM images would be shown instead
298         of the last modification time.
299
300         With the Windows build it is now possible to restore a WIM containing
301         symbolic links as a non-Administrator; however you will receive warnings
302         about not being able to extract the symbolic links.
303
304 Version 1.3.3:
305         Capturing a WIM image should now be significantly faster in most cases
306         due to improved use of the operating system's cache and avoiding reading
307         files twice whenever possible.
308
309         The Windows build should now work on Windows XP.
310
311         The Windows build now supports capturing and restoring hidden,
312         compressed, sparse, and encrypted files.
313
314         The Windows build now supports capturing and applying WIM images from
315         filesystems other than NTFS (with some reduced functionality).
316
317         The Windows build now extracts short names correctly.
318
319         Added support for "reparse-point" fixups (i.e. fixing up of symbolic
320         links).  See docs for --rpfix and --norpfix flags of `wimlib-imagex
321         capture' and `wimlib-imagex apply'.
322
323         The performance of splitting and joining WIMs should be slightly
324         improved.
325
326         The LZX and XPRESS compression and decompression functions are now
327         exported from the library.
328
329 Version 1.3.2:
330         Improvements and bugfixes for the Windows build.
331
332         Added --strict-acls options.
333
334         Fixed the way that wimlib determines the order of images in the WIM.
335
336 Version 1.3.1:
337         Since wimlib can now be used on Windows, wimlib's implementation of
338         ImageX has been renamed to wimlib-imagex to avoid confusion with
339         Microsoft's implementation of ImageX, which would have the same file
340         name ("imagex.exe").  If you really don't like this you can pass the
341         --with-imagex-progname option to `configure' to choose a different name,
342         or even simply rename the binary yourself (but the former way will
343         configure the man pages to use the chosen name).
344
345         Various bugs fixed in the Windows build.  Mainly to do with capturing
346         and restoring alternate data streams correctly in weird cases, and
347         requesting the correct privileges when opening files.  Also added the
348         --noacls options to wimlib-imagex capture, append, and apply.
349
350         Windows build again: FindFirstStreamW() and FindNextStreamW() are now
351         dynamically loaded, so this may make the library compatible with Windows
352         XP (however, there may still be other problems).
353
354 Version 1.3.0:
355         Added experimental support for native Windows builds.  Binaries can be
356         downloaded from the SourceForge page.
357
358         --source-list option added to `imagex capture' and `imagex append'.
359
360         Better support for different character encodings.
361
362 Version 1.2.6:
363         Storing UNIX file owners, groups, and modes in WIM images is now
364         possible using `imagex capture' with the --unix-data flag.
365
366         Minor bug fixes and documentation fixes.
367
368 Version 1.2.5:
369         NTFS capture: Fixed capturing duplicate reparse points.
370
371         NTFS capture: Capture first unnamed stream if there are more than one
372         (print warning instead of error).
373
374         Allow multiple test cases to execute concurrently (e.g. make -j2 check).
375
376 Version 1.2.4:
377         Added --arch switch to mkwinpeimg script to support getting AMD64 WinPE
378         from the WAIK.
379
380         Update to work with ntfs-3g version 2013.1.13.
381
382 Version 1.2.3:
383         Fixed truncating file to shorter but non-zero length on read-write
384         mounted WIM image.
385
386         Various code cleanups and minor documentation fixes.
387
388 Version 1.2.2:
389         LZX and XPRESS decompression have received some additional optimizations
390         and should now be even faster.  (Although, they were already pretty
391         fast--- much faster than typical I/O speeds.)
392
393         Fixed a bug introduced in v1.2.1 that would cause a directory tree
394         containing hard links to be captured incorrectly in some cases.
395
396 Version 1.2.1:
397         By default, unmounting a read-write mounted WIM with 'imagex unmount
398         --commit' will now change the WIM in-place without needing to write the
399         entire WIM again.  Use 'imagex unmount --commit --rebuild' to get the
400         old behavior.
401
402         'imagex unmount' no longer has a hard-coded limit of 10 minutes to wait
403         for a response from the daemon servicing the mounted WIM.  Instead,
404         every second 'imagex unmount' will check if the daemon is still alive,
405         and keep waiting if so, otherwise terminate with an error.
406
407         'imagex unmount --commit' on a read-write mounted WIM will now print
408         progress information regarding the writing of new or modified streams
409         the WIM, just like when capturing or appending a WIM.
410
411         A small change has been made to XPRESS compression and it should improve
412         the compression ratio slightly.
413
414         A change was made that may improve performance slightly when applying a
415         WIM image to a NTFS volume.
416
417         Microsoft has managed to introduce even more bugs into their software,
418         and now the WIMs for Windows 8 have incorrect (too low) reference counts
419         for some streams.  This is unsafe because such streams can be removed
420         when they are in actuality still referenced in the WIM (perhaps by a
421         different image).  wimlib will now work around this problem by fixing
422         the stream reference counts.  This is only done when wimlib_delete_image() is
423         called ('imagex delete') or when wimlib_mount_image() is called with
424         WIMLIB_MOUNT_FLAG_READWRITE ('imagex mountrw').  Please note that this
425         requires reading the metadata for all images in the WIM, so this will
426         make these operations noticably slower on WIMs with multiple images.
427
428         Various other bugfixes.
429
430 Version 1.2.0:
431         Appending images to a WIM is now be done by default without re-building
432         the whole WIM.  Use the --rebuild flag to get the old behavior (which
433         was to re-build the entire WIM when a new image is appended).
434
435         A new command `imagex optimize' is now available to manually re-build a
436         WIM that has wasted space due to repeated appends.
437
438         Progress information has been improved, and now arbitrary callback
439         functions can be used to show the progress of a WIM operation.
440
441         A possible bug with changing the bootable image of a WIM was fixed.
442
443         Some advisory locking is now done to prevent two processes from
444         modifying a WIM at the same time (but only in some cases).  For example,
445         you cannot mount two images from a WIM read-write at the same time.
446
447         Some functions have been reorganized:
448                 * wimlib_mount() renamed to wimlib_mount_image().
449                 * wimlib_unmount() renamed to wimlib_unmount_image().
450                 * wimlib_overwrite_xml_and_header() removed as
451                 wimlib_overwrite() suffices now.
452                 * wimlib_apply_image_to_ntfs_volume() removed as
453                 wimlib_extract_image() suffices now.
454                 * wimlib_add_image_from_ntfs_volume() removed as
455                 * wimlib_add_image() suffices now.
456
457         Previously, the soname of libwim.so has been 0.0.0, despite many
458         interface changes.  The soname is now updated to 1.0.0 and will now be
459         updated each release.
460
461 Version 1.1.0:
462         Resources will now be compressed using multiple threads by default.
463         (This applies to `imagex capture', `imagex append', and `imagex
464         export').
465
466         Some performance improvements in mounted WIMs.
467
468         More progress information is shown when capturing a WIM.
469
470 Version 1.0.4:
471         Lots of minor fixes, code cleanups, and some documentation updates.
472         Nothing in particular is really noteworthy.
473
474 Version 1.0.3:
475         LZX and XPRESS compression improvements.
476
477         Fixed calculation of Directory Count, File Count, Total Bytes, and Hard
478         Link Bytes of the WIM.
479
480 Version 1.0.2:
481         Fixed bug when capturing NTFS file with multiple named data streams.
482
483         Internally, we are now using inode structures, even though these don't
484         appear literally in the WIM file.  This simplifies some of the code
485         (mainly for WIM mounting) and likely fixed a few problems, although it
486         needs more testing.
487
488 Version 1.0.1:
489         Fixed problem when exporting images from XPRESS to LZX compressed WIM or
490         vice versa
491
492 Version 1.0.0:
493         Enough changes to call it version 1.0.0!
494
495         Capturing a WIM directly from a NTFS volume, and applying a WIM directly
496         to a NTFS volume, is now supported.
497
498         Hard links and symbolic links have much improved support.  They are
499         supported for WIM capture, WIM application, and mounted WIMs (you can
500         even make them on read-write mounted WIMs).
501
502         Alternate data streams are now supported on mounted WIMs through an
503         xattr or a Windows-style stream interface.  Also they are supported when
504         capturing a WIM from NTFS or applying a WIM to NTFS.
505
506         Split WIMs are better supported.  You may now apply an image directly
507         from a split WIM, mount an image from a split WIM read-only, or export
508         an image from a split WIM.
509
510         Using a capture configuration file is now supported (but not fully yet).
511
512         SHA1 message digests are checked in more places, so we can make sure
513         applied and captured data is correct.
514
515         Man pages have been updated and consolidated.
516
517 Version 0.7.2:
518         Fixed segfault when unmounting read-only WIM.
519
520 Version 0.7.1:
521         Support for joining and splitting WIMs.
522         Also, security data is now preserved by default.
523
524 Version 0.6.3:
525         Can now build with older gcc and system headers, like on CentOS 5.
526
527 Version 0.6.2:
528         Fixed bug that made it impossible to overwrite files in read-write
529         mount.
530
531 Version 0.6.1:
532         Write byte-order mark before WIM XML data.  (imagex.exe requires this to
533         be there.)