Если в строке, которая вставляется с документ, содержится символ "&", то созданный документ не открывается Microsoft Word'ом.

Microsoft Word 2007
Oracle Java 1.6.0_16

ps
Отличная библиотека!