Quem define o tamanho maximo do anexo são as configurações do PHP.
Então, você precisa editar o seu php.ini, ou, arquivo .htaccess que fica na raiz
do roundcube.
No php.ini vc altera esta cláusula:
upload_max_filesize = 5M
Mas aí você estará alterando globalmente o limite de upload para todas as
páginas php.
Se quiser alterar apenas para o roundcube, edite o arquivo .htaccess que deve
exitir na raiz do roundcube (e não existir, crie-o) e altere esta linha (ou a
inclua):
php_value upload_max_filesize 5M
Convém reiniciar o apache.