allow mandatory value (see 9ddf100118d913c2f4225cca1adb65317b512d84 for more details)
[tiramisu.git] / tiramisu / value.py
1 # -*- coding: utf-8 -*-
2 "takes care of the option's values and multi values"
3 # Copyright (C) 2013 Team tiramisu (see AUTHORS for all contributors)
4 #
5 # This program is free software; you can redistribute it and/or modify
6 # it under the terms of the GNU General Public License as published by
7 # the Free Software Foundation; either version 2 of the License, or
8 # (at your option) any later version.
9 #
10 # This program is distributed in the hope that it will be useful,
11 # but WITHOUT ANY WARRANTY; without even the implied warranty of
12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13 # GNU General Public License for more details.
14 #
15 # You should have received a copy of the GNU General Public License
16 # along with this program; if not, write to the Free Software
17 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
18 #
19 # ____________________________________________________________
20 from time import time
21 from copy import copy
22 import sys
23 import weakref
24 from tiramisu.error import ConfigError, SlaveError
25 from tiramisu.setting import owners, multitypes, expires_time
26 from tiramisu.autolib import carry_out_calculation
27 from tiramisu.i18n import _
28 from tiramisu.option import SymLinkOption
29
30
31 class Values(object):
32     """The `Config`'s root is indeed  in charge of the `Option()`'s values,
33     but the values are physicaly located here, in `Values`, wich is also
34     responsible of a caching utility.
35     """
36     __slots__ = ('context', '_p_', '__weakref__')
37
38     def __init__(self, context, storage):
39         """
40         Initializes the values's dict.
41
42         :param context: the context is the home config's values
43
44         """
45         self.context = weakref.ref(context)
46         # the storage type is dictionary or sqlite3
47         self._p_ = storage
48
49     def _getdefault(self, opt):
50         """
51         actually retrieves the default value
52
53         :param opt: the `option.Option()` object
54         """
55         meta = self.context().cfgimpl_get_meta()
56         if meta is not None:
57             value = meta.cfgimpl_get_values()[opt]
58         else:
59             value = opt.impl_getdefault()
60         if opt.impl_is_multi():
61             return copy(value)
62         else:
63             return value
64
65     def _getvalue(self, opt, path, validate=True):
66         """actually retrieves the value
67
68         :param opt: the `option.Option()` object
69         :returns: the option's value (or the default value if not set)
70         """
71         if not self._p_.hasvalue(path):
72             # if there is no value
73             value = self._getdefault(opt)
74             if opt.impl_is_multi():
75                 value = Multi(value, self.context, opt, path, validate)
76         else:
77             # if there is a value
78             value = self._p_.getvalue(path)
79             if opt.impl_is_multi() and not isinstance(value, Multi):
80                 # load value so don't need to validate if is not a Multi
81                 value = Multi(value, self.context, opt, path, validate=False)
82         return value
83
84     def get_modified_values(self):
85         return self._p_.get_modified_values()
86
87     def __contains__(self, opt):
88         """
89         implements the 'in' keyword syntax in order provide a pythonic way
90         to kow if an option have a value
91
92         :param opt: the `option.Option()` object
93         """
94         path = self._get_opt_path(opt)
95         return self._contains(path)
96
97     def _contains(self, path):
98         return self._p_.hasvalue(path)
99
100     def __delitem__(self, opt):
101         """overrides the builtins `del()` instructions"""
102         self.reset(opt)
103
104     def reset(self, opt, path=None):
105         if path is None:
106             path = self._get_opt_path(opt)
107         if self._p_.hasvalue(path):
108             setting = self.context().cfgimpl_get_settings()
109             opt.impl_validate(opt.impl_getdefault(), self.context(),
110                               'validator' in setting)
111             self.context().cfgimpl_reset_cache()
112             if (opt.impl_is_multi() and
113                     opt.impl_get_multitype() == multitypes.master):
114                 for slave in opt.impl_get_master_slaves():
115                     self.reset(slave)
116             self._p_.resetvalue(path)
117
118     def _isempty(self, opt, value):
119         "convenience method to know if an option is empty"
120         empty = opt._empty
121         if (not opt.impl_is_multi() and (value is None or value == empty)) or \
122            (opt.impl_is_multi() and (value == [] or
123                                      None in value or empty in value)):
124             return True
125         return False
126
127     def _getcallback_value(self, opt, index=None):
128         """
129         retrieves a value for the options that have a callback
130
131         :param opt: the `option.Option()` object
132         :param index: if an option is multi, only calculates the nth value
133         :type index: int
134         :returns: a calculated value
135         """
136         callback, callback_params = opt._callback
137         if callback_params is None:
138             callback_params = {}
139         return carry_out_calculation(opt._name, config=self.context(),
140                                      callback=callback,
141                                      callback_params=callback_params,
142                                      index=index)
143
144     def __getitem__(self, opt):
145         "enables us to use the pythonic dictionary-like access to values"
146         return self.getitem(opt)
147
148     def getitem(self, opt, path=None, validate=True, force_permissive=False,
149                 force_properties=None, validate_properties=True):
150         if path is None:
151             path = self._get_opt_path(opt)
152         ntime = None
153         setting = self.context().cfgimpl_get_settings()
154         if 'cache' in setting and self._p_.hascache(path):
155             if 'expire' in setting:
156                 ntime = int(time())
157             is_cached, value = self._p_.getcache(path, ntime)
158             if is_cached:
159                 if opt.impl_is_multi() and not isinstance(value, Multi):
160                     #load value so don't need to validate if is not a Multi
161                     value = Multi(value, self.context, opt, path, validate=False)
162                 return value
163         val = self._getitem(opt, path, validate, force_permissive,
164                             force_properties, validate_properties)
165         if 'cache' in setting and validate and validate_properties and \
166                 force_permissive is False and force_properties is None:
167             if 'expire' in setting:
168                 if ntime is None:
169                     ntime = int(time())
170                 ntime = ntime + expires_time
171             self._p_.setcache(path, val, ntime)
172
173         return val
174
175     def _getitem(self, opt, path, validate, force_permissive, force_properties,
176                  validate_properties):
177         # options with callbacks
178         setting = self.context().cfgimpl_get_settings()
179         is_frozen = 'frozen' in setting[opt]
180         # For calculating properties, we need value (ie for mandatory value).
181         # If value is calculating with a PropertiesOptionError's option
182         # _getcallback_value raise a ConfigError.
183         # We can not raise ConfigError if this option should raise
184         # PropertiesOptionError too. So we get config_error and raise
185         # ConfigError if properties did not raise.
186         config_error = None
187         force_permissives = None
188         # if value is callback and is not set
189         # or frozen with force_default_on_freeze
190         if opt.impl_has_callback() and (
191                 self._is_default_owner(path) or
192                 (is_frozen and 'force_default_on_freeze' in setting[opt])):
193             no_value_slave = False
194             if (opt.impl_is_multi() and
195                     opt.impl_get_multitype() == multitypes.slave):
196                 masterp = self._get_opt_path(opt.impl_get_master_slaves())
197                 mastervalue = getattr(self.context(), masterp)
198                 lenmaster = len(mastervalue)
199                 if lenmaster == 0:
200                     value = []
201                     no_value_slave = True
202
203             if not no_value_slave:
204                 try:
205                     value = self._getcallback_value(opt)
206                 except ConfigError as config_error:
207                     value = None
208                     # should not raise PropertiesOptionError if option is
209                     # mandatory
210                     force_permissives = set(['mandatory'])
211                 else:
212                     if (opt.impl_is_multi() and
213                             opt.impl_get_multitype() == multitypes.slave):
214                         if not isinstance(value, list):
215                             value = [value for i in range(lenmaster)]
216             if opt.impl_is_multi():
217                 value = Multi(value, self.context, opt, path, validate)
218             # suppress value if already set
219             self.reset(opt, path)
220         # frozen and force default
221         elif is_frozen and 'force_default_on_freeze' in setting[opt]:
222             value = self._getdefault(opt)
223             if opt.impl_is_multi():
224                 value = Multi(value, self.context, opt, path, validate)
225         else:
226             value = self._getvalue(opt, path, validate)
227         if validate:
228             opt.impl_validate(value, self.context(), 'validator' in setting)
229         if self._is_default_owner(path) and \
230                 'force_store_value' in setting[opt]:
231             self.setitem(opt, value, path, is_write=False)
232         if validate_properties:
233             setting.validate_properties(opt, False, False, value=value, path=path,
234                                         force_permissive=force_permissive,
235                                         force_properties=force_properties,
236                                         force_permissives=force_permissives)
237         if config_error is not None:
238             raise ConfigError(config_error)
239         return value
240
241     def __setitem__(self, opt, value):
242         raise ValueError('you should only set value with config')
243
244     def setitem(self, opt, value, path, force_permissive=False,
245                 is_write=True):
246         # is_write is, for example, used with "force_store_value"
247         # user didn't change value, so not write
248         # valid opt
249         opt.impl_validate(value, self.context(),
250                           'validator' in self.context().cfgimpl_get_settings())
251         if opt.impl_is_multi() and not isinstance(value, Multi):
252             value = Multi(value, self.context, opt, path)
253         self._setvalue(opt, path, value, force_permissive=force_permissive,
254                        is_write=is_write)
255
256     def _setvalue(self, opt, path, value, force_permissive=False,
257                   force_properties=None,
258                   is_write=True, validate_properties=True):
259         self.context().cfgimpl_reset_cache()
260         if validate_properties:
261             setting = self.context().cfgimpl_get_settings()
262             setting.validate_properties(opt, False, is_write,
263                                         value=value, path=path,
264                                         force_permissive=force_permissive,
265                                         force_properties=force_properties)
266         owner = self.context().cfgimpl_get_settings().getowner()
267         self._p_.setvalue(path, value, owner)
268
269     def getowner(self, opt):
270         """
271         retrieves the option's owner
272
273         :param opt: the `option.Option` object
274         :returns: a `setting.owners.Owner` object
275         """
276         if isinstance(opt, SymLinkOption):
277             opt = opt._opt
278         path = self._get_opt_path(opt)
279         return self._getowner(path)
280
281     def _getowner(self, path):
282         owner = self._p_.getowner(path, owners.default)
283         meta = self.context().cfgimpl_get_meta()
284         if owner is owners.default and meta is not None:
285             owner = meta.cfgimpl_get_values()._getowner(path)
286         return owner
287
288     def setowner(self, opt, owner):
289         """
290         sets a owner to an option
291
292         :param opt: the `option.Option` object
293         :param owner: a valid owner, that is a `setting.owners.Owner` object
294         """
295         if not isinstance(owner, owners.Owner):
296             raise TypeError(_("invalid generic owner {0}").format(str(owner)))
297
298         path = self._get_opt_path(opt)
299         self._setowner(path, owner)
300
301     def _setowner(self, path, owner):
302         if self._getowner(path) == owners.default:
303             raise ConfigError(_('no value for {0} cannot change owner to {1}'
304                                 '').format(path, owner))
305         self._p_.setowner(path, owner)
306
307     def is_default_owner(self, opt):
308         """
309         :param config: *must* be only the **parent** config
310                        (not the toplevel config)
311         :return: boolean
312         """
313         path = self._get_opt_path(opt)
314         return self._is_default_owner(path)
315
316     def _is_default_owner(self, path):
317         return self._getowner(path) == owners.default
318
319     def reset_cache(self, only_expired):
320         """
321         clears the cache if necessary
322         """
323         if only_expired:
324             self._p_.reset_expired_cache(int(time()))
325         else:
326             self._p_.reset_all_cache()
327
328     def _get_opt_path(self, opt):
329         """
330         retrieve the option's path in the config
331
332         :param opt: the `option.Option` object
333         :returns: a string with points like "gc.dummy.my_option"
334         """
335         return self.context().cfgimpl_get_description().impl_get_path_by_opt(opt)
336
337     # information
338     def set_information(self, key, value):
339         """updates the information's attribute
340
341         :param key: information's key (ex: "help", "doc"
342         :param value: information's value (ex: "the help string")
343         """
344         self._p_.set_information(key, value)
345
346     def get_information(self, key, default=None):
347         """retrieves one information's item
348
349         :param key: the item string (ex: "help")
350         """
351         try:
352             return self._p_.get_information(key)
353         except ValueError:
354             if default is not None:
355                 return default
356             else:
357                 raise ValueError(_("information's item"
358                                    " not found: {0}").format(key))
359
360
361 # ____________________________________________________________
362 # multi types
363
364
365 class Multi(list):
366     """multi options values container
367     that support item notation for the values of multi options"""
368     __slots__ = ('opt', 'path', 'context')
369
370     def __init__(self, value, context, opt, path, validate=True):
371         """
372         :param value: the Multi wraps a list value
373         :param context: the home config that has the values
374         :param opt: the option object that have this Multi value
375         """
376         self.opt = opt
377         self.path = path
378         if not isinstance(context, weakref.ReferenceType):
379             raise ValueError('context must be a Weakref')
380         self.context = context
381         if not isinstance(value, list):
382             value = [value]
383         if validate and self.opt.impl_get_multitype() == multitypes.slave:
384             value = self._valid_slave(value)
385         elif self.opt.impl_get_multitype() == multitypes.master:
386             self._valid_master(value)
387         super(Multi, self).__init__(value)
388
389     def _valid_slave(self, value):
390         #if slave, had values until master's one
391         masterp = self.context().cfgimpl_get_description().impl_get_path_by_opt(
392             self.opt.impl_get_master_slaves())
393         mastervalue = getattr(self.context(), masterp)
394         masterlen = len(mastervalue)
395         valuelen = len(value)
396         if valuelen > masterlen or (valuelen < masterlen and
397                                     not self.context().cfgimpl_get_values(
398                                     )._is_default_owner(self.path)):
399             raise SlaveError(_("invalid len for the slave: {0}"
400                                " which has {1} as master").format(
401                                    self.opt._name, masterp))
402         elif valuelen < masterlen:
403             for num in range(0, masterlen - valuelen):
404                 value.append(self.opt.impl_getdefault_multi())
405         #else: same len so do nothing
406         return value
407
408     def _valid_master(self, value):
409         masterlen = len(value)
410         values = self.context().cfgimpl_get_values()
411         for slave in self.opt._master_slaves:
412             path = values._get_opt_path(slave)
413             if not values._is_default_owner(path):
414                 value_slave = values._getvalue(slave, path)
415                 if len(value_slave) > masterlen:
416                     raise SlaveError(_("invalid len for the master: {0}"
417                                        " which has {1} as slave with"
418                                        " greater len").format(
419                                            self.opt._name, slave._name))
420                 elif len(value_slave) < masterlen:
421                     for num in range(0, masterlen - len(value_slave)):
422                         value_slave.append(slave.impl_getdefault_multi(),
423                                            force=True)
424
425     def __setitem__(self, key, value):
426         self._validate(value)
427         #assume not checking mandatory property
428         super(Multi, self).__setitem__(key, value)
429         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path, self)
430
431     def append(self, value, force=False):
432         """the list value can be updated (appened)
433         only if the option is a master
434         """
435         if not force:
436             if self.opt.impl_get_multitype() == multitypes.slave:
437                 raise SlaveError(_("cannot append a value on a multi option {0}"
438                                    " which is a slave").format(self.opt._name))
439             elif self.opt.impl_get_multitype() == multitypes.master:
440                 values = self.context().cfgimpl_get_values()
441                 if value is None and self.opt.impl_has_callback():
442                     value = values._getcallback_value(self.opt)
443                     #Force None il return a list
444                     if isinstance(value, list):
445                         value = None
446         self._validate(value)
447         super(Multi, self).append(value)
448         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path, self, validate_properties=not force)
449         if not force and self.opt.impl_get_multitype() == multitypes.master:
450             for slave in self.opt.impl_get_master_slaves():
451                 path = values._get_opt_path(slave)
452                 if not values._is_default_owner(path):
453                     if slave.impl_has_callback():
454                         index = self.__len__() - 1
455                         dvalue = values._getcallback_value(slave, index=index)
456                     else:
457                         dvalue = slave.impl_getdefault_multi()
458                     old_value = values.getitem(slave, path,
459                                                validate_properties=False)
460                     if len(old_value) < self.__len__():
461                         values.getitem(slave, path,
462                                        validate_properties=False).append(
463                                            dvalue, force=True)
464                     else:
465                         values.getitem(slave, path,
466                                        validate_properties=False)[
467                                            index] = dvalue
468
469     def sort(self, cmp=None, key=None, reverse=False):
470         if self.opt.impl_get_multitype() in [multitypes.slave,
471                                              multitypes.master]:
472             raise SlaveError(_("cannot sort multi option {0} if master or slave"
473                                "").format(self.opt._name))
474         if sys.version_info[0] >= 3:
475             if cmp is not None:
476                 raise ValueError(_('cmp is not permitted in python v3 or greater'))
477             super(Multi, self).sort(key=key, reverse=reverse)
478         else:
479             super(Multi, self).sort(cmp=cmp, key=key, reverse=reverse)
480         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path, self)
481
482     def reverse(self):
483         if self.opt.impl_get_multitype() in [multitypes.slave,
484                                              multitypes.master]:
485             raise SlaveError(_("cannot reverse multi option {0} if master or "
486                                "slave").format(self.opt._name))
487         super(Multi, self).reverse()
488         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path, self)
489
490     def insert(self, index, obj):
491         if self.opt.impl_get_multitype() in [multitypes.slave,
492                                              multitypes.master]:
493             raise SlaveError(_("cannot insert multi option {0} if master or "
494                                "slave").format(self.opt._name))
495         super(Multi, self).insert(index, obj)
496         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path, self)
497
498     def extend(self, iterable):
499         if self.opt.impl_get_multitype() in [multitypes.slave,
500                                              multitypes.master]:
501             raise SlaveError(_("cannot extend multi option {0} if master or "
502                                "slave").format(self.opt._name))
503         super(Multi, self).extend(iterable)
504         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path, self)
505
506     def _validate(self, value):
507         if value is not None:
508             try:
509                 self.opt._validate(value)
510             except ValueError as err:
511                 raise ValueError(_("invalid value {0} "
512                                    "for option {1}: {2}"
513                                    "").format(str(value),
514                                               self.opt._name, err))
515
516     def pop(self, key, force=False):
517         """the list value can be updated (poped)
518         only if the option is a master
519
520         :param key: index of the element to pop
521         :return: the requested element
522         """
523         if not force:
524             if self.opt.impl_get_multitype() == multitypes.slave:
525                 raise SlaveError(_("cannot pop a value on a multi option {0}"
526                                    " which is a slave").format(self.opt._name))
527             elif self.opt.impl_get_multitype() == multitypes.master:
528                 for slave in self.opt.impl_get_master_slaves():
529                     values = self.context().cfgimpl_get_values()
530                     if not values.is_default_owner(slave):
531                         #get multi without valid properties
532                         values.getitem(slave,
533                                        validate_properties=False
534                                        ).pop(key, force=True)
535         #set value without valid properties
536         ret = super(Multi, self).pop(key)
537         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path, self, validate_properties=not force)
538         return ret